首页 > 其他分享 >VaR值计算性能千倍提升——某头部外资银行实例分享

VaR值计算性能千倍提升——某头部外资银行实例分享

时间:2023-03-22 20:32:29浏览次数:59  
标签:外资银行 报表 千倍 DolphinDB 业务 Oracle VaR 数据

随着政策的推进、技术的迭代以及市场需求的逐步扩大,采用安全可控的金融科技产品渐渐成为热潮,国内众多金融政企机构纷纷开始改造升级原有IT系统,对老旧系统的国产化替换需求日益强烈。

但“替换”不应该是简单的更换产品,而是根据业务发展需要,选择一套更优秀的解决方案,为企业实现“降本增效”。

这里,我们为大家介绍一个外资银行金融市场数据集市国产替换的成功案例。

在这个案例中,该外资银行使用 DolphinDB 从底层完美替换了 Oracle,不仅成功解决了兼容性、海量数据迁移问题,更实现了对原有金融市场数据集市所面向业务的全面升级:

  • IRS VaR 业务的每日平均处理时长由40分钟降至3.5秒,提升近千倍;
  • CMDS 实时数据接口延时由300-500毫秒降至10毫秒以下;
  • 整体报表查询速度提升近5倍。

打破性能瓶颈,释放业务潜力


IRS VaR 计算:从40分钟至3.5秒

VaR 值是银行风险控制中最基础的风险度量指标之一,可以用来度量在一定时间区间内,某个投资组合或资产价值可能出现的最大亏损,帮助投资者了解自己的风险承受能力,制定风险控制策略,降低投资风险。

提升 VaR 值计算的性能不仅能提高风险控制能力,还可以实现对资本分配和决策的优化。

在本案例中,该银行原有系统使用老牌传统数据库 Oracle 来存储和处理 IRS VaR 业务数据。具体来说,通过上游交易系统日终文件交换获取当日 IRS 交易明细、中债估值、曲线等相关业务数据,存储在 Oracle 中,生成金融市场数据集市内部模型数据,并根据下游 Risk Matrix 所需要的 VaR 报表计算逻辑生成供数文件。

然而,随着数据量的不断增加和业务优化,处理IRS VaR 业务的每日平均时长最高达到了40分钟。

为了进一步缩短耗时,提升效率,经过多轮对比测试,他们最终选择了DB-Engines 时序数据库榜单上国内排名第一的 DolphinDB,实现对系统和业务的全面升级。

通过 DolphinDB 语法,可以在低资源成本下实现业务目标。根据当前生产运行情况统计,该计算任务的每日平均处理时长由原来的40分钟降至3.5秒,提升近千倍。

逐笔数据实时处理:从上百毫秒至10毫秒以下

除了对 IRS VaR 业务的改造升级,DolphinDB 还帮助用户大幅降低了逐笔数据处理的延时。

该银行业务需要根据外汇交易中心数据接口技术规范,通过 API 形式获取 CMDS 利率互换实时逐笔行情及成交数据并落库。根据当前生产运行情况监测,该接口逐笔数据处理延迟约300-500毫秒。

经过 DolphinDB 改造升级后,在 TPS 1000笔的实时流数据吞吐量压力下,整体延时少于10 毫秒,CPU使用率低于20%,内存使用率低于60%,实时流处理队列没有堆积。

DolphinDB:强大的计算与流计算性能

在计算 VaR 值的过程中,需要用到大量的历史数据,这些数据往往可能分散在不同的系统或数据库中;同时,VaR 计算需要对多维度、大规模的数据进行数值计算,因此对多数据源的采集处理能力和复杂计算能力是提升 VaR 值计算性能的关键。

此外,该银行需要获取 CMDS 利率互换实时逐笔行情及成交数据并落库,这就要求具备高吞吐、低延时的流数据服务支持。

作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,DolphinDB 不仅在存储、查询拥有领先性能,还有强大的计算和流数据实时分析功能,被广泛应用于行情数据存储、量化策略研发和生产环境交易场景中,满足了用户从存储到反控决策的全流程需求。


  • 存储与查询:支持 OLAP/TSDB 存储引擎,海量数据高性能读写;
  • 海量数据计算:1400+ 内置函数,满足各类指标的复杂计算;强大的向量化和函数化编程,帮助用户享受极速性能体验;
  • 实时流数据处理:封装流数据处理引擎,用更少的步骤实现增量计算,降低计算时延。

而在以银行为代表的传统金融机构领域,除了数据存储、查询与计算,数据安全与系统运维成本也至关重要,对此 DolphinDB 同样拥有亮眼表现——

原生的分布式架构具备较强的可扩展性,满足海量数据高并发低延时处理需求;具备数据备份和恢复功能,可以有效分散单点故障带来的数据安全风险,保障了金融业务的持续进行;此外,完全国产自研,掌握所有核心技术。

在完成了对业务的提速升级之后,DolphinDB 的上述特点,让该外资银行看到了更多的可能性,尝试从底层用 DolphinDB 替换 Oracle,以解决老旧系统对海量数据支撑乏力、业务连续性难保障和安全可控性较低的问题。


从改造升级到全面替换

Oracle 拥有独特的生态系统,其中包含数据类型、语法结构、函数功能、客户端支持等多个方面,并可支持程序化脚本以及批量任务的运行。此外,Oracle 现存数亿级别关键市场数据,包含 YDM/TDM 等多个数据集市的数据资源,拥有完善的数据模型,对数据的平迁与迭代均需保证准确性、完整性。在银行现有的报表业务下,还要保证上游系统的与下游系统的正常使用。

这些难题,在该外资银行携手第三方服务商 Tracade 共同推进了基于 DolphinDB 的数据基础服务系统后,都迎刃而解。


对 Oracle 生态系统的兼容

无论是常用数据类型、语法、函数,或是客户端等,DolphinDB 对 Oracle 的生态系统都具备非常好的支持。其中,对常用数据类型和语法的覆盖率均达到98%以上,常用函数兼容性高达96%以上。相较于Oracle,DolphinDB 的语法不存在明显差异,常用语法不需要进行改造即可使用。

此外,DolphinDB 支持多种语言的 API 和多种应用插件,对各种报表软件与其他类型数据库都具有良好支持。


数据迁移与迭代

Oracle 现存数亿级别关键市场数据,针对这些现有数据的平迁与新业务数据迭代,该银行在第三方服务商 Tracade 团队的帮助下,完成了全量数据迁移。通过业务测试数据的对比,数据结构兼容性为100%,数据一致性为100%。

在这个过程中,依托 DolphinDB 灵活的数据分区控制、高覆盖的数据类型和语法兼容性,数据查询速度得到了提升,性能优化了5倍左右。

VaR值计算性能千倍提升——某头部外资银行实例分享_时序数据库

多数据源支持

VaR值计算性能千倍提升——某头部外资银行实例分享_DolphinDB_02

标准的数据迁移流程

报表平台兼容

DolphinDB 完美兼容了 SmartBI、Birt 报表平台,实现了2000多张报表的平迁,并通过 API 支持了银行业务系统的调用。

以 SmartBI 报表平台为例,该平台原本通过 Oralce 数据库生成银行业务所需报表,而替换成 DolphinDB 后,仅通过切换数据源,即可保障相关系统业务报表的正常使用,实现报表的批量平迁。

测试指标

平迁前

平迁后

备注

运行时间

8.2s

1.6s

相同条件下,报表运行20次的平均值

数据完整性

100%

相同条件下,报表运行20次完整性校验

本案例中,该银行面临日益增长的数据量和不断升级的数据安全要求,并且需要支撑低延时的报表分析业务,因而传统老牌数据库 Oracle 已逐渐难以满足需求。在 Tracade 的帮助下,该银行用国产自研产品 DolphinDB 替换了 Oracle。

作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,DolphinDB 不仅帮助用户快速实现了全量数据的平迁和迭代,还显著提升了原有业务的效率。可以说,该银行从 Oracle 到 DolphinDB 的实践,不仅是一次成功的国产替换,更是从存储、查询到实时流数据处理性能的全方位升级。

标签:外资银行,报表,千倍,DolphinDB,业务,Oracle,VaR,数据
From: https://blog.51cto.com/u_15022783/6142213

相关文章