首页 > 其他分享 >YashanDB演讲实录|别彬彬:金融科技对智能化创新系统的机遇与路径

YashanDB演讲实录|别彬彬:金融科技对智能化创新系统的机遇与路径

时间:2024-12-11 11:10:49浏览次数:6  
标签:发现 采石 钓鱼 系统 彬彬 智能化 YashanDB 数据 模型

本文为“2024国产数据库创新生态大会”深算院采石矶、钓鱼城系统技术总监别彬彬的演讲实录分享,主题为 《金融科技对智能化创新系统的机遇与路径》,欢迎阅读。

各位领导、嘉宾,下午好!非常荣幸今天能与大家一同探讨金融科技创新的话题。

智能化系统新范式:AI+ = 机器学习 + 逻辑规则

分享之前,我想先和大家讨论一个有趣的问题:成吉思汗和发现万有引力定律的牛顿之间有什么关系?这个问题我曾问过专业学者和大型语言模型,包括ChatGPT,得到的回答都是:二者都是影响人类历史的伟人。然而,它们之间的实际关系却并未揭示出来。

我们相信这个世界上人、事、物总有着千丝万缕的关系,基于这种好奇心,我们试着用一些新方法、新技术寻找答案。通过图关联技术结合逻辑推理,我们发现成吉思汗对欧洲的征战导致物资交换频繁,引发鼠疫传播,进而引发伦敦瘟疫大爆发,这使得牛顿被迫离开剑桥大学,回到乡间度过了高产的两年,并在此期间发现了万有引力定律、微积分原理等重要理论。这样深层次的关系,专家做不到,千亿参数模型做不到,但可以被图关联分析揭示出来。

在深算院,我们主要有三大核心产品:崖山数据库系统、采石矶数据质量系统,以及钓鱼城数据分析系统。今天我想着重介绍后两者。

image.png

采石矶:自动数据质量冲突发现与可信修复

数据质量问题一直是困扰数据工作者的难题。OpenAI为了训练ChatGPT,花费了长达七年时间准备语料,而仅花费了一个月训练模型,这充分说明了数据质量的重要性,数据质量也是公认的大数据最难问题。樊文飞院士早年在贝尔实验室就一直研究数据质量的修复问题,随后提出了大数据质量保证模型——REE理论,能够自动化地发现数据中的错误并进行可信修复。采石矶系统可以完成两项重要任务:一是自动发现数据中的错误,二是根据发现的错误进行可信的修复。基于这些能力,采石矶系统在一些关键领域做出了很显著的成果。

image.png

首先是数据连接领域,在与国内最大的物流集团公司的合作中,该物流公司希望对17万张数据表进行主题归整。人工方式进行了两年时间,且只能完成10%的进度。而采石矶系统在短短四天内就完成了这一任务,梳理了17万张数据表与三张主数据结构表之间的关系。

其次是数据要素领域,采石矶系统目前已在上海数据交易所上线,负责买卖双方的数据质量评估和提升。上海数据交易所目前是国内最大的、最成功的数据交易机构之一,采石矶系统通过快速发现数据中的错误,帮助客户增加数据资产的价值。我们不仅能发现错误,还能进行数据质量提升,实现数据资产价值进一步提升。

最后,在大模型语料准备领域,采石矶系统也有重要的应用,主要体现在三个方面:一是非结构化数据的解析与提取。大语言模型的训练需要大量HTML或文本数据,这些数据通常是非结构化的,需要进行解析提取,占据了数据准备工作量的40%。二是人机协同标注,据最新的实验结果,采石矶系统在辅助标注方面的准确率超过了美国独角兽企业Scale.AI。三是文本数据中的事实性错误发现,采石矶系统可以发现并修复文本语料中的事实性错误,减缓大模型在训练过程中产生“幻觉”。

钓鱼城:逻辑与统计结合的工业数据决策系统

钓鱼城数据分析系统通过将逻辑推理与机器学习相结合,在图数据结构上实现统一推理。其核心理论GAR创新性地将机器学习预测结果和逻辑推断实现统一框架,一方面,我们将机器学习的结果放在X中,可提高数据决策的准确性,另一方面,将机器学习的结果放在Y中可以实现对黑盒模型的可解释。在工业应用场景中,钓鱼城系统还展现出自动化程度高的优势,对比机器学习,其建模过程中需要大量的人工操作,如人工洗数据、人工特征工程、模型调参,这些工作非常依赖程序员的主观能动性,但钓鱼城系统的自动规则发现则使整个分析过程高度自动化。

钓鱼城系统已在两个主要的行业做了应用。首先是制造业,例如电池制造、化工、烟叶配方设计等,逻辑推理的可解释性使得钓鱼城系统能够辅助工业决策。特别是在锂电池生产过程中的化成分容环节,钓鱼城系统已经在国内头部电池厂上线并跑,成功处理了600万支电芯的容量预测。逻辑推理方法的引入使得系统在面对复杂决策时具有更高的可解释性和可靠性。

image.png

其次是银行金融领域,钓鱼城系统帮助银行在商机与危机识别方面取得了显著成果。我们将银行的数据分析分为“商机”和“危机”两大类。商机方面,我们在零售营销、智能推送、投流拉新等环节取得了突破,系统的实际应用中将ROI从1.7提升到4.8。风险控制方面,我们与大型银行和消费金融机构合作,在反欺诈和高危群体识别等方面,将风险人群的识别准确率从40%提升到71%。

未来,钓鱼城系统将致力于在银行领域构建企业级的新型数据经营平台,依托樊院士的核心理论,将机器学习与逻辑规则结合,利用增量图计算技术,形成“圈链群”思路,为银行的商机和危机管理提供一站式服务,真正实现业务人员在系统上的自主操作,无需IT人员介入。

image.png

最后,我们希望通过钓鱼城、采石矶这两个基础软件平台实现真正的AI+,只有高质量的数据与先进的智能系统相结合,才能从数据中挖掘出深层次的价值。谢谢大家!

image.png

标签:发现,采石,钓鱼,系统,彬彬,智能化,YashanDB,数据,模型
From: https://www.cnblogs.com/YashanDB/p/18599047

相关文章

  • YashanDB V23.3重磅发布,持续深化1:1替代产品力
    11月14日,YashanDB在“2024国产数据库创新生态大会”上正式发布YashanDBV23.3版本,定位为面向企业核心的通用数据库,具备1:1替代Oracle的能力。当前关键行业数字化转型已进入深水区和攻坚阶段,规模化和核心系统替代是这一阶段的显著特征,业界亟需更经济、更普适的规模化替代方案。Yas......
  • 平台发展的智能化革新之路
      ========  一、引言----  随着互联网的快速发展和人工智能技术的崛起,电商平台逐渐进入了一个新的发展阶段。在这个阶段,AI技术的应用成为了提升电商平台销售效率的关键因素。从用户体验到供应链管理,AI技术正在深刻影响着电商行业的未来发展趋势。本文将围绕AI技术在电......
  • 助力花生作物智能化采摘,基于最新脉冲目标检测模型SpikeYOLO全系列【n/s/m/l/x】参数模
    秋天,是大地回馈辛勤耕耘者的季节,金黄的稻田、硕果累累的果园、还有那一片片郁郁葱葱的花生地,共同绘制出一幅幅丰收的画卷。对于农民而言,秋收不仅仅是收获的季节,更是他们与土地情感交织、汗水与希望交织的见证。花生,作为重要的经济作物之一,其采摘过程历来是农业生产中的重要环节......
  • 助力花生作物智能化采摘,基于最新融合超图计算目标检测模型HyperYOLO模型全系列【n/s/m
    秋天,是大地回馈辛勤耕耘者的季节,金黄的稻田、硕果累累的果园、还有那一片片郁郁葱葱的花生地,共同绘制出一幅幅丰收的画卷。对于农民而言,秋收不仅仅是收获的季节,更是他们与土地情感交织、汗水与希望交织的见证。花生,作为重要的经济作物之一,其采摘过程历来是农业生产中的重要环节......
  • [利用自然语言查询Supabase:打造智能化数据库检索应用]
    引言在当今信息爆炸的时代,高效检索和分析数据变得尤为重要。Supabase作为一种开源的Firebase替代方案,结合了PostgreSQL的强大功能,尤其在处理嵌入和自然语言查询方面表现出色。本篇文章将介绍如何利用self-query-supabase模板,将自然语言查询功能集成到您的Supabase数据库中......
  • 详解AI网关助力配电房实现智能化管控应用
    ​对于一些建设年份久远的老旧配电房,由于配套降温散热设施设备不完善、线路设备老化等因素,极易出现因环境过热而影响设备正常稳定运行,进而导致电气故障甚至火灾等事故产生。   基于AI网关的配电房智能监控及管理 针对配电房的实时安全监测及预警响应,BM-A6系列AI网关支......
  • 充电设施建设如火如荼,如何利用充电桩管理方案对车辆进行智能化管理?
    城市停车位紧缺是长期以来的难题,加之部分停车场所出于利益因素以及部分车主不够“自律”,导致电动汽车充电车位常被燃油车占位。智能充电桩监管平台融合车辆检测、车牌识别、车辆结构化等技术,可对车辆的品牌型号、车牌、车牌颜色、其他固有特征等进行识别,可实现在以下场景的应用:1......
  • 压裂作业实训室智能化升级——融合工业互联网的创新实践
    在油气田开采领域,压裂作业作为提高油气产量的关键技术,其复杂性和对专业技能的高要求,使得压裂作业人员的培训显得尤为重要。近年来,随着工业互联网技术的飞速发展,压裂作业实训室迎来了智能化升级的新机遇。这一升级不仅提升了实训室的培训效率,更为压裂作业人员的技能提升开辟了新......
  • Springboot封装通用AI模块实现平台智能化(封装和使用AI详细教程)
    目录国内支持SDK调用的优秀开源AI平台导入依赖获取APIkey(注意保密)测试Demo封装通用AI模块application.yml配置APIkey定义AI配置类封装通用的AI请求模块使用AI赋能项目设计Prompt的常用技巧技巧一 定义SystemPrompt技巧二 让AI 进行角色扮演技巧三 提......
  • 中安证件OCR识别技术助力鸿蒙生态:智能化证件识别新体验
    在数字化和智能化的浪潮中,伴随国产化战略的深入推进,国产操作系统和软件生态的建设逐渐走向成熟。鸿蒙操作系统(HarmonyOSNext)作为华为推出的重要操作系统,凭借其开放、灵活和高效的特点,正在加速在多个领域的普及和应用。特别是在智能识别和人工智能技术的支持下,鸿蒙系统在各行各......