首页 > 其他分享 >论文推荐:大语言模型在金融领域的应用调查

论文推荐:大语言模型在金融领域的应用调查

时间:2024-01-30 09:55:06浏览次数:34  
标签:Transformer 架构 语言 模型 论文 领域 LLM

这篇论文总结了现有LLM在金融领域的应用现状,推荐和金融相关或者有兴趣的朋友都看看

论文分为2大部分:

1、作者概述了使用llm的现有方法

包括使用零样本或少样本的预训练模型,对特定于领域的数据进行微调,还有从头开始训练定制llm,并给出了关键模型的总结与评价。

2、根据给定的用例、数据约束、计算和性能需求,提出决策框架,指导选择合适的LLM解决方案,这是这篇论文可以好好阅读的地方,因为论文还对在金融领域使用LLM的局限性和挑战提出了一些见解。

论文从总结语言模型架构经历了重大的演变开始:

1、从n-gram模型中,下一个单词的概率完全取决于前面的(n-1)个单词

2、以RNN为基础的模型,如LSTM或GRU,神经网络架构,捕获序列数据中的长期依赖关系。

3、2017年,Transformer架构标志着语言模型的革命,在翻译等任务中表现优于rnn,并且梳理了一些著名模型:

GPT(Generative Pretrained Transformer):一个仅用于编码器的框架,以其在生成连贯文本方面的有效性而闻名。

BERT(Bidirectional Encoder Representations from Transformers):一个仅用于解码器的框架,擅长从文本的两个方向理解上下文。

T5 (Text-to-Text Transfer Transformer):采用编码器和解码器两种结构,拓宽了应用范围,最著名的就是翻译任务。

https://avoid.overfit.cn/post/49595cb2da41438787b404e070ae7f8c

标签:Transformer,架构,语言,模型,论文,领域,LLM
From: https://www.cnblogs.com/deephub/p/17995845

相关文章

  • GNN论文阅读笔记
    DOI10.1109/TNN.2008.2005605任何数据都可以由一张图(Graph)表示,图(Graph)是由一系列的点(vertex)与边(edge)的集合。机器学习的目标是:拟合一个函数τ(G,n) →Rm,即映射图G与其中某一节点n成一个m-dim的实数向量。根据实际任务,这种拟合有所偏向,大体可分为两类:关注于图特征的拟合......
  • 服务模型
    ......
  • 【实战项目】想自己通过C语言编写贪吃蛇吗?先来学习一下什么是WIN32API
    WIN32API前言大家好,很高兴又和大家见面了!!!在开始今天的内容前,咱们先闲聊一下。博主是从2023.8.19号晚上23:28左右正式开始接触C语言,在此之前,我也只是一个对编程一窍不通的小白,我的本科专业是给排水科学与工程,一个就业前景还不错但是不太适合我本人的专业。在经历了一些事情之后,我......
  • 【C语言进阶篇】动态内存常考笔试题
    (文章目录)......
  • R语言非线性方程数值分析生物降解、植物生长数据:多项式、渐近回归、负指数方程、幂函
    全文链接:https://tecdat.cn/?p=33742原文出处:拓端数据部落公众号简介在选择最佳拟合实验数据的方程时,可能需要一些经验。当我们没有文献信息时该怎么办?我们建立模型的方法通常是经验主义的。也就是说,我们观察过程,绘制数据并注意到它们遵循一定的模式。例如,我们的客户可能观察......
  • 自然语言处理NLP:情感分析疫情下的新闻数据
    原文链接:http://tecdat.cn/?p=12310原文出处:拓端数据部落公众号 新冠肺炎的爆发让今年的春节与往常不同。与此同时,新闻记录下了这场疫情发展的时间轴。▼为此我们分析了疫情相关的新闻内容、发布时期以及发布内容的主题和情感倾向这些方面的数据,希望通过这些数据,能对这场疫......
  • 如何用潜类别混合效应模型(Latent Class Mixed Model ,LCMM)分析老年痴呆年龄数据|附
    全文下载链接:http://tecdat.cn/?p=24647最近我们被客户要求撰写关于LCMM的研究报告,包括一些图形和统计输出。线性混合模型假设N个受试者的群体是同质的,并且在群体水平上由独特的曲线Xi(t)β描述。背景和定义相比之下,潜在类别混合模型在于假设人口是异质的,并且由G潜在类......
  • onnx模型导出
    onnx模型导出目录onnx模型导出环境准备简介介绍torch.onnx.export参数解析onnx导出步骤单输入导出示例定义并准备模型加载权重并测试onnx导出和验证Netron可视化在线使用代码可视化onnx模型推理补充细节添加自定义标签读取自定义标签导出注意参考资料环境准备#环境依赖torch......
  • 美国宣布启动 NAIRR 计划打造 AI 帝国;Siri 将获大语言模型支持丨 RTE 开发者日报 Vol.
      开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(RealTimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编辑......
  • DHCN论文阅读笔记
    Abstract基于会话的推荐(SBR)侧重于在某个时间点的下一项项目预测。近年来,基于图神经网络的SBR方法将项目转换为成对的关系,忽略了项目之间复杂的高阶关系。超图提供了一种捕获非成对关系的自然方法。在本文中,我们通过将基于绘画控制的数据建模为一个超图。提出了一个超图卷积网络来......