首页 > 其他分享 >Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note

Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note

时间:2024-10-19 19:47:30浏览次数:9  
标签:Adapting LLM Effective 模型 生成 Note Clinic 临床 LLaMA

本文是LLM系列文章,针对《Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note Generation with On-Policy Reinforcement Learning》的翻译。

采用开源大型语言模型,通过策略强化学习生成经济高效的专家级临床笔记

摘要

GPT-4 和 Gemini 等专有大型语言模型 (LLM) 在临床文本摘要任务中表现出有前途的能力。但是,出于患者数据隐私和计算成本的考虑,许多医疗保健提供商更喜欢使用小型的本地托管模型,而不是外部通用 LLM。 本研究为开源 LLaMA-2 130 亿参数模型提出了一个全面的领域和任务特定适应过程,使其能够从门诊医患对话中生成高质量的临床记录。我们的流程包括持续的预训练、监督式微调以及来自 AI 和人类反馈的强化学习。我们引入了一种新方法,DistillDirect,用于以 Gemini 1.0 Pro 作为教师模型进行策略强化学习。我们生成的模型 LLaMA-Clinic 可以生成与医生撰写的临床记录质量相当的临床记录。在一项盲法医生读者研究中,大多数 (90.4%) 的个人评估将 LLaMA-Clinic 生成的笔记评为“可接受”或更高,涵盖所有三个标准:真实世界的准备情况、完整性和准确性。在更具挑战性的 “评估和计划 ”部分,LLaMA-Clinic 在实际准备方面的得分 (4.2/5) 高于医生撰写的笔记

标签:Adapting,LLM,Effective,模型,生成,Note,Clinic,临床,LLaMA
From: https://blog.csdn.net/c_cpp_csharp/article/details/143083140

相关文章

  • Notepad++将搜索内容所在行选中,并进行复制等操作
    背景Notepad++在非常多的数据行内容中,按照指定内容检索,并定位到具体行,而后对内容行的数据进行复制、剪切、删除等处理动作。操作说明检索并标记所在行弹出搜索框:按下Ctrl+F。输入查找字符串:在搜索框中输入要查找的字符串。标记记录:在查找框顶部菜单中选择【标......
  • NOTE6:Agent/LLM+游戏/LLM中的对齐
    :::hljs-rightDATE:October12,2024:::Agent智能体可能需要包含感知、记忆、规划、反思、互动五个模块图源:https://lilianweng.github.io/posts/2023-06-23-agent/以上图的组件为例,Planning任务分解:使用链式思考(ChainofThought)技术,将复杂任务分解为更小、更简单的......
  • 全局安装一次jupyter notebook,服务于所有虚拟环境
    全局安装一次jupyternotebook,服务于所有虚拟环境contentYou'reabsolutelyright!InstallingJupyterseparatelyforeveryvirtualenvironmentcanbeinefficient.Fortunately,there'sawaytoavoidduplicatingJupyterinstallationsacrossenvironmentsbylevera......
  • Windows环境Jupyter Notebook无法访问npm和node(暂未解决)
    Windows环境JupyterNotebook无法访问npm和nodecontentTheissuemayarisefromusingNode.jsandnpmthroughNVM(NodeVersionManager),whichinstallstheminuser-specificdirectories.Whilethissetupworks,JupyterNotebookorCondamightnotcorrectlydet......
  • 清华最新RAG框架:Adaptive-Note RAG,比Adaptive RAG还要好
    1.为什么要提出Adaptive-NoteRAG?RAG(检索增强生成)技术是一种能有效解决LLM(大语言模型)幻觉问题的可靠手段,通过借助外部非参数化知识,帮助LLMs拓展其知识边界。但是,传统RAG在长问答、多跳问答等复杂任务时,往往很难收集到足够信息。•多跳问答中,要回答“Whatdoestheacron......
  • 如何在 Jupyter Notebook 执行和学习 SQL 语句(上)—— 基本原理详解和相关库安装篇
            近期我找工作很多岗位问到sql,由于我简历上有写,加上我实习的时候确实运用了,所以我还是准备复习一下SQL语句,常见的内容,主要包括一些内容,比如SQL基础(主要是取数select,毕竟用的时候基本上不会让我一个实习生进行一个删除之类的操作)和一些进阶的用法比如窗口函数之......
  • 修改notepad++的主题(背景色、前景色、字体等)
    在设置-语言格式设置中打开设置的界面:设置效果如下图:这些基本就满足需求了,如果需要自己单独设置自己想要的颜色,也可以到notepad++的stylers.xml这个文件里修改:右键单击Notepad++图标,选择打开文件所在位置,找到stylers.xml文件,使用Notepad++或者记事本打开都可以。找到其......
  • jupyter notebook里添加conda虚拟环境
    情况描述有时clone的项目中包含demo.ipynb文件,需要启动jupyter-notebook运行,此文记录将虚拟环境导入到jupyter中。1.下载并运行jupyter-notebook#在base环境当中安装jupyterpipinstalljupyter#base环境下运行jupyterjupyternotebook#jupyternotebook可选参数2.......
  • Jupyter Notebook 中同时使用 Python 和 R
    要在JupyterNotebook中同时使用Python和R,可以通过rpy2库来实现。以下是具体步骤:安装rpy2(如果尚未安装):pipinstallrpy2在JupyterNotebook中加载R包:可以在Python代码单元中使用rpy2的importr函数来加载R包。下面是一个示例代码,展示如何加载neuroba......
  • Note - O(nV) 求只关心一个位置的 01 背包
    给定序列\(a_{1\simn}\),其中\(0\lea_i\lem\)。给定\(V\)。询问是否存在\(S\subseteq\{1,2,\cdots,n\}\)满足\(\sum\limits_{i\inS}a_i=V\)。\(n\ge1,m,V\ge0,n,m\le10^4,V\lenm\)。先咕一下,贴个代码(#include<bits/stdc++.h>constint......