赛题:【A25】基于大模型语料库问答
背景:
首先介绍一下赛题的背景,通用型大型语言模型(LLM)已经在许多任务上取得了令人瞩目的成果。一些开源的大模型知识分布虽然很全面,但是在许多特定的垂直业务领域中,由于其与通用领域之间存在较大差异,直接采用开源的通用型LLM经常无法满足该领域应用的要求。以旅游领域为例,围绕某一城市获取相关旅游数据并提供一个便捷的人机交互方式,对于文旅产业的发展以及实现城市智能旅游助手等方面有着重要的意义。当前存在这样一个任务,基于目标城市,梳理文旅数据构建语料库,通过大模型技术实现基于大模型的语料库问答。
一、讲解系统的构思(完成后的功能和效果)
系统的主要框架使用的是langchain-chatchat,我们的核心功能业务是基于大模型的语料库问答,通过不断地大模型的微调和语料库的整理提升问答的准确度。
在核心业务的基础之上我们会进行扩展,目前的构思有:
- 建立多城市的语料库:让用户可以自行选择城市。
- 大模型对比择优:使用各种大模型进行试验对比,选择出一款最优的。
- 生成视频图片讲解:利用大模型的多模态技术,让大模型可以为用户生成旅游相关的视频讲解和图片指导。
- 实时联网信息查询:利用大模型的调用外部工具的功能,实现实时联网查询信息,比如可以查询旅游城市实时的天气信息,提升旅游客户使用的便捷性。
- 大模型数据分析平台:可自动分析旅游城市的相关数据。使用大模型调用sql代码解释器和数据库,可以直接向大模型提出数据分析需求,大模型自动构建sql代码并执行,给出用户所需的结果。
- 大模型智能导航:利用大模型的调用外部工具的能力,调用道德地图的api,用户使用自然语言提出想要前往的城市,大模型自动调用出高德地图导航功能。
- 建立手机APP端:让用户再旅游的过程中,可以随时随地的使用本系统进行资料查询。
- 语音问答功能:可直接使用语音向大模型提出问题,大模型使用回音回答,提升用户的使用便捷性。
二、讲解目前完成程度
目前已经基本完成本地知识库和大模型的云部署,最初设想的是使用chatglm和闻达知识库实现,经过不断的搜集资料、调试运行,最终选择了使用基于lanchain开发的大模型工具框架langchain-chatchat,大模型目前我们完成了chatglm2、chatglm3、质谱清颜、openai的调用,目前最合适的是chatglm3。由于此技术架构需要的GPU算力较高,普通笔记本电脑无法满足,我们选择租用阿里云的服务器进行部署。