在本地部署了chatglm3大模型的cpu运行版本,但是运行速度太缓慢。
在阿里云服务器部署了langchain-chatglm大模型,还有一个langchain-chatchat版本,之后会尝试一下。
观看了一些视频,有一些想法:
赛题官方答复可以做多个城市的旅游知识库。
可以添加多模态,生成图片音频,这可以作为一个进阶拔高的地方,目前只是听说了有这方面的内容,还未了解过怎么实现。
chatglm3新特性,可以实现多角色对话,使用系统角色告诉大模型身份,他能够记得更牢固。
各个模型的推理能力对比,目前使用的chatglm3和gpt3相当,日后会考虑购买chatgpt4提升推理能力。
通过以上两张图片可以看出,接入知识库的原理是(个人理解的):将用户输入的问题输入的问题现在知识库匹配,再将匹配到的内容和用户的问题一并交给大模型,让大模型给出答复。所以使用远程的大模型也可以接入知识库。
chatglm3的新特性,可以调用外部工具,日后可以为系统扩展更多功能。
大模型的多轮对话就是把之前问答的所有信息记录下来,在一次性的喂给他,他的模型本身是没有记忆能力的,是要靠代码把之前的问答存储下来的。
日后的一个扩展方向,sql代码解释器,直接向大模型提出需求,让大模型给出sql代码并执行,直接给出结果。