迈容智能是一家专注于人工智能及企业自动化解决方案的科技公司,作为国内最早一批投入大模型技术和应用领域研究的厂商之一,我们秉承着“不卷大模型,更注重应用落地”的理念,先后推出了知识问答助手、智能问数系列以及迈容AI Agent平台等一系列大模型产品,已在金融、能源、财务等多个行业领域给客户带来了AI大模型的体验。
前排提示,文末有大模型AGI-CSDN独家资料包哦!
2024年作为“大模型应用元年”,作为从业者,我们看到大模型已在金融、能源、制造等多个行业或领域都有落地,场景覆盖客服、营销、风控等;各类的大模型和Agent产品发布会更是应接不暇,你追我赶。作为这波技术浪潮的参与者和观察者,我们希望能把在应用场景落地视角的一些观察和分析,整理成篇,为从业者或用户在为选择而焦虑时提供一份参考和借鉴。
如标题,我们来看下“知识库为什么是企业优先落地选择”
PART
01
大模型的局限
大语言模型,虽然在很多方面表现出色,但它们也存在一些局限性。下面从企业落地的视角来看下:
1. 幻觉
大模型文本生成的底层逻辑是基于概率的token by token的形式,因此会不可避免的出现“一本正经的胡说八道”或“说些正确的废话”的情况。
2. 时效性
大模型的规模越大,训练成本就越高,周期也就越长,那么具有时效性的数据也就无法参与训练,因此也就无法直接回答与时效性有关的问题。
3. 结果和过程可解释性
由于大模型内部结构的复杂性,其决策和生成结果的过程往往难以解释。这种黑箱特质,在一些需要明确解释性的应用场景中会构成挑战。
4. 泛化能力
虽然大模型在训练数据上表现良好,但它们可能在未见过的新数据上表现不佳,即泛化能力有限。
5. 数据安全和隐私保护
通用大模型因为没有企业内部的数据和用户数据,那么企业现在保证安全的情况下使用大模型,最好的方式就是把数据全部放在本地,直接限制了大模型的能力表现。
PART
02
知识库优势
1. 战略地位高
知识库问答位于大模型技术落地的中间层,是一个核心能力并且绕不开的大模型能力补偿构成部分。作为能力中台可以调用各种知识,如IT、营销、财务等,赋能大模型在企业侧各类Agent建设。
2. 建设成本低
知识库问答的成本可控,预算相对较低,且私有化部署的模型参数量要求不高,市面常用的6B开源大模型即可满足。另外,知识库问答的推理算力要求低,可以使用较少的硬件资源。
3. 搭建速度快
知识库问答的场景搭建和落地速度快,通常一个季度内可以完成。较快的搭建速度,可以让企业短期看到价值成效,方便企业的意见领袖快速做出迭代决策。
4. 技术成熟度高
随着各类知识库的Agent应用的多场景落地,在项目交付或软件工程层面的各类评价指标和评价体系也逐步成熟,如召回率、正确率、阅读完整率、是否有效提取文章结构、无召回情况下引用外部资源等。这些场景案例以及评价体系会给企业足够信心,加速知识库的落地建设。
PART
03
与传统知识库的区别
-
传统知识库主要用于搜索、客服和推荐,而大模型加知识库可以扩展到更多应用,如助手、营销、合规等。
-
传统知识库构建成本高,冷启动周期长,且难以实现全公司统一的知识库。
-
大模型加知识库提高了构建和运维的效率,减少了人工标注的需求,缩短了冷启动周期。
PART
04
落地案例 思考
国内某大型金融机构采用大型模型技术构建知识中台,通过对其实践观察可总结如下:
模型部署
项目成功部署了6B和13B两个国产开源的大型模型,这足以满足上层应用的需求。在实际应用中,对于大多数企业用户而言,知识库的构建并不需要过高的算力或底层模型支持。
业务收益
企业在项目规划和实施过程中,特别关注投入产出比。主要的业务收益体现在知识库构建时间的缩短和冷启动效率的提升上。
成本控制
尽管该项目的预算达到百万级别,高于一般知识库建设的几十万预算,但这是有原因的。项目的核心在于整合金融机构内部分散的知识库,为未来各类智能代理(Agents)的部署奠定基础。从长期角度来看,这种整合将导致边际成本的降低。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
标签:场景,落地,模型,知识库,学习,构建,应用 From: https://blog.csdn.net/lvaolan168/article/details/144155467