首页 > 其他分享 >【大模型技术】什么时候需要训练和微调属于自己的大模型——小微企业必须要明白的问题

【大模型技术】什么时候需要训练和微调属于自己的大模型——小微企业必须要明白的问题

时间:2024-09-19 11:21:21浏览次数:12  
标签:小微 训练 AI 模型 微调 技术 业务

从问题出发,先有需求再有解决方案

老板和员工在思维方式上有一个很大的差别就是,作为老板他们喜欢寻找现有的解决方案,如果现有的解决方案无法满足的情况下,才会自己设计一个解决方案。

而作为员工来说特别是技术人员,大都有一种技术至上的心态,比如说很多技术人员找工作会特别在乎公司用的技术是否足够牛逼,足够高大上。

之所以产生这种现象的原因是因为,技术人员的心态是学会牛逼的技术,走到哪里都不怕。

而老板的心态是,能解决问题把业务跑起来最重要,现有的解决方案或许不是最好的,但它却是经过验证的,能够保证业务的稳定性;但如果提出新的解决方案,就要承担新方案潜在的各种风险。等以后业务稳定之后,可以慢慢的优化现有的方案。

什么时候需要训练和微调模型?

在上面的内容中,描述了一下员工与老板思维以及心态上的区别;这两种思维方式没有绝对的对错之分,区别只是两种完全不同的发展方向,一种是打工人的思维方式,一种是创业者的思维方式。

就拿大模型训练与微调来说,很多技术人员都想亲自参与或体验一下一个模型从无到有的诞生过程;但受限于各种原因,有机会参与这样工程的人还是比较少的;因此很多人都退而求其次,想做一下模型的训练与微调。

图片

举个例子,你是某个小公司的技术人员,老板想引入大模型技术来升级现有的业务系统,然后让你做一下前期调查和简单的解决方案。

不管使用的是大模型的什么技术,比如Agent,知识库,AIGC等;很多技术人员下意识的方式就是先搞一个本地模型,试试能不能训练和微调一下,然后就陷入各种技术细节中无法自拔。

但事实上,市面上已经有很多大模型服务商,他们有专门训练和微调过的模型;根据现有的业务体系,或许随便找一个合适的模型就可以用了。

为什么不建议企业引入大模型技术时,就直接打造属于自己的大模型?

原因就是,你还不知道怎么把大模型技术与自己的业务场景相结合;虽然市面上可能有一些相似的案例,但每个企业都有其独特的运作方式,适合别人的不一定适合你。

简单来说就是,你都不知道现有业务引入大模型能解决哪些问题,以及潜藏着哪些问题;说白了就是,你都不知道要训练和微调出一个需要解决什么问题的模型,这样的模型怎么可能做的好呢?

图片

就类似于你需求都不清楚,就直接开始开发产品了,这样的产品能有人用吗?

当然,如果说你觉得你是上帝之子,即使需求不明确也能做出符合业务场景的大模型;或者说你不差钱,训练一次不行就重新训练,那也可以。

因此,什么时候开始训练和微调模型?

最好的时机就是,在你的业务成型之后,有一些问题确实需要解决或者说需要节约成本;这时,你再去考虑训练和微调一个模型,甚至是找模型服务商帮你重新设计一个模型都可以。

图片

一句话就是,在你的需求明确之后,也就是你知道要训练出一个什么样的模型,并且你有足够的技术和资金支持,那么你就可以训练和微调自己的模型了。

说到底还是那句话,技术是为业务服务的,技术的发展是基于业务场景的落地,而不是从技术去推动业务场景的发展,虽然技术的发展也有可能颠覆现有的业务场景,但那是技术与业务场景的深度融合的结果。

总之,不要一开始就想着训练和微调属于自己的模型,要从问题出发,而不是从结果出发。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

标签:小微,训练,AI,模型,微调,技术,业务
From: https://blog.csdn.net/python123456_/article/details/142355815

相关文章

  • 大模型 LLMs 入门指南:小白的学习之路
    前言很明显,这是一个偏学术方向的指南要求,所以我会把整个LLM应用的从数学到编程语言,从框架到常用模型的学习方法,给你捋一个通透。也可能是不爱学习的劝退文。通常要达到熟练的进行LLM相关的学术研究与开发,至少你要准备数学、编码、常用模型的知识,还有LLM相关的知识的准备......
  • 大模型微调是否具有技术含量?或者说其技术含量究竟有多少?
    有句老生常谈的话:一项工作是否具有技术含量取决于你怎么做,这在大模型(LLM)方向上尤其如此,因为与传统自然语言处理(NLP)相比,它的上手门槛变得更低了。我来举些例子,就大模型微调的几个重要环节而言,我所列举的每一种做法基本上都能实现最终目标,甚至训练出的模型效果也相差无几。然......
  • 转行大模型开发:挑战与机遇,如何有效学习以实现职业转变
    前言甚至随着技术的进步,我们每个人都可能面临失业风险,因为未来我们所处的整个行业都可能被颠覆,公司也会不复存在。司机这一职业就是随着科技发展而不断演进的典型案例,从最早的马车夫,到现在的汽车驾驶员,再到随着自动驾驶技术的成熟,未来的“司机”可能是具有高度复杂算法和......
  • 大模型如何生成下一个token--解码策略
    Background生成模型目前主要使用自回归(Autoregressive)模型,通过上文信息预测下文信息,如GPT系列;BERT系列使用自编码(AutoEncode)模型,在输入中随机mask一部分token,通过上下文预测这个token;自回归主要用于生成文本,如机器翻译和对话系统,而自编码主要用于降维和特征提取,如情感......
  • 半天玩转大模型技术之RAG
    引言当前大模型在金融行业最广泛的应用之一就是知识问答,而支撑该应用的技术正是当下火热的检索增强生成(RetrievalAugmentedGeneration)技术,简称RAG。因企业具体的业务往往需要注入特定的知识,比如ChatBI中企业数据库的相关知识、客服助手中客服FAQ等,所以RAG不仅可以应用......
  • 机器学习模型中特征贡献度分析:预测贡献与错误贡献
    在机器学习领域,特征重要性分析是一种广泛应用的模型解释工具。但是特征重要性并不等同于特征质量。本文将探讨特征重要性与特征有效性之间的关系,并引入两个关键概念:预测贡献度和错误贡献度。核心概念预测贡献度:衡量特征在模型预测中的权重,反映模型在训练集上识别的模式。这与传......
  • 易优CMS添加视频模型的常见错误及解决方法
    在使用易优CMS(EyouCMS)时,如果您遇到添加视频模型时的常见错误,以下是一些可能的问题及其解决方法:1.视频无法上传问题描述:在后台尝试上传视频文件时,出现上传失败的情况。解决方法:检查服务器配置:确保服务器的PHP配置允许上传较大的文件。检查php.ini中的upload_max_filesize和p......
  • 全面解读大模型备案流程及重点、难点解析【附教程】
    本文详解大模型备案流程,旨在指引企业和开发者顺利完成备案,确保企业成功拿到大模型备案号。一、政策要求做大模型备案大模型备案是中国国家互联网信息办公室为加强生成式人工智能服务的管理,确保用户权益得到充分保护,以及保障国家安全和社会秩序稳定而实施的一项关键性政策。......
  • 图神经网络模型的应用(8)--1
    1.图数据上的一般任务        前面介绍过,按照元素和层级来划分,图数据上的任务一般可以分为节点上的任务、边上的任务和图上的任务。而在实际应用中,大部分图神经网络的应用都集中在节点分类、链路预测和图分类上;在设计一个新的图神经网络模型时,我们常使用的标准数据集......
  • BayesianLSTM PawaritL 使用PyTorch中的贝叶斯LSTM进行能源消耗预测,贝叶斯神经网络仅
    https://colab.research.google.com/github/PawaritL/BayesianLSTM/blob/master/Energy_Consumption_Predictions_with_Bayesian_LSTMs_in_PyTorch.ipynb#EnergyConsumptionPredictionswithBayesianLSTMsinPyTorchAuthor:PawaritLaosunthara内容:请点击上面的在Col......