首页 > 其他分享 >ChatGPT的训练费用以及成功原因

ChatGPT的训练费用以及成功原因

时间:2023-11-16 14:36:33浏览次数:27  
标签:费用 训练 模型 成功 万美元 ChatGPT 成本

 

参考:

https://baijiahao.baidu.com/s?id=1772914234034992726&wfr=spider&for=pc

 

 

================================

 

 

关于ChatGPT的成功原因,引用国产大模型混战加速,速成幻觉又是一场大厂陪跑赛?中的回答:

益于ChatGPT商业和营销方面的成功,能够瞬间让人们目睹了大模型的可落地性,而不是继续隐匿在漫长的技术迭代中。

 

--------------------------------------------------

个人总结:

就是技术方向选的的对,技术突破口选择的对,敢于冒险(世界上第一家企业搞这么大的投资),再加上本身强大的技术水平,最后就是成功的营销。

 

 

 

 

关于ChatGPT的训练成本问题,引用国产大模型混战加速,速成幻觉又是一场大厂陪跑赛?中的回答:

GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型,训练成本介于200万美元至1200万美元之间。

包括在今年1月,平均每天约有1300万独立访客使用ChatGPT,对应芯片需求为3万多片英伟达A100GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。

----------------------------------------

个人总结:

ChatCPT的训练需要几千块甚至是上万快训练类型的显卡,而ChatGPT上线的对外服务则需要几万块推理显卡。

ChatGPT的训练成本,可以肯定的是训练一次需要上亿元的人民币,甚至是几十亿到上百亿的人民币。这个成本虽然很大,但是其实对于技术类公司这个费用其实还是可以接受的,毕竟像国内的互联网企业往往为了一个业务打竞争性的广告就敢花上几十亿,这么来看这个高成本的训练虽然是富人俱乐部的专属,但是国内的200多家有这个实力的技术公司也相继退出了自己的大模型,由此看来这个成本对于国内企业来说还是可以接受的。

 

 

 

 

 

 

 

================================

 

标签:费用,训练,模型,成功,万美元,ChatGPT,成本
From: https://www.cnblogs.com/devilmaycry812839668/p/17836146.html

相关文章

  • 文心一言 VS 讯飞星火 VS chatgpt (136)-- 算法导论11.3 2题
    二、用go语言,假设将一个长度为r的字符串散列到m个槽中,并将其视为一个以128为基数的数,要求应用除法散列法。我们可以很容易地把数m表示为一个32位的机器字,但对长度为r的字符串,由于它被当做以128为基数的数来处理,就要占用若干个机器字。假设应用除法散列法来计算一个字符串......
  • transformer模型训练、推理过程分析
    复杂度分析推理过程图示DoubleQLORA示意图......
  • [整理]赛前训练
    第一场A是简单题,注意到矩形形成的是一个单调的阶梯,我们只需要排序然后枚举计算即可。需要注意处理一下完全包含的情况,用二维数点即可。(找单调性)B见到树上路径,想到拆分成点到根的异或和。注意到每个点的异或和确定了,边权就都确定了(钦定1的异或和是0),这样就和树的结构无关了,直......
  • 一个Git clone仓库的指定目录命令对比国内外常见AI(一)使用ChatGPT3.5
    通常情况下,我们会克隆整个Git仓库,但有时候我们只需要其中某一个目录或文件,这时候只克隆子目录会更加方便。这个需求好像不是经常用到,搜索结果也是五花八门,有些完全达不到要求,正好用这个机会测试一下最近大火的AI看看是否足够智能。国外ChatGPT3.5(找一个可以访问的就好,ChatGPT4没找......
  • ChatGPT 整合 Siri,只需3步
    大家好,我是JavaPub独立维护人。AI不知道能不能改变世界,但是它一定会改变我们的生活方式。紧跟时代步伐肯定没错。火出圈的ChatGPT已经1亿多用户,更是被一些文章产出类行业应用在了生产环境下。今天我们看看如何将ChatGPT应用在苹果手机......
  • 损失函数---训练集降低,验证集升高
     损失函数在训练集下降而在验证集上升,通常被称为过拟合(overfitting)的现象。这意味着模型在训练数据上表现得很好,但在新的、未见过的数据上表现较差。过拟合可能是由于模型过于复杂,以至于学到了训练数据中的噪声或细微特征,而这些特征在验证数据中并不普遍存在。 我通过降低学......
  • 基于时间频率一致性对时间序列进行自监督对比预训练《Self-Supervised Contrastive Pr
    2023年11月10日,今天看一篇论文,现在17:34,说实话,想摆烂休息,不想看,可还是要看,拴Q。论文:Self-SupervisedContrastivePre-TrainingforTimeSeriesviaTime-FrequencyConsistency或者是:Self-SupervisedContrastivePre-TrainingforTimeSeriesviaTime-FrequencyConsistenc......
  • ChatGPT的未来
    ChatGPT是一款由OpenAI开发的人工智能助手,其基于大规模语言模型GPT-3.5及其后续版本。ChatGPT的未来发展趋势如下:持续优化:ChatGPT的性能将随着模型的训练和优化而不断提升,其对用户问题的理解和回答能力将更加精确。跨平台应用:ChatGPT可能会在其他设备和平台上得到广泛应用,......
  • 文心一言 VS 讯飞星火 VS chatgpt (135)-- 算法导论11.3 1题
    一、用go语言,假设我们希望查找一个长度为n的链表,其中每一个元素都包含一个关键字k并具有散列值h(k)。每一个关键字都是长字符串。那么在表中查找具有给定关键字的元素时,如何利用各元素的散列值呢?文心一言:在Go语言中,你可以通过使用一个哈希表来存储关键字的散列值,并在查找具有给......
  • 文心一言 VS 讯飞星火 VS chatgpt (135)-- 算法导论11.3 1题
    一、用go语言,假设我们希望查找一个长度为n的链表,其中每一个元素都包含一个关键字k并具有散列值h(k)。每一个关键字都是长字符串。那么在表中查找具有给定关键字的元素时,如何利用各元素的散列值呢?文心一言:在Go语言中,你可以通过使用一个哈希表来存储关键字的散列值,并在查找具有......