首页 > 编程语言 >程序员转行到大模型,最全面的分析,快来了解一下你是否适合

程序员转行到大模型,最全面的分析,快来了解一下你是否适合

时间:2024-12-15 16:27:58浏览次数:7  
标签:RAG 训练 AI 转行 学习 程序员 算法 模型

大模型算是当之无愧最火的一个方向了,算是新时代的风口。有小伙伴觉得,既然是新领域、新方向,那么,人才需求肯定比较大,相应的人才缺乏,竞争也会更少,那转行去做大模型是不是一个更好的选择呢?是不是更好就业呢?是不是就暂时能抵抗35岁中年危机呢?

分享一下我的看法,希望给想要在大模型领域发展或者转行去做大模型的同学一些参考和建议。

我们先来分析一下大模型这个领域。

实际上,大模型开发也分为两类,一类是算法工程师另一个类是应用工程师。算法工程师就是研究大模型算法,应用工程师是基于大模型做一些上层应用的开发。当然,后面这类也需要对大模型有或多或少的了解,毕竟,你做普通业务开发还得了解MySQL、Kafka、Redis等底层实现一样。

对于第一类算法工程师,要求就高了,不是说你想转行去做,就能做得了的。竞争门槛极其高,起码得是个985/211硕士毕业吧,知名期刊发表过相关论文,有扎实的机器学习、人工智能的理论功底。

对于第二类应用工程师,要求相对就低很多了。我们选择深耕的方向比较好的有两类,一类是有技术壁垒,一类是有业务壁垒。

像刚刚提到的大模型算法,算是有技术壁垒,而大模型应用就算是有业务壁垒的方向,他跟电商、物流、财务以及其他大型2B系统一样,业务较复杂。对于毕业五年以上的人,如果想要进入这些业务行业,就要比深耕这些行业多年的候选人,更没有优势,毕竟HR在筛选候选人的时候,还是倾向于选择业务匹配的候选人,特别是一些中高端的职位。

如果你现在的方向没有技术壁垒,也没有业务壁垒,那么,有业务壁垒的大模型方向,算是一个不错的选择。
建议可以先利用自己的业余时间研究研究,试试感觉,如果觉得很不错,适合自己,并且自己有优势,再转也来得及。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

/i/ll/?i=img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

/i/ll/?i=img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

标签:RAG,训练,AI,转行,学习,程序员,算法,模型
From: https://blog.csdn.net/Z987421/article/details/144488236

相关文章

  • 旋转位置编码(RoPE):Transformer 模型中的创新位置编码技术
    一、引言        在自然语言处理(NLP)领域,Transformer模型因其强大的并行计算能力和优秀的性能而广受关注。然而,原始Transformer模型的一个重要缺点是无法有效捕捉输入序列中token的位置信息。为了解决这一问题,研究人员开发了多种位置编码方法,其中旋转位置编码(Rota......
  • 微软推出Phi-4生成式AI模型 改进数学能力与训练数据质量
    微软宣布,其Phi系列生成式AI模型迎来了新成员——Phi-4。与之前的版本相比,Phi-4在多个方面有所改进,尤其在数学问题的解决能力上表现突出,这得益于训练数据质量的提升。截至周四晚上,Phi-4的访问权限相对有限,仅在微软最新推出的AzureAIFoundry开发平台上可用,且仅限于微软研究......
  • 大模型如何全面赋能呼叫中心呼入与呼出?(转)
    大模型如何全面赋能呼叫中心呼入与呼出?(转)原作者:开源呼叫中心FreeIPCC大模型在呼叫中心呼入与呼出方面的全面赋能,主要体现在以下几个方面:一、呼入方面的赋能语音识别与合成:通过语音识别技术,大模型呼入系统能够将客户的语音请求转化为文本信息,为后续的处理提供基础。利用......
  • 程序员行业墓碑——windsurf 详细介绍
    windsurf是什么Windsurf是由Codeium开发的一款新一代AI集成开发环境(IDE),它把AI能力与IDE结合了起来。我们之前使用的大模型比如chatgpt或者claude可以生成代码,我们使用时需要手动提问,生成代码后把生成的代码拷贝到我们自己的IDE中运行,调试。Windsurf则直接一步到位,我们可......
  • 人工智能大语言模型起源篇,低秩微调(LoRA)
    上一篇:《规模法则(ScalingLaw)与参数效率的提高》序言:您在找工作时会不会经常听到LoRA微调,这项技术的来源就是这里了。(12)Hu、Shen、Wallis、Allen-Zhu、Li、LWang、SWang和Chen于2021年发表的《LoRA:Low-RankAdaptationofLargeLanguageModels》,https://arxiv.org/a......
  • ECCV-2024 | NavGPT-2:释放视觉语言大模型的导航推理能力
    作者:GengzeZhou,YicongHong,ZunWang,XinEricWang,andQiWu阿德莱德大学,AdobeResearch,上海人工智能实验室,加利福尼亚大学圣克鲁斯分校原文链接:NavGPT-2:UnleashingNavigationalReasoningCapabilityforLargeVision-LanguageModels(https://link.spring......
  • Python 潮流周刊#81:在个人电脑上运行 GPT-4 级别的大模型(摘要)
    本周刊由Python猫出品,精心筛选国内外的250+信息源,为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景:帮助所有读者精进Python技术,并增长职业和副业的收入。分享了12篇文章,12个开源项目,2则音视频,全文2200字。以下是本期摘要:......
  • 使用PyTorch框架来训练语义分割模型——航空影像输电线路与输电塔分割数据集,使用U-Net
    航空影像的输电线路与输电塔分割数据集。该数据集包含1234张图像,超高分辨率(约3840×2160)标注了11447个对象,属于5个不同的类别,包括电缆(cable)、铁塔(tower_lattice)、木塔(tower_wooden)以及其他两种类型:混凝土或钢结构混合塔(tower_tucohy)和空白肉眼不可见线缆(void),共3GB好的......
  • 使用Javelin AI Gateway简化你的大语言模型开发
    引言在当今快速发展的技术世界中,大语言模型(LLM)被广泛应用于各种AI应用中。然而,随着各种LLM提供商的涌现,如何高效地管理和集成这些模型成为了开发者面临的重大挑战。JavelinAIGateway是一个企业级API网关服务,专门为AI应用而设计。它能够简化与多个大语言模型提供商(如OpenA......
  • [精选] 程序员接私活,你会选择哪些平台,零基础入门到精通,收藏这篇就够了
    什么样的私活不能接,需谨慎对待1、没有第三方担保的个人对个人的尽量不要接,双方都没保障,出了问题很大的可能撕破脸皮不了了之。2、一上来就直接说给我开发一个什么软件,不说具体需求,没有需求文档的都不靠谱,这样的项目不要接。3、尽量442收费方式,即开工收40%项目款,项目中期......