首页 > 其他分享 >想要成为AIGC大模型工程师, 如何搭建你的知识体系框架?

想要成为AIGC大模型工程师, 如何搭建你的知识体系框架?

时间:2024-02-01 13:32:56浏览次数:15  
标签:面试官 工程师 AI 模型 知识 AIGC API 应用 搭建

AI不会取代你的工作,会取代你的是会AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在过去2023这个AI爆发的元年,我相信也是很多人的疑问,好像不懂使用点AI工具,例如ChatGpt、Midjourney或者SD,就好像被淘汰了一样,更近一步地我们如何训练自己的AI大模型、如何开发自己的AI产品?是很多人内心的疑惑,那么我们今天便来解决您的疑惑。

 

成为一名AIGC(人工智能生成内容)大模型工程师需要系统性的知识与技能。这个领域是多学科交叉的,涉及到机器学习、自然语言处理、软件工程等多个方面。以下是由浅至深的知识体系框架的阶梯

 

A1

构建提示词来解决具体应用问题,大模型应用阶段,使用闭源商业大模型例如:文心一言、星火大模型、ChatGPT

投入:各种AIGCSaaS软件的订阅,例如:GPT 4 20美元/月

 

知识储备: 类似大模型提示工程、Stable Diffusion

应用场景举例:用ChatGPT做网文作者、用MJ或者SD来做图片生成和视频产出

但实际上这并不具有太大的知识壁垒,我们可以使用AI工具、提示词优化的方式解决某些问题,而这离成为一个大模型工程师还有一段距离。

 

A2

通过程序调用闭源大模型API,将针对应用撰写的提示词封装到已有的系统中,借助闭源大模型的能力,在现有软系统上实现功能扩展或构建新的应用

投入:API费用,例如gpt-3.5-turbo-1106 输入费用:$0.0010 / 1K tokens

 

知识储备: Python基础、大模型prompt应用及API、Plugins调用、大模型编程、大语言模型发展历程

 

应用场景举例:聊天机器人,利用闭源大模型API,如ChatGPT、文心一言等,来实现自然语言理解和生成的功能。基于用户输入的Prompt,机器人能够生成合适的回应。

岗位:提示词工程师

 

A3

针对大模型在已有提示词上的性能表现不足的问题,构建面向任务的指令训练语料,对大模型进行有监督的指令微调,提升大模型在应用上的性能。

投入:开源: 1-100块A100,例如 微软云Azure A100 80GB 单卡 30元/小时

显卡价格 A100 74000元/张

API费用,例如:gpt-3.5-turbo 训练费用:$0.0080 / 1K tokens

 

 

知识储备:大模型训练流程及主流模型对比、大模型开发工具、大模型Finetune技术、Finetune实践、思维链COT

 

应用场景举例:R语言数据处理辅助工具Rtutor,在2023年11月9号前RTutor的底层模型都是针对R语言编程能力微调过得Davinci model,RTutor利用经过微调的模型来辅助进行数据分析,能够解释数据分析结果,并提供数据可视化的建议。

岗位:AI应用工程师

 

A4

能够根据应用需求,借助langchian等大模型应用框架,通过集成领域或场景专业知识、调用智能体等,扩展大模型能力,构建专业的智能问答系统、知识检索系统或多智能体集成系统。

投入:1-100块A100(微调需求),显卡服务器租用

微软云Azure A100 80GB 8卡 150000元/月

闭源(API费用)SFT API调用如

OpenAI Assistants API Retrival费用:$0.20 每GB

assistant API知识库的企业上限是100GB,个人上线是10GB

10GB 1天 1个assistant 15元 + A2 API调用费用(输入:问题 + 检索内容)

 

知识储备:大模型RAG LangChain、SK拆解、AutoGen原理以及实战

 

应用举例:以近屿智能的L5级别AI面试官,AI得贤招聘官的多轮对话能力为例:

以前,AI面试官是单向的,只能是AI面试官询问候选人问题,而候选人无法向AI面试官提问。而现在,L5级别的AI面试官已经具备多轮对话的能力。候选人可以随心所欲地向AI面试官提问,Al面试官也能够给予准确的回答,帮助候选人更好地了解雇主品牌和职位信息。这一改进增加了AI面试过程中的互动性和沟通效率。

岗位:AI大模型工程师


标签:面试官,工程师,AI,模型,知识,AIGC,API,应用,搭建
From: https://blog.51cto.com/u_16386562/9525786

相关文章

  • 2024增量市场——AIGC,普通人如何入局?
    AI是否真的会取代你的工作,或者是掌握AI技能的人将会取代你?随着2023年AI技术的爆炸式增长,许多人开始质疑,如果不掌握如ChatGPT、Midjourney或StableDiffusion等AI工具,是否就意味着被时代淘汰?进一步地,如何自主训练AI大模型、开发自己的AI产品?这些疑惑在许多人心中盘旋。今天,我们将一......
  • 统信UOS搭建Squid代理服务器
    原文链接:统信UOS搭建Squid代理服务器hello,大家好啊!今天我要给大家介绍的是在统信UOS服务器操作系统1060e上部署搭建Squid代理服务器的详细步骤。Squid是一款广泛使用的代理服务器软件,它可以帮助企业或个人高效地管理网络流量,提高访问速度,并增强网络安全。通过使用htpasswd进行用户......
  • 搭建K8S集群
    搭建K8S集群部署环境三台2核2G20G硬盘的服务器或虚拟机,文中使用的系统是centos7.9docker:19.03.15-3.el7kubernetes:1.23.6初始化操作关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld关闭selinuxsed-i's/enforcing/disabled/'/etc/selinux/config......
  • AIGC、AGI、ChatGPT:揭秘人工智能大模型的变革与创新
    随着科技的不断发展,人工智能(AI)已经深入到我们生活的方方面面,从语音助手到自动驾驶汽车,再到智能家居,AI的影子无处不在。而在近年来,AIGC、AGI和ChatGPT等人工智能大模型的出现,更是引领了一场前所未有的技术革命。接下来,我们将一起探索这些人工智能大模型的奥秘。一、AIGC:开启全新的......
  • 详解如何在数仓中搭建细粒度容灾应用
    本文分享自华为云社区《GaussDB(DWS)细粒度容灾使用介绍》,作者:天蓝蓝。1.前言适用版本:【8.2.1.210及以上】当前数仓承载的客户业务越来越多,从而导致客户对于数仓的可靠性要求不断增加。尤其在金融领域,容灾备份机制是信息系统必须提供的能力之一。本文介绍了在云上环境的双集......
  • 01 python简介和环境搭建
    简介Python是简单易用人工智能前端语言够用,但是实际工作中远远不够。Python最好作为第二语言。优点:设计哲学:优美胜于丑陋,明了胜于晦涩,简介胜于复杂。为什么用Python简易:易学易用,门槛低快:开发快,像胶水可以快速粘接万物。运用广:科学计算、自动化运维、云计算服务、网络爬虫、数据......
  • 搭建Nginx服务器实现WEB服务
    一般搭建Web服务器,都会要求在该服务器上创建几个基于域名的虚拟主机,并且还需要使用DNS实现域名解析,下面内容我们就对这个问题来进行例题的演示。(用2个基于域名虚拟主机)希望能对各位it人士有所帮助,话不多说,我们直接进入主题!!!1.安装Nginxviminstallnginx2.创建所需的站点根目录,在根......
  • 教你在CentOS上搭建DNS服务器
    如果对您有帮助的话,请点赞收藏关注加评论谢谢!!!话不多说,直接进入主题~例题:搭建DNS服务器,DNS服务器域名为“自已姓名的完整汉语拼音.com”,要求为各服务器的域名提供正反向解析服务。启用bind-chroot功能,加固DNS服务器安全。1.搭建yum,安装BindChrootDNS服务器。yuminstallbind-chr......
  • 24校招,快手测试开发工程师二面
    前言大家好,我是chowley,今天回顾一下,之前参加快手的校招面试全程没有测试方向问题,一直拷打编程语言特性和数据底层结构时间:50min平台:轻雀(请勿切屏)过程自我介绍用的编程语言?python回顾一下学python的历程在你接触过的所有的算法,你最擅长的TOP3是啥?双指针、二叉树、回溯写......
  • 24校招,小鹏汽车自动驾驶测试工程师二面
    前言大家好,我是chowley,今天回顾一下,之前参加的自动驾驶测试工程师面试时间:40min平台:飞书过程自我介绍实习经历拿了哪些offer,为啥还在面?加入一个公司,你期望得到哪些培养?你现在负责的工作?开发方面做了哪些?说一下你学自动化测试的进展接口端和web端的测试有哪些区别?还面......