AI不会取代你的工作,会取代你的是会AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在过去2023这个AI爆发的元年,我相信也是很多人的疑问,好像不懂使用点AI工具,例如ChatGpt、Midjourney或者SD,就好像被淘汰了一样,更近一步地我们如何训练自己的AI大模型、如何开发自己的AI产品?是很多人内心的疑惑,那么我们今天便来解决您的疑惑。
成为一名AIGC(人工智能生成内容)大模型工程师需要系统性的知识与技能。这个领域是多学科交叉的,涉及到机器学习、自然语言处理、软件工程等多个方面。以下是由浅至深的知识体系框架的阶梯
A1
构建提示词来解决具体应用问题,大模型应用阶段,使用闭源商业大模型例如:文心一言、星火大模型、ChatGPT
投入:各种AIGCSaaS软件的订阅,例如:GPT 4 20美元/月
知识储备: 类似大模型提示工程、Stable Diffusion
应用场景举例:用ChatGPT做网文作者、用MJ或者SD来做图片生成和视频产出
但实际上这并不具有太大的知识壁垒,我们可以使用AI工具、提示词优化的方式解决某些问题,而这离成为一个大模型工程师还有一段距离。
A2
通过程序调用闭源大模型API,将针对应用撰写的提示词封装到已有的系统中,借助闭源大模型的能力,在现有软系统上实现功能扩展或构建新的应用
投入:API费用,例如gpt-3.5-turbo-1106 输入费用:$0.0010 / 1K tokens
知识储备: Python基础、大模型prompt应用及API、Plugins调用、大模型编程、大语言模型发展历程
应用场景举例:聊天机器人,利用闭源大模型API,如ChatGPT、文心一言等,来实现自然语言理解和生成的功能。基于用户输入的Prompt,机器人能够生成合适的回应。
岗位:提示词工程师
A3
针对大模型在已有提示词上的性能表现不足的问题,构建面向任务的指令训练语料,对大模型进行有监督的指令微调,提升大模型在应用上的性能。
投入:开源: 1-100块A100,例如 微软云Azure A100 80GB 单卡 30元/小时
显卡价格 A100 74000元/张
API费用,例如:gpt-3.5-turbo 训练费用:$0.0080 / 1K tokens
知识储备:大模型训练流程及主流模型对比、大模型开发工具、大模型Finetune技术、Finetune实践、思维链COT
应用场景举例:R语言数据处理辅助工具Rtutor,在2023年11月9号前RTutor的底层模型都是针对R语言编程能力微调过得Davinci model,RTutor利用经过微调的模型来辅助进行数据分析,能够解释数据分析结果,并提供数据可视化的建议。
岗位:AI应用工程师
A4
能够根据应用需求,借助langchian等大模型应用框架,通过集成领域或场景专业知识、调用智能体等,扩展大模型能力,构建专业的智能问答系统、知识检索系统或多智能体集成系统。
投入:1-100块A100(微调需求),显卡服务器租用
微软云Azure A100 80GB 8卡 150000元/月
闭源(API费用)SFT API调用如
OpenAI Assistants API Retrival费用:$0.20 每GB
assistant API知识库的企业上限是100GB,个人上线是10GB
10GB 1天 1个assistant 15元 + A2 API调用费用(输入:问题 + 检索内容)
知识储备:大模型RAG LangChain、SK拆解、AutoGen原理以及实战
应用举例:以近屿智能的L5级别AI面试官,AI得贤招聘官的多轮对话能力为例:
以前,AI面试官是单向的,只能是AI面试官询问候选人问题,而候选人无法向AI面试官提问。而现在,L5级别的AI面试官已经具备多轮对话的能力。候选人可以随心所欲地向AI面试官提问,Al面试官也能够给予准确的回答,帮助候选人更好地了解雇主品牌和职位信息。这一改进增加了AI面试过程中的互动性和沟通效率。
岗位:AI大模型工程师