首页 > 其他分享 >九析带你轻松完爆AI大模型(二十二)---技术流程

九析带你轻松完爆AI大模型(二十二)---技术流程

时间:2024-12-03 20:57:44浏览次数:7  
标签:完爆 九析 AI 数据源 模型 对象 安装

申明:九析唯一授权【超级网红系列课程——AI 大模型全栈架构师】系列课程


一、技术流程

1. 确定数据源

2. 根据不同类型的数据源选择合适的加载器,从数据源加载非结构化数据,进行数据分片,即将长文章拆分成若干个文章段落,专业术语叫做Chunk,这样做的好处是为了方便后续大模型的处理。

3. 整个技术流程的核心,根据业务诉求,从第二步产生的数据分片中利用大模型抽取相关内容。

4. 将第三步抽取出来的文本内容映射进Python预先定义好的对象里。这时携带信息的对象存活在计算机内存中,这一步尤其重要,因为在这一步真正实现了从业务到技术的转化。

5. 将第四步在内存中运行的Python对象,经过数据结构转换,最终转变成Neo4j数据库当中可供管理和操作的图对象。

        自此处理流程告一段落,在整个技术流转过程当中,数据经历了从自然语言到Python程序对象,再到图对象的转变,这也是几乎所有IT信息处理的核心和本质 。

        “你听懂了吗?三上。”

        “听懂了九析老师,真是豁然开朗,感觉整个技术关都打开了,提升了一个认知境界,原来从日常生活走进光怪陆离的技术世界,就是将处理对象的数据格式不停的转变,有点像拍电影,我日常有自己的人设,但进入到拍戏环节,就变成了另一个角色去了,但实际上两个不同的角色本质上都是我。”

        “哈哈,三上你看你都会类比思考了,而且联想的非常到位呢。” 

二、环境安装

        “九析老师技术路线图已经确定好了,相当于项目里程碑设定完毕,下一步我们该做什么呢?”

        “三上下一步的工作非常的关键,你听说过这么一句中国的谚语吗?”

        “什么谚语?九析老师。”

        “工欲善其事,必先利其器。”

        “知道的,这句话在日本也同样出名呢。”

        “好,既然如此,那我们在正式项目开发前,需要将开发环境准备到位。”

        “嗯,老师开发环境都需要准备什么呢?” 

准备步骤:

  1.  选择目标大模型
  2. 安装和配置图数据库
  3. 安装Anaconda
  4. LangChain框架安装

参考文章:九析带你轻松完爆AI大模型(七)---环境安装①

        “九析老师,那我这就操作下。”

        “好的三上,趁你安装这个功夫,我也放松一下。”

        “九析老师,你打算怎么放松呢?”

        “我准备玩下我的鸟......”

 


         感谢各位老爷的观看!!!        

        可以直接观看视频:九析带你轻松完爆AI大模型   别忘了一键三连,您的支持是九析更新的最大动力。

 

标签:完爆,九析,AI,数据源,模型,对象,安装
From: https://blog.csdn.net/yangpiqiulaotou/article/details/144223373

相关文章

  • AI-学习路线图-PyTorch
    1需求《深度学习与PyTorch入门实战》https://study.163.com/course/introduction/1208894818.htmhttps://www.bilibili.com/video/BV12B4y1k7b5https://github.com/dragen1860/Deep-Learning-with-PyTorch-Tutorials2接口3示例4参考资料......
  • 【DL】YOLOv8模型中的train.py
    YOLOv8项目中有两个地方可以执行train.py最外层的train.py(现在想起来这里好像是我自己写的训练脚本,原项目里没有)YOLO()构造函数默认构造的是目标检测的模型,也可以在方法的参数中指定task类型models/yolo中的train.py这里的每个文件夹中定义了相对应任务中的训练脚本在......
  • Problem Set Main Findings of AHXZ
    ProblemSet3Thisisthefinalhomeworkassignment,whichaccountsfor60%ofyourfinalgrade.Unlike thepreviousproblemsets,youarerequiredtocollectthedataonyour ownand conductdataanalysisbasedon yourcollecteddata.Youmayworkwitho......
  • 一键AI去除视频水印和字幕!关键还免费!
    我们做网创的,多多少少会去下载很多视频素材,但很多素材自己觉得非常好,但有那该死的水印和字幕就让人非常不爽,要么在剪辑的时候放大把字幕拉出屏幕外,又或者是用黑框该掉字幕,这着实影响美观!有什么办法可以直接去掉字幕和水印吗?答案是有的!今天就给大家分享这个神器:VideoSub......
  • AI自动批量混剪工具!
    今天再分享这个批量剪辑神器,非常适合短剧和带货短视频的制作,轻松过原创,提供了从视频分割、合成、混剪到格式转换的多项功能。以下是它的主要功能:视频分割与提取按时长或段数分割按镜头转场变化分割按语音内容自动分割提取无声视频或音频视频合成自动合成文......
  • 一键AI去除视频水印和字幕!关键还免费!
    我们做网创的,多多少少会去下载很多视频素材,但很多素材自己觉得非常好,但有那该死的水印和字幕就让人非常不爽,要么在剪辑的时候放大把字幕拉出屏幕外,又或者是用黑框该掉字幕,这着实影响美观!有什么办法可以直接去掉字幕和水印吗?答案是有的!今天就给大家分享这个神器:VideoSub......
  • AI自动批量混剪工具!
    今天再分享这个批量剪辑神器,非常适合短剧和带货短视频的制作,轻松过原创,提供了从视频分割、合成、混剪到格式转换的多项功能。以下是它的主要功能:视频分割与提取按时长或段数分割按镜头转场变化分割按语音内容自动分割提取无声视频或音频视频合成自动合成文......
  • pydantic ai agent 框架
    pydantic团队也开始搞aiagent框架了,目前属于beta版使用pydanticai的一些原因(来自官方介绍)来自pydantic团队,不少llmpythonsdk都使用了此包模型无关,尽管当前支持的还有限,但是提供了简单接口可以扩展类型安全支持基于普通python代码的控制流以及agent组合,和以前开发......
  • 一键AI去除视频水印和字幕!关键还免费!
    我们做网创的,多多少少会去下载很多视频素材,但很多素材自己觉得非常好,但有那该死的水印和字幕就让人非常不爽,要么在剪辑的时候放大把字幕拉出屏幕外,又或者是用黑框该掉字幕,这着实影响美观!有什么办法可以直接去掉字幕和水印吗?答案是有的!今天就给大家分享这个神器:VideoSub......
  • AI自动批量混剪工具!
    今天再分享这个批量剪辑神器,非常适合短剧和带货短视频的制作,轻松过原创,提供了从视频分割、合成、混剪到格式转换的多项功能。以下是它的主要功能:视频分割与提取按时长或段数分割按镜头转场变化分割按语音内容自动分割提取无声视频或音频视频合成自动合成文......