首页 > 编程语言 >基于Python的大模型学习手册(基础级)

基于Python的大模型学习手册(基础级)

时间:2024-11-11 10:48:33浏览次数:6  
标签:tokens Python 模型 手册 学习 API output message

前言

在这里插入图片描述

大模型(全称为大语言模型,英文名称:Large Language Model),这个2023年刷爆了互联网圈的“现象级明星”,几乎以前所未有的姿态,席卷了各行各业,世人一时为之惊叹。同时,也开辟了各大厂商投入AI研发的新赛道。

前排提示,文末有大模型AGI-CSDN独家资料包哦!

乘着这波“西风”,国内大模型开启了雨后春笋般的神奇发育,简直是“一浪翻过一浪,一峰赛过一峰”。可想而知,这是一次夺目的AI表演,也让每一个普通人有机会亲身参与这次“盛宴”

试想,如大模型的第一枪来自吾国,会是一个什么样的前景?

1. 初识大模型

1.1 简介

谈起大模型,我们不得不提ChatGPT —— 一个神奇的机器人,一个可以和你谈天说地的好朋友。它的前身其实是一个GPTGenerative Pre-Trained,简单讲是一个深度学习模型)。基于GPT,赋予了Chat机制,那么ChatGPT就问世了。在它诞生的过程中,又一次因为Google带来的紧迫性(或者说是先机),ChatGPT捷足先登。否则,我们也很难在2023年就与ChatGPT见面了。

说这么多,ChatGPT不就是一个聊天机器人么,有什么大不了。而且在2023年以前我们已经见过类似的应用了,比如智能客服,智能助手之类的使用。如果你还不了解ChatGPT,我想这么认为也是毫无指摘的,因为表象看确实也“差不多”。实际上它使用了无监督全流程自学习的全新架构,这种架构只需踩着“历史经验”向前发展,这似乎越来越趋近于人类思维了。

这就好比人脑一样,当你遇见紧急状况后,第一反应是什么?本能的会从脑海中快速检索之前有咩有发生过,有咩有经验可以翻出来,对不?那么,大模型的“历史经验”就是人类已知的存储于各个角落的任何数据,不管是结构化,非结构化,只要你能找出来的,统统可以作为它的“口粮”,进而令其发育为类人智能。

这就是ChatGPT的绝招,在无样本或少量样本的情况下,依然可以做到“有问必答,有求必应”。这也是AIGC为何如此盛行于各行各业的原因。

你可以用它做问答小助手,也可以用它做翻译助手, 还可以用它帮你create xxx。只要你具备足够的想象力,它就能够为你提供不一样的能力。

1.2 使用体验

大模型的本质还是一个神经网络,这个网络可以帮助用户进行单字符级别的分析和预测,每预测一次,就返回一个计算结果。就像电影一样,一帧一帧的输出,最终形成一段完整的文本。而每一帧代表了一次计算过程。

当然这个过程与你提供的口令(prompt)有关系,它需要将你的口令分隔为一个或多个token,然后开启计算之旅。所以你的口令直接决定了它的行为,也决定了计算的成本。即使它让你难堪(所谓的“幻觉”),那也在所难免了。

这里博主以阿里的通义千问为例,进行演示,选择一个模型,指定一个场景,接下来就开始愉快的对话吧:

在这里插入图片描述
等对话结束后,我们可以看到它的每次计算结果(只呈现局部):

[
  {
    "requestId": "87627073-8483-9bf8-8ec4-7e0c94b883e7",
    "usage": {
      "input_tokens": 13,
      "output_tokens": 2
    },
    "output": {
      "choices": [
        {
          "finish_reason": "null",
          "message": {
            "role": "assistant",
            "content": "你好!"
          }
        }
      ]
    }
  },
  {
    "requestId": "87627073-8483-9bf8-8ec4",
    "usage": {
      "input_tokens": 13,
      "output_tokens": 8
    },
    "output": {
      "choices": [
        {
          "finish_reason": "null",
          "message": {
            "role": "assistant",
            "content": "你好!大模型通常指的是在人工智能"
          }
        }
      ]
    }
  },
  {
    "requestId": "87627073-8483-9bf8-8ec4",
    "usage": {
      "input_tokens": 13,
      "output_tokens": 16
    },
    "output": {
      "choices": [
        {
          "finish_reason": "null",
          "message": {
            "role": "assistant",
            "content": "你好!大模型通常指的是在人工智能领域中,参数量巨大(通常是"
          }
        }
      ]
    }
  },
  {
    "requestId": "87627073-8483-9bf8-8ec4",
    "usage": {
      "input_tokens": 13,
      "output_tokens": 24
    },
    "output": {
      "choices": [
        {
          "finish_reason": "null",
          "message": {
            "role": "assistant",
            "content": "你好!大模型通常指的是在人工智能领域中,参数量巨大(通常是千万、亿级甚至更高数量级"
          }
        }
      ]
    }
  },
  {
    "requestId": "87627073-8483-9bf8-8ec4",
    "usage": {
      "input_tokens": 13,
      "output_tokens": 32
    },
    "output": {
      "choices": [
        {
          "finish_reason": "null",
          "message": {
            "role": "assistant",
            "content": "你好!大模型通常指的是在人工智能领域中,参数量巨大(通常是千万、亿级甚至更高数量级)、能够处理复杂任务的深度学习"
          }
        }
      ]
    }
  },
  {
    "requestId": "87627073-8483-9bf8-8ec4",
    "usage": {
      "input_tokens": 13,
      "output_tokens": 255
    },
    "output": {
      "choices": [
        {
          "finish_reason": "stop",
          "message": {
            "role": "assistant",
            "content": "你好!大模型通常指的是在人工智能领域中,参数量巨大(通常是千万、亿级甚至更高数量级)、能够处理复杂任务的深度学习模型。这些模型通过在大量数据上进行训练,能够学习到更深层次的特征表示,从而在诸如自然语言处理、图像识别、语音识别、推荐系统等任务上展现出强大的性能。\n\n大模型之所以能够取得如此显著的效果,主要得益于以下几个方面:\n1. **大规模数据集**:大模型通常需要大量的训练数据来学习各种模式和规律。\n2. **计算资源**:训练大模型需要大量的计算资源,包括高性能的GPU集群和大量的存储空间。\n3. **参数量**:大模型拥有庞大的参数量,能够捕捉到更复杂的模式和细节。\n4. **优化技术**:采用更先进的优化算法和技术,如分层训练、知识蒸馏等,来提高训练效率和模型性能。\n\n大模型的出现和应用,标志着人工智能领域的一个重要转折点,为许多实际应用提供了可能性,如生成式模型、多模态融合、对话系统等。然而,大模型也面临着模型解释性、隐私保护、资源消耗等问题,这些都需要在实际应用中持续探索和优化。"
          }
        }
      ]
    }
  }
]

从上面的结果来看,每次的输出,都需要经过大量的计算,最后却又输出一段完整的看似通顺的“人话”。这里不得不说数学的妙处,世间的万事万物,皆可以用数学符号去抽象。比如你说的任何一句话,都可以用数学语言进行表达。

2. 学习之旅

对大模型有了整体认知后,当然博主仅仅以问答式大模型为例。所以你可以更广泛的去了解不同领域不同技能的大模型,但是万变不离其宗,本质还是一样的。

如何开始学习大模型呢?先从最简单的地方入手,准备一个Python(推荐)/Java环境,申请一个大模型API-KEY(行业惯例),那么你就能够开启大模型之旅了。博主依然以阿里通义千问为例,助你一臂之力。

2.1 通义千问大模型

DashScope通过围绕模型为中心,致力于为AI应用开发者提供品类丰富、数量众多的模型选择,并通过API接口为其提供开箱即用、能力卓越、成本经济的模型服务。各领域模型的能力均可通过DashScope统一的API和SDK来实现被不同业务系统集成,AI应用开发和模型效果调优的效率将因此得以激发,助力开发者释放灵感、创造价值。

阿里通义千问大模型是其大模型产品DashScope中的一族,可以通过DashScope SDK或API进行模型调用。接下来,博主分解每个动作,通过Python我们获得第一次大模型的使用经验。博主选中的模型,当然是最简单的一个了:Turbo版
在这里插入图片描述

2.1.1 开通DashScope模型服务灵积

通过阿里云控制台,找到该产品,可以立即免费开通。开通后,我们立即享受30天,100万token的大礼包。

2.1.2 申请一个API-KEY

接下来,可以免费申请一个API-KEY,它是请求通义千问的凭证和唯一“身份证”,所以不能泄露,后果很严重哦。

在这里插入图片描述

2.1.3 安装Python

教程太多了,直接安装Python最新版本,博主不再详述。最后为方便学习,安装一个PyCharm,可以让你的学习过程更愉悦。

2.1.4 安装DashScope SDK

在PyCharm中的terminal窗口,输入pip3 install dashscope后,经过大约十几分钟后,你就能够看到successful提示,代表下载并安装成功:

在这里插入图片描述

同时,你可以通过PyCharm中的project—>setting查看是否已安装(存在即安装成功):

在这里插入图片描述

2.1.5 使用通义千问大模型

在使用大模型前,博主提醒各位,一定要提前计算一下token,这是大模型的普遍计费依据。token约大,费用越高。不过新开通的用户,阿里免费提供100万个token。

在这里插入图片描述

调用通义千问大模型的代码如下,model选择qwen-turbo

import dashscope
import random
from http import HTTPStatus
# 建议dashscope SDK 的版本 >= 1.14.0
from dashscope import Generation
# API_KEY,填写上面已申请的API_KEY
dashscope.api_key = "请填写你已申请的API_KEY"

def call_with_messages():
    messages = [{'role': 'system', 'content': 'You are a helpful assistant.'},
                {'role': 'user', 'content': '如何学习大模型?'}]
    response = Generation.call(model="qwen-turbo",
                               messages=messages,
                               # 设置随机数种子seed,如果没有设置,则随机数种子默认为1234
                               seed=random.randint(1, 10000),
                               temperature=0.8,
                               top_p=0.8,
                               top_k=50,
                               # 将输出设置为"message"格式
                               result_format='message')
    if response.status_code == HTTPStatus.OK:
        print(response)
    else:
        print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
            response.request_id, response.status_code,
            response.code, response.message
        ))

if __name__ == '__main__':
    call_with_messages()

如执行正确, 可看到如下返回结果,代表我们通过sdk请求成功了:

在这里插入图片描述

至此,我们轻松获得一个大模型的使用经验,同时也能感受它在任何领域都具备的能力。

结语

ChatGPT的问世,一石激起千层浪,AI从此步入凡间,好像任何一个人都能玩的明白,玩的通透了。技术促进人类生产力的发展,那么AI又是其中最耀眼的一颗星,学习它很有趣!

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!

标签:tokens,Python,模型,手册,学习,API,output,message
From: https://blog.csdn.net/lvaolan168/article/details/143675494

相关文章

  • Qwen1.5大语言模型微调实践
    在人工智能领域,大语言模型(LargeLanguageModel,LLM)的兴起和广泛应用,为自然语言处理(NLP)带来了前所未有的变革。Qwen1.5大语言模型作为其中的佼佼者,不仅拥有强大的语言生成和理解能力,而且能够通过微调(fine-tuning)来适应各种特定场景和任务。本文将带领大家深入实战,探索如何对Q......
  • 深度学习中模型轻量化及具体方案应用
    模型轻量化介绍在深度学习中,模型轻量化是一项关键技术,用于在不显著损失模型精度的前提下减少模型的计算量和存储需求。轻量化技术尤其适用于资源受限的设备(如移动设备、嵌入式系统)上部署模型。模型轻量化的核心目标是提高推理速度、降低功耗、减少内存占用,以便在边缘设备上实......
  • 基于MCMC的贝叶斯营销组合模型评估方法论: 系统化诊断、校准及选择的理论框架
    贝叶斯营销组合建模(BayesianMarketingMixModeling,MMM)作为一种先进的营销效果评估方法,其核心在于通过贝叶斯框架对营销投资的影响进行量化分析。在实践中为确保模型的可靠性和有效性,需要系统地进行模型诊断、分析和比较。本文将重点探讨这些关键环节,包括:通过后验预测检验评估......
  • python 制作智慧课堂点名系统
    #Python制作智慧课堂点名系统##一、项目背景-智慧课堂需求-点名系统的重要性##二、技术选型-Python语言介绍-适合的Python库(如tkinter,pandas等)##三、系统设计###3.1功能需求-学生名单管理-随机点名-点名记录保存与查询###3.2数据库设计-数据库......
  • 毕业设计:python考研院校推荐系统 混合推荐 协同过滤推荐算法 爬虫 可视化 Django框架(
    毕业设计:python考研院校推荐系统混合推荐协同过滤推荐算法爬虫可视化Django框架(源码+文档)✅1、项目介绍技术栈:Python语言MySQL数据库Django框架协同过滤推荐算法requests网络爬虫pyecharts数据可视化html页面、爬取院校信息:https://yz.chsi.com.cn/sch/(研招网......
  • 人工智能模型训练:从不同格式文件中读取训练数据集
    上一篇:《研发LLM模型,如何用数值表示人类自然语言?》序言:人工智能数据工程师在采集数据时往往会使用不同的工具,因此最终得到的原始数据结构各不相同。市场上已知的数据采集和分析工具所输出的文件格式大致有几种。前面我们介绍了如何从谷歌的TFDS中提取支持的格式数据,今天将为大家......
  • Python数据分析-超市销售数据分析和可视化
    一、研究背景在现代零售业中,超市作为顾客日常消费的重要场所,承担着提供各种商品和服务的角色。随着数字化和电子商务的快速发展,消费者需求日益多样化,零售业竞争愈发激烈,了解消费者的购物行为、偏好、和消费模式成为超市经营和管理的关键因素之一。利用数据分析方法对超市销售......
  • 大数据项目-基于python实现的人才招聘数据分析与可视化平台
    《[含文档+PPT+源码等]精品基于python实现的人才招聘数据分析与可视化平台》该项目含有源码、文档、PPT、配套开发软件、软件安装教程、包运行成功以及课程答疑与微信售后交流群、送查重系统不限次数免费查重等福利!数据库管理工具:phpstudy/Navicat或者phpstudy/sqlyog后台管......
  • 一个模型让所有汽车都能漂移:基于物理的极限驾驶条件扩散模型
    来自TRI和RPI的CoRL‘24最佳论文之一“OneModeltoDriftThemAll:Physics-InformedConditionalDiffusionModelforDrivingattheLimits“。让自动驾驶汽车在操控极限(轮胎力饱和)下可靠运行将提高其安全性,特别是在紧急避障或恶劣天气条件等情况下。然而,由于该任务......
  • 书生大模型实训营第4期基础岛第一关:书生大模型全链路开源体系介绍
    书生大模型实训营第4期基础岛第一关:书生大模型全链路开源体系介绍1.书生·浦语的开源之路1.1模型发展历程1.2核心技术思路1.2.1模型训练迭代技术1.2.2基于规划和搜索解决复杂问题1.3书生·浦语开源模型谱系2.书生·浦语全链路开源体系结构2.1数据开源:书生·万......