首页 > 其他分享 >大型语言模型景观

大型语言模型景观

时间:2022-09-02 00:33:44浏览次数:153  
标签:medium 语言 AI 模型 景观 cobusgreyling LLM com

大型语言模型景观

我们经常高估短期内可以做的事情,而低估长期可以做的事情。大型语言模型 (LLM) 就是这种情况。我经常听到关于 LLM 迫在眉睫的影响的谈论,好像 LLM 是语言解决方案的整体。为了理解和规划未来,分解 LLM 的关键功能非常重要。

乙 下图描述了当前的大语言模型( 法学硕士 ) 在功能、产品和工具生态系统方面的前景。

TL; 博士

法学硕士功能

 分类  
 响应生成  
 文本生成  
 翻译  
 知识问答

各种 LLM 产品在不同程度上涵盖了这五个功能领域。

分类 是一种监督学习形式,其中将文本分配给预定义的类。这与聚类有关,聚类是无监督学习,其中语义相似的文本被分组在一起,没有任何预先存在的类。

响应生成 是从示例对话创建对话流的概念,并采用机器学习方法。模型根据即时对话历史和最可能的下一个对话来确定要呈现给用户的下一个对话。

文本生成 可以描述为 LLM 的元能力,文本可以基于带有或不带有示例数据的简短描述生成。生成是几乎所有 LLM 共享的功能。小样本学习数据不仅可以广泛利用生成;经过 ** 铸件** ( 即时工程 ) 数据以某种方式决定了小样本学习数据的使用方式。

翻译 是将文本从一种语言翻译成另一种语言的地方。这是直接完成的,无需任何中间语言。阅读更多关于它的信息 这里 .

知识问答 是所谓的知识密集型 NLP (KI-NLP) 的实现,无需查询 API 或利用传统知识库即可回答广泛领域和一般问题。知识密集型 NLP 不是网络搜索,而是以语义搜索为基础的自包含知识库。

产品

 Cohere、OpenAI、AI21labs、GooseAI、Blender Bot、DialoGPT、GODEL、BLOOM、NLLB、Sphere

当前的商业产品由三个较大的参与者组成( 连贯 , AI21实验室 , 开放人工智能 ) 和一个崭露头角的小型实体 鹅AI .

开源实现在其实现重点上往往不够全面,但更具体。

工具生态系统

 以数据为中心的工具、游乐场、笔记本、提示工程工具、托管

法学硕士和游乐场

LLM 作为 API 访问,因此使用其 API 所需的准系统工具是命令行、开发环境或 Jupyter Notebooks; 连贯 在推出内容方面做得非常出色,这些内容展示了如何通过简单的脚本和集成将 LLM 应用于现实生活中的用例。

供应商还清楚地意识到,为了使 LLM 的试验和采用更容易,他们需要以 Playgrounds 的形式提供无代码环境,以公开不同的任务和调整选项:这是了解可以实现什么的一个很好的起点。

下面是 鹅AI 游乐场,这是与其他 LLM 提供者非常相似的方法。

The 鹅AI playground view, with tuning options on the right.

这些游乐场让您可以使用“即时工程”(这是您可以探索令人兴奋的文本生成功能的方式)。注意:我很惊讶我们还没有看到专注于 LLM“即时工程”的第三方工具/市场等出现更大的爆炸式增长,就像我们在图像生成模型(如 DALL- E 和最近的稳定扩散)。

以数据为中心的工具

我渴望看到 LLM 更深入地集成到开发会话 AI 和其他用例(如分析等)所需的“核心”工作流程中;似乎很明显,LLM API 及其嵌入空间的定位是为了解锁更强大的功能:

  • 语义搜索(用于探索非结构化数据)
  • 聚类(需要识别对话或意图的主题)
  • 实体提取(通过文本生成)
  • 分类(通过少量学习示例,或微调实际模型)

我不希望企业客户在供应商 Playgrounds 中进行此类工作——相反,我希望这些将是第三方工具(对话式 AI 平台本身或以数据为中心的专门解决方案)中包含的功能类型由 LLM API 提供支持。

到目前为止,我只见过 以人为本 在这种以数据为中心的产品中集成 LLM(他们目前似乎只支持 连贯 )。

拥抱脸

最后,LLM 是海量模型,而且价格昂贵且难以运行。

这里提到的大多数技术(除了商业 LLM)都可以通过 拥抱脸 .

您可以使用空间、模型卡或通过托管推理 API 与模型进行交互。有培训、部署和托管选项。显然,托管和计算需求将是过多的,而且不容易证明是合理的。

综上所述

LLM 不是聊天机器人开发框架,不应将其与另一个进行比较。对话式 AI 中有特定的 LLM 用例,聊天机器人和语音机器人的实施肯定可以从利用 LLM 中受益。

https://www.linkedin.com/in/cobusgreyling

https://www.linkedin.com/in/cobusgreyling

[

每当 Cobus Greyling 发布时,都会收到一封电子邮件。

每当 Cobus Greyling 发布时,都会收到一封电子邮件。通过注册,您将创建一个 Medium 帐户,如果您还没有……

cobusgreyling.medium.com

](/subscribe)

[

Eliza 语言技术社区 - 语言技术:会话 AI、NLP/NLP、CCAI……

ELIZA - 语言技术爱好者的聚集地。

www.eliza.community

](https://www.eliza.community)

[

大型语言模型正在开源

托管解决方案的成本正在下降

cobusgreyling.medium.com

](/large-language-models-are-being-open-sourced-537dcd9c2714)

[

NLU 的无代码工具

将自然语言转化为业务洞察力和 AI 训练数据的完整生产力套件

人类第一.ai

](https://humanfirst.ai)

[

使用大型语言模型引导聊天机器人

如何利用 OpenAI 的力量从头开始创建聊天机器人

cobusgreyling.medium.com

](/bootstrapping-a-chatbot-with-a-large-language-model-93fdf5540a1b)

[

使用 Meta AI NLLB(不留下任何语言)和 SMS 的语言翻译

Meta AI NLLB 项目具有开源模型,能够直接在 200...

cobusgreyling.medium.com

](/language-translation-using-meta-ai-nllb-no-language-left-behind-and-sms-281cce5c6bf3)

[

什么是 KI-NLP,它如何用于对话式 AI?

知识密集型自然语言处理 (KI-NLP) 非常适合回答问题而不是搜索……

cobusgreyling.medium.com

](/what-is-ki-nlp-and-how-can-it-be-used-for-conversational-ai-9f8cf2ba4bb5)

[

BLOOM — BigScience 大型开放科学开放存取多语言语言模型

在这里,您将找到名为 BLOOM 的大型语言模型 (LLM) 的概述。存在哪些实际的实现......

cobusgreyling.medium.com

](/bloom-bigscience-large-open-science-open-access-multilingual-language-model-b45825aa119e)

[

使用 DialoGPT 生成对话响应

人们重新关注加快聊天机器人的开发。尝试快速跟踪对话式 AI 开发……

cobusgreyling.medium.com

](/using-dialogpt-for-conversational-response-generation-559e2a13b191)

[

什么是 GODEL(针对目标导向对话的大规模预训练)?

2022 年 5 月,微软宣布了 GODEL。 GODEL 专为通用领域对话而设计,并且完全开源。

cobusgreyling.medium.com

](/what-is-godel-large-scale-pre-training-for-goal-directed-dialog-574a179a79a0)

[

Meta AI 的 Blender Bot 3.0 是一个具有长期记忆和互联网搜索的开源聊天机器人

2022 年 8 月 5 日,Meta AI 发布了 Blender Bot 3,这是第一个公开可用的 175B 参数机器人。大约 58…

cobusgreyling.medium.com

](/meta-ais-blender-bot-3-0-is-an-open-source-chatbot-with-long-term-memory-internet-search-ce024a5fe8aa)

[

Co:here 与 HumanFirst 整合分析

以及如何在 NLU 工作流中利用 LLM

cobusgreyling.medium.com

](/analysis-of-the-co-here-and-humanfirst-integration-6f5072251b47)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明

本文链接:https://www.qanswer.top/9592/20050200

标签:medium,语言,AI,模型,景观,cobusgreyling,LLM,com
From: https://www.cnblogs.com/amboke/p/16648325.html

相关文章

  • opensergo 阿里开源的语言无关的云原生服务治理指南
    opensergo是阿里巴巴开源提供的语言无关的云原生服务治理指南,包含了不少子项目(指南,golang,java,协议)概览  说明opensergo还是很完备的,很值得学习参考,后续仔细研究......
  • C语言学生宿舍水电费信息管理系统
    C语言学生宿舍水电费信息管理系统22.学生宿舍水电费信息管理系统功能:(1)记录每个宿舍的名称、编号、用水量、用电量、水电价格、宿舍学生等信息;(2)能够对系统中各宿舍......
  • C语言基础之extern的使用。
    Extern的使用一般是在你想要定义一个可以在多个文件之中被使用的变量。其实很简单只要分为两步:1.在.c文件之中进行定义变量,例如在main.c之中定义uint32_tflag;2.在.h文......
  • C语言:分配内存malloc()和free()
    malloc()函数C可以在程序运行时分配更多的内存,主要通过malloc()函数,该函数接受一个参数:所需的内存字节数。malloc()函数会找到合适的空闲内存块,这样的内存是匿名的。也就......
  • GPU多卡训练torch模型
    用命令即可:python3-mtorch.distributed.launch--nproc_per_node8train.py或者使用Accelerator: https://huggingface.co/docs/transformers/v4.21.2/en/accelerate......
  • 基于Hugging Face的transformers包的微调模型训练
    transformersAPI参考链接:https://huggingface.co/docs/transformers/v4.21.2/en/trainingtrain.pyfromdatasetsimportload_datasetfromtransformersimportAutoT......
  • C语言:变长数组(VLA)
    VLAC99新增了变长数组(variable-lengtharrayVLA),允许使用变量表示数组的维度。如下所示:intquarters=4;intregions=5;doublesales[regions][quarters];//......
  • OSI七层模型与TCP/IP协议
    作者:菘蓝时间:2022/9/1========================================================================================================一、为什么网络需要分层1.1层次划......
  • 计算机网络参考模型及协议
    1.分层思想1.1基本概念分层是基于面向对象上的,是更高层次上的设计理念。在软件开发技术的发展过程中,出现了很多优秀的思想与模式。这些思想和模式凝结了无......
  • 网络基础七层模型与TCP/IP协议
    1.网络基础1.1什么是网络网络就是计算机网络是一组计算机或网络设备通过有形的线缆或无形的媒介如无线,连接起来,按照一定的规则,进行通信的集合。网络通信就是指终端设......