公司简介
成立于2016年，以快著称的美国人工智能芯片独角兽Groq，2024年8月5日官宣融资6.4亿美元（截止到当前最新一轮融资）。
Groq的语言处理单元（LPU, Language Processing Unit）专为AI推理和语言处理而设计，是应时而生、实现AI超快推理的核心技术。
到底有多快？
相较于英伟达GPU提高十倍，且和其他加速推理平台相比也是遥遥领先。
如何体验？
两种最直接的方式。
一、直接访问官网
进入 官网 首页，选择模型进行问答。
比如选择 Llama-3.3-70b-Specdec 该模型，提问 What is AI inference，回答速度可以高达 1.6k tokens/s。
二、groqcloud
进入 groqcloud，右上角下拉框选择模型，右侧还可以对temperature以及Top P等超参进行调整。
选择模型后提问，LLM推理结束后会有 Speed Insights 信息显示，可以看到衡量推理效率的各项指标在本次问答中的数值结果。
推荐阅读
[1] 向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU
[2] 揭开Groq LPU神秘面纱：世界最快硬件加速器的底层架构设计
标签：AI,推理,LPU,28,芯片,Groq,独角兽,模型 From： https://blog.csdn.net/weixin_41338279/article/details/145044765