ChatGPT狂飙160天，世界已经不是之前的样子。
新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源
“源神”-马斯克
就在刚刚，马斯克的xAI正式开源了Grok大模型的代码、权重和架构。该模型有3140亿参数，是Llama 2的4倍。这也是它成为，迄今为止参数量最大的开源大模型。
发布10个小时，Github上狂揽1万Star、1000Fork。
Grok基本信息
- 训练时间为2023年10月，使用Rust和JAX从零开始训练
- 参数量3140亿（是不是很熟悉的数字，没错就是π）
- 混合专家模型，8个混合专家（Mo8E）
- 64层神经网络
- 8k最大上下文
- 6144的Embedding长度
教程
硬件要求：
由于该模型参数巨大，劝退了绝大部分个人开发者(土豪除外)。还没有详细的硬件要求清单，但大体上对显卡的要求是：4-bit量化需要320G显存、8-bit量化版需要600G显存。
（后续再更新详细硬件要求）
运行步骤(很简单)
Stg1、下载checkpoint
Stg2、ckpt-0目录放到checkpoint中
Stg3、运行测试code
pip install -r requirements.txt python run.py
ps:权重下载链接
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
ChatGPT狂飙160天，世界已经不是之前的样子。
新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源
标签：weoknow,打脸,Grok,马斯克,模型,tr,https,com From： https://blog.csdn.net/zyqytsoft/article/details/136844300