• 2024-09-05Falcon Mamba: 首个高效的无注意力机制 7B 模型
    FalconMamba是由阿布扎比的TechnologyInnovationInstitute(TII)开发并基于TIIFalconMamba7BLicense1.0的开放获取模型。该模型是开放获取的,所以任何人都可以在HuggingFace生态系统中这里使用它进行研究或应用。在这篇博客中,我们将深入模型的设计决策、探究模
  • 2024-07-23CrowdStrike的影响:全球IT中断如何摧毁世界科技
    2024年7月19日windows蓝屏事件一、前言​CrowdStrike遭遇了全球IT中断,凸显了互联全球供应链的脆弱性。根据Interos的数据,此次中断影响了CrowdStrike和Microsoft的674,620个直接客户关系,并间接影响了超过4900万客户关系。虽然美国是受影响最严重的国家,受影响
  • 2024-07-09[大数据][机器学习]之Model Card(模型卡片)介绍
    每当我们在公有云或者私有云发布训练好的大数据模型,为了方便大家辨识、理解和运用,参照huggingface所制定的标准制作一个ModelCard展示页,是种非常好的模型展示和组织形式。下面就是一个ModelCard的示例,我试着把它翻译成了中文,源网址,并且提供了Markdown的模板,供大家参考。在这里
  • 2023-10-26Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析
    在上期文章,我们探讨了如何在自定义数据集上来微调(fine-tuned)模型。本期文章,我们将重新回到文本生成的大模型部署场景,探讨如何在AmazonSageMaker上部署具有400亿参数的Falcon40B开源大模型。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开
  • 2023-10-25Falcon:我们是靠洗数据洗败 LLaMA 的!
    原文链接:https://blog.csdn.net/qq_27590277/article/details/131298092思想:从数据入手,想炼丹,先把好原材料的关。这个模型仅使用“互联网语料”(不需要额外的数据源),就可以训练一个不错的大模型。问题点:数据、wikipedia、论文集这些数据集质量高,但是不易扩展,数量级起不来。假
  • 2023-09-12Falcon 180B 目前最强大的开源模型
    TechnologyInnovationInstitute最近发布了Falcon180B大型语言模型(LLM),它击败了Llama-270b,与谷歌Bard的基础模型PaLM-2Large不相上下。180B是是Falcon40B模型一个最新版本。以下是该模型的快速概述:180B参数模型,两个版本(base和chat)使用RefinedWeb数据集训练3.5万亿个令
  • 2023-09-06重磅| Falcon 180B 正式在 Hugging Face Hub 上发布!
    引言我们很高兴地宣布由TechnologyInnovationInstitute(TII)训练的开源大模型Falcon180B登陆HuggingFace!Falcon180B为开源大模型树立了全新的标杆。作为当前最大的开源大模型,有180B参数并且是在在3.5万亿token的TIIRefinedWeb数据集上进行训练,这也是目前开
  • 2023-07-16linux部署docker以及常用容器部署
    linux部署docker以及常用容器部署前言本文主要教大家linux安装部署docker以及常用容器部署1.docker部署1.1.依次运⾏以下命令添加yum源代码如下yumupdateyuminstallepel-release-yyumcleanallyumlist1.2.安装并运⾏Docker。代码如下yuminstalldocker-io-ysystemct
  • 2023-07-06开源大模型新SOTA,支持免费商用,比LLaMA65B小但更强
    号称“史上最强的开源大语言模型”出现了。 它叫Falcon(猎鹰),参数400亿,在1万亿高质量token上进行了训练。最终性能超越650亿的LLaMA,以及MPT、Redpajama等现有所有开源模型。 一举登顶HuggingFaceOpenLLM全球榜单: 除了以上成绩,Falcon还可以只用到GPT-375%的训练预算,性能
  • 2023-06-23MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT
    MosaicML正在推出其第二个开源大型语言模型(LLM),称为MPT-30B,这是继五月份首次推出的较小的MPT-7B模型之后。为了讨论新模型及其对开发人员的意义,我采访了MosaicML联合创始人兼首席执行官NaveenRao。他之前的创业公司是Nervana,这是一家深度学习公司,于2016年被英特尔收购,所以他最近
  • 2023-06-23MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT
    MosaicML正在推出其第二个开源大型语言模型(LLM),称为MPT-30B,这是继五月份首次推出的较小的MPT-7B模型之后。为了讨论新模型及其对开发人员的意义,我采访了MosaicML联合创始人兼首席执行官NaveenRao。他之前的创业公司是Nervana,这是一家深度学习公司,于2016年被英特尔收购,所以他最近
  • 2023-06-17开源大型语言模型(llm)总结
    大型语言模型(LLM)是人工智能领域中的一个重要研究方向,在ChatGPT之后,它经历了快速的发展。这些发展主要涉及以下几个方面:模型规模的增长:LLM的规模越来越大,参数数量显著增加。这种扩展使得模型能够处理更复杂、更长的输入序列,并生成更准确、更具连贯性的输出。同时,更大规模的模型还
  • 2023-06-16Falcon 登陆 Hugging Face 生态
    引言Falcon是由位于阿布扎比的技术创新研究院(TechnologyInnovationInstitute,TII)创建的一系列的新语言模型,其基于Apache2.0许可发布。值得注意的是,Falcon-40B是首个“真正开放”的模型,其能力可与当前许多闭源模型相媲美。这对从业者、爱好者和行业来说都是个好消息,
  • 2023-05-29Falcon猎鹰:史上最强开源大语言模型
    号称“史上最强的开源大语言模型”出现了。它叫Falcon(猎鹰),参数400亿,在1万亿高质量token上进行了训练。最终性能超越650亿的LLaMA,以及MPT、Redpajama等现有所有开源模型。一举登顶HuggingFaceOpenLLM全球榜单:除了以上成绩,Falcon还可以只用到GPT-375%的训练预算,性能就显著
  • 2023-05-22监控软件之open-falcon
    2019-07-10一、open-falcon简介 open-falcon是由小米运维团队,从互联网公司角度为出发点,开发出来的一套面向互联网行业的企业级的开源监控系统,截至2019年7月,open-falcon最新稳定版本为v0.2二、open-falcon特性数据采集方式多样灵活:支持agent、snmp、用户主动push、自定义插