- 2025-01-06DINO-X环境搭建&推理测试
引子开放世界检测,前文也写OV-DINO(感兴趣的童鞋,请移步OV-DINO开放词检测环境安装与推理-CSDN博客)。这不,DINO系列又更新了。OK,那就让我们开始吧。 一、模型介绍IDEA开发了一个通用物体提示来支持无提示的开放世界检测,从而无需用户提供任何提示即可检测图像中的任何内容。发
- 2025-01-06什么是 Inference Scaling Laws?为什么说 Inference Scaling 是未来AGI发展的方向?
OpenAI近期发布的O1模型无疑在AI领域掀起了一股新的浪潮。不同于以往专注于预训练规模的竞赛,O1模型似乎预示着一个新时代的到来:推理为王。这背后的核心理念,正是近年来逐渐受到重视的InferenceScalingLaws(推理扩展定律)。传统的预训练扩展定律告诉我们,模型性能随着
- 2025-01-05参数减少99.5%,媲美全精度FLUX!字节跳动等发布首个1.58-bit FLUX量化模型
文章链接:https://arxiv.org/pdf/2412.18653项目链接:https://chenglin-yang.github.io/1.58bit.flux.github.io/git主页:https://github.com/Chenglin-Yang亮点分析1.58-bitFLUX,第一个将FLUX视觉Transformer的参数(共119亿)减少99.5%至1.58-bit的量化模型,无需
- 2025-01-05CompletionFormer-环境配置+推理自己的数据集
CompletionFormer配置环境Ubuntu20.04,Python3.8,PyTorch1.10.1,CUDA11.3配置:Intel®Xeon®Gold6226RCPU@2.90GHz×64TeslaT4/PCIe/SSE2*4原作者提出的安装依赖项如下condacreate-ncompletionformerpython=3.8condaactivatecompletionformer
- 2025-01-03论文阅读:Securely Outsourcing Neural Network Inferenceto the Cloud with Lightweight Techniques
目录1.引言(Introduction)2.预备知识(Preliminary)2.1加法秘密共享(AdditiveSecretSharing)3.系统概述(SystemOverview)3.1系统架构3.2威胁模型与隐私目标4.设计方案(ProposedDesign)4.1安全卷积层(SCONV)4.2安全批归一化(SBN)4.3安全ReLU激活(SReLU)4.4安全最大池
- 2025-01-03HuatuoGPT-o1-7B:利用大型语言模型解锁高级医学推理
导言HuatuoGPT-o1是一种开创性的医学大语言模型(LLM),正在医疗保健领域掀起一场革命。该模型由FreedomIntelligence设计,专为高级医疗推理量身定制,为医疗保健相关查询提供了一种复杂的方法。机型概览HuatuoGPT-o1-7B模型是基于Qwen2.5-7B架构构建的,Qwen2.5-7B是一款功能强
- 2025-01-03LLM2:让大语言模型拥抱“系统2”推理
引言
- 2025-01-02基于开放模型的推理时计算缩放
过去几年,大语言模型(LLM)的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效,但预训练更大模型所需的资源变得异常昂贵,数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴趣,即推理时计算缩放。推理时计算缩放无需日趋庞大的预训练预算,而是采用动态
- 2025-01-02大语言模型(LLM)如何改变金融风控?
近年来,随着科技的飞速发展,金融风险控制领域也在悄然发生变革。其中,大语言模型(LLM)无疑是推动这一变革的重要力量。作为一项具备理解、生成、多模态融合和推理决策能力的技术,LLM正逐步渗透到金融风控的各个环节,帮助企业在复杂的风险环境中保持前瞻性和智能化的应对能力。今天,我们
- 2025-01-01揭秘o1类模型的过度思考:明明只需5个token,它偏要用900个?
今天给大家分享一篇论文,揭秘o1类超大型语言模型的过度思考:2+3=?答案仅需5个token,o1类模型凭啥要900个?题目是:DoNOTThinkThatMuchfor2+3=?OntheOverthinkingofo1-LikeLLMs作者单位:腾讯AILab、上海交通大学论文链接:https://arxiv.org/abs/2412.21187论文概述这
- 2025-01-01自动推理与规划:让机器具备智能决策与问题解决能力
随着人工智能技术的不断进步,自动推理与规划(AutomatedReasoningandPlanning)已经成为使机器具备高效决策和问题解决能力的核心技术之一。它涉及如何通过逻辑推理、任务规划和约束求解,使机器能够自主地解决复杂问题、制定行动策略,并在不断变化的环境中做出最优决策。自动推理
- 2024-12-31游戏推荐(个人向)
作为一位明显以游戏为最主要爱好的玩家,在上大学之后当然是玩了很多游戏的个人觉得其中的一些非常好,但是玩的人还不是很多,因此有的时候想推荐出去。既能帮助大家找到质量更高的游戏,也可以让我和周围人的共同话题变得更多一点。毕竟似乎我在讨论喜欢的游戏的时候是最有活力的(因此
- 2024-12-31AirLLM: 分层推理在低内存硬件上的应用
AirLLM:分层推理在低内存硬件上的应用在大规模语言模型(LLM)的发展中,如何在低内存硬件上实现高效推理始终是一个挑战。AirLLM作为一种新兴的分层推理方法,为这一问题提供了创新的解决方案,使得在普通消费硬件上可以运行高达70B参数的模型,如Llama270B,而无需进行量化处理。分
- 2024-12-27TensorRT-YOLO:灵活易用的 YOLO 部署工具
- 2024-12-25大模型应用技术系列(二):大模型部署和推理优化
之前的文章《大模型应用技术系列(一):大模型应用整体技术栈浅析》中,我们浅析了大模型技术栈的构成。从用户到底层,每层中都有很多需要深究的东西。本文将专注介绍大模型部署层面的内容。从一个简单的应用场景出发,通过一个完整的工具链路,来深入了解部署的过程。
- 2024-12-25大模型推理引擎国产化思考和实践
本文主要聚焦于大模型推理引擎国产化的重要性与相关背景,文中对比了国产芯片与国际芯片的性能,强调硬件对软件优化的影响。还深入探讨了国产化实践中的挑战与机遇,包括架构比较、性能优化、框架兼容性及模型适配。强调自研推理引擎的必要性,指出与国产芯片适配的重要性及未来发展趋
- 2024-12-24OpenAI 反击Google,推理ChatGPT模型“O3”猜想:慢思考与强智能的新探索
近日,有国外媒体报道OpenAI其下一代推理模型“O3”即将问世。这款模型不仅在命名上跳过了传统序列逻辑,更在技术设计与推理理念上引发了广泛关注。“O3”的核心特性在于,它或许会放弃对速度和效率的过度追求,转而强化“慢思考”能力,让模型的推理方式更接近人类认知过程。这一改变
- 2024-12-23如何提升大模型的“深度思维能力”
01前言人类的思考可以是瞬间的,也可以是漫长的,尤其在面对棘手问题时,人类需要更多时间。这种特性大大提升了人类思维的潜力。当我们面临困难问题时,人类会尝试“分析-反思-创新”的链条,从而花费很长的时间来获得更为可信的答案(亦或是更美的答案,这是另一个问题,暂时不在本章中
- 2024-12-2251c大模型~合集94
我自己的原文哦~ https://blog.51cto.com/whaosoft/12897659#D(R,O)Grasp重塑跨智能体灵巧手抓取,NUS邵林团队提出全新交互式表征,斩获CoRLWorkshop最佳机器人论文奖本文的作者均来自新加坡国立大学LinSLab。本文的共同第一作者为上海交通大学实习生卫振宇和新加坡
- 2024-12-18模型部署-AI_pred 模型
AI算法.算子在PyTorch中有实现.有把该PyTorch算子映射成一个或多个ONNX算子的方法.ONNX有相应的算子即:PyTorch算子映射方法ONNX算子这三个方面1.PyTorch框架和平台ATen(https://pytorch.org/cppdocs/#aten)是PyTorch内置的C++张量
- 2024-12-17支持数据撤销的模型成员推理攻击工具箱
支持数据撤销的模型成员推理攻击工具箱本项目是一个支持数据撤销的成员推理攻击工具,支持mnist、cifar10、cifar100、cinic10等多种数据集,可实现针对LeNet、RNN、ResNet、RL等多种模型的成员推理攻击,并给用户一个详细的使用文档。环境Python3.9PyTorch>=1.10.0项目地址
- 2024-12-16微软 Phi-4:小型模型的推理能力大突破
在人工智能领域,语言模型的发展日新月异。微软作为行业的重要参与者,一直致力于推动语言模型技术的进步。近日,微软推出了最新的小型语言模型Phi-4,这款模型以其卓越的复杂推理能力和在数学领域的出色表现,引起了广泛关注。Phi-4的出现不仅挑战了“模型越大越好”的传统观念,还为
- 2024-12-16Xinference环境搭建&推理测试
引子写了很多篇开源大模型的环境部署与推理搭建,截止到目前,开源大模型已经发展较为完善。个人觉得,产品和项目维度来看更多的是如果去落地实现,也就是大模型的最后一公里的应用开发。最近看到Xinference一个开源很火的推理框架。OK,那就让我们开始吧。一、框架介绍Xinference:一款性
- 2024-12-15阿里:LLM数学推理错误识别基准
- 2024-12-14YOLOv8目标检测(四)_图片推理
YOLOv8目标检测(一)_检测流程梳理:YOLOv8目标检测(一)_检测流程梳理_yolo算法检测流程-CSDN博客YOLOv8目标检测(二)_准备数据集:YOLOv8目标检测(二)_准备数据集_yolo目标检测数据集准备-CSDN博客YOLOv8目标检测(三)_训练模型:YOLOv8目标检测(三)_训练模型-CSDN博客YOLOv8目标