- 基于开放模型的推理时计算缩放
过去几年，大语言模型(LLM)的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效，但预训练更大模型所需的资源变得异常昂贵，数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴趣，即推理时计算缩放。推理时计算缩放无需日趋庞大的预训练预算，而是采用动态......
- 大龄焦虑？老码农逆袭之路：拥抱大模型时代，焕发职业生涯新活力！
其实我很早就对大龄程序员这个话题感到焦虑，担心自己35岁之后会面临失业，有时和亲戚朋友聊天时，也会经常拿这个出来调侃。现在身边已经有很多35岁左右的同事，自己过两年也会步入35岁的行列，反倒多了一份淡定和从容。如何看待35岁年龄危机35岁年龄特点强调一下，35岁并不是真正......
- LLM2Vec: 解锁大语言模型的隐藏能力
LLM2Vec：重新定义大语言模型在自然语言处理中的应用一种名为**LLM2Vec**的新方法正在改变我们对大语言模型（LLMs）在自然语言处理（NLP）中的使用方式。研究人员提出了一种创新方法，将通常仅用于生成文本的大型语言模型转化为更强大的文本理解和组织工具。这项技术有可能颠覆我们......
- 自动推理与规划：让机器具备智能决策与问题解决能力
随着人工智能技术的不断进步，自动推理与规划（AutomatedReasoningandPlanning）已经成为使机器具备高效决策和问题解决能力的核心技术之一。它涉及如何通过逻辑推理、任务规划和约束求解，使机器能够自主地解决复杂问题、制定行动策略，并在不断变化的环境中做出最优决策。自动推理......
- AirLLM: 分层推理在低内存硬件上的应用
AirLLM:分层推理在低内存硬件上的应用在大规模语言模型（LLM）的发展中，如何在低内存硬件上实现高效推理始终是一个挑战。AirLLM作为一种新兴的分层推理方法，为这一问题提供了创新的解决方案，使得在普通消费硬件上可以运行高达70B参数的模型，如Llama270B，而无需进行量化处理。分......
- Deepseek V3 —— 6850亿参数混合专家(MoE)架构开源大模型！Deepseek V3全方位客观评测
地址：https://www.youtube.com/watch?v=BnoMTeKxwBQ......
- 拍照文档处理——达到商用级别的基于语义分割与直线检测拍照文档边缘校正（使用NCNN进行
概述文档图像的边缘校正是图像处理中的一项重要任务，尤其在文档数字化和自动化扫描过程中，确保文档图像的几何形状和内容准确性具有重要意义。传统的文档图像校正方法通常依赖于手动选择或简单的几何变换。然而，随着深度学习和计算机视觉技术的发展，语义分割与直线检测被广泛应......
- Python硬解码并AI推理——PyNvVideoCodec使用记录
PyNvVideoCodec替换VPF原来的VPF不能用了，现在变成了了PyNvVideoCodec。直接通过pip安装但是Python版本要大于3.10，但也比之前安装友多了。GitHub-NVIDIA/VideoProcessingFramework:SetofPythonbindingstoC++librarieswhichprovidesfullHWaccelerationforvideo......
- AAAI-2024 | 大语言模型赋能导航决策！NavGPT：基于大模型显式推理的视觉语言导航
作者：GengzeZhou,YicongHong,QiWu单位：阿德莱德大学，澳大利亚国立大学论文链接：NavGPT:ExplicitReasoninginVision-and-LanguageNavigationwithLargeLanguageModels（https://ojs.aaai.org/index.php/AAAI/article/download/28597/29161）代码链接：https://gi......
- 拥抱虚拟打卡，开启工作新趣
在这个追求高效与自由的时代，虚拟打卡悄然走红，成为职场新宠，它带来的好处妙趣横生。 ❤️夹带私货：打卡推荐清晨，无需在沙丁鱼罐头般的地铁里挣扎，你能悠然坐在窗边，一边品着咖啡，一边手指轻点完成打卡，开启能量满格的一天。遇上出差，高铁呼啸而过时，顺手打卡，工作旅程无缝衔接，让奔......