- 2024-08-2010倍加速LLM计算效率:消失的矩阵乘
矩阵乘法(MatMul)是深度学习中的主要计算瓶颈,尤其在ChatGPT等Transformer模型中,矩阵乘法的运行时长约占其总运行时长的45-60%,解决这一挑战对发展更经济的大模型具有重要意义。为此,加州大学的研究人员在论文《ScalableMatMul-freeLanguageModeling(可扩展的无矩阵乘法语言模
- 2024-07-09浅谈 [NOIP 2023]三值逻辑 无限种解法
浅谈[NOIP2023]三值逻辑无限种解法前言对于NOIP2023,T1是个人人都会写的签到题,对于T3则是做法唯一只能按照提醒的数据范围一步一步走,对于T4则是只能线段树优化dp。思维局限性大,并没有什么深度挖掘的意义。直到有一天睡觉的时候又想起来T2这个题,觉得有必要把这个题相
- 2024-06-15程序员的数学
第一章0的故事--无即是有对2的0次方的思考思维方式:以简化规则为目标去定义值。0的作用:占位兼顾完整性和排他性在考虑规则时,确认有没有“遗漏”和“重复”是相当重要的。没有遗漏,即具备完整性。由此明确该规则无论在什么情况下都能适用。没有重复,即具备排他性,由此明确该规