首页 > 其他分享 >3D DRAM集成AI能力,卷出新高度!

3D DRAM集成AI能力,卷出新高度!

时间:2024-08-31 20:21:28浏览次数:17  
标签:AI 技术 晶体管 内存 DRAM 3D

图片

数据中心在追求更高性能和更低总拥有成本(TCO)的过程中面临三大主要内存挑战。首先,当前服务器内存层次结构存在局限性。直接连接的DRAM与固态硬盘(SSD)存储之间存在三个数量级的延迟差异。当处理器直接连接的内存容量耗尽时,就必须转向SSD,导致处理器处于等待状态。这种等待,即延迟,对计算性能产生重大负面影响。

图片

其次,多核处理器的核心数增长速度远远超过主内存通道的数量。这意味着超过一定数量的处理器核心会因缺乏足够的内存带宽而无法充分发挥效能,从而削弱了额外核心带来的优势,也就是出现了内存墙的问题。

图片

最后,随着加速计算的普及,即加速器配备有自己的直接连接内存,未充分利用或被闲置的内存资源问题日益凸显。

图片

DRAM 的核心工作原理基于电荷存储,通常采用一晶体管一电容(1T1C)结构。随着制程节点不断缩小,要在更小的空间内实现稳定的电荷存储和读写操作变得日益困难。

图片

物理极限(如量子隧穿效应、漏电流增加、热稳定性下降等)、材料科学挑战(如电介质厚度减少导致的电容减小、泄漏电流增大等)以及制造工艺的精密控制要求,都使得 DRAM 在继续沿用 2D 方式缩小器件尺寸(如提到的 4F² 缩放)时遭遇严重阻碍。

图片

随着 2D DRAM 缩放难度增大,研发投入、制造成本以及良率控制问题日益突出。在技术节点不断微缩的过程中,单位面积内增加更多比特所需的投资呈非线性增长,而性能提升和成本节省却可能不如预期。这种成本效益的失衡使得继续沿用传统路径进行 DRAM 缩放不再经济可行,成为产业难以回避的财务难题。

图片

随着数据量爆炸性增长,尤其是云计算、人工智能、大数据分析等领域对高速、大容量、低延迟内存的需求持续攀升,市场对更高密度、更低功耗、更大带宽的 DRAM 产品有着强烈需求。然而,现有 2D DRAM 技术的发展速度已无法满足这些需求的增长速度,形成了供需之间的矛盾,进一步加剧了 DRAM 不再有效缩放问题的紧迫性。

为了解决这个难题,业内常见的有High Bandwidth Memory (HBM)、Computational In-Memory (CIM)、Emerging Memories(新型存储器)、CXL等技术,它们旨在通过不同的方式(如堆叠封装、计算与存储一体化、采用新材料新机制等)来绕过传统 2D DRAM 的缩放限制,提升存储密度和性能。

图片

特别是对 3D DRAM 的探索,通过将存储单元垂直堆叠而非水平排列,可以在不大幅改变单个单元尺寸的情况下显著增加单位体积内的存储比特数,从而在一定程度上克服 2D 缩放的局限。尽管 3D DRAM 技术尚处于早期研发阶段,且面临诸多技术挑战(如专利布局、工艺复杂性、架构选择等),但因其巨大的潜力,已成为业界关注的焦点。

图片

3D DRAM的关键技术
  • 垂直通道晶体管(Vertical Channel Transistor, VCT):VCT是一种三维晶体管结构,其中晶体管的沟道沿垂直方向排列。这种设计使得晶体管能够在更小的空间内堆叠,从而提高了芯片的密度。

  • 4F^2设计:4F^2设计是一种更紧凑的存储单元布局方式,与传统的6F^2相比,可以在相同的工艺节点上减少30%的存储密度。这意味着可以在相同大小的芯片上容纳更多的存储单元。

  • EUV光刻技术:随着DRAM晶体管尺寸的减小,EUV(极紫外)光刻技术成为必需。目前,三星和SK海力士仅在少数层面上采用EUV技术,这增加了成本。为了显著降低成本,DRAM制造商需要采用三维晶体管和新型DRAM结构。SK海力士的研究人员表示,采用垂直通道晶体管(VCT)或3D DRAM可以将EUV工艺的成本降低一半。

目前3D DRAM 的公开技术文献数量极少。行业主要厂商在公开交流上保持沉默,但在背后却在积极申请大量与 3D DRAM 相关的专利。这种现象表明,尽管企业不愿意公开分享技术细节,但他们对 3D DRAM 技术的开发投入巨大,并且通过专利保护的方式为未来的市场竞争和技术主导权做准备。这种策略反映出 3D DRAM 技术的战略重要性和潜在的巨大商业价值。

可以公开查询的关于3D DRAM的论文,比如来自 国内长鑫存储CXMT(2023 IMW Conf.)和三星(2023 VLSI Symp.),都是DRAM厂商在专业会议上发布的针对 1T1C(一晶体管一电容)结构的 3D DRAM

  • 2023 IMW Conf. “A 3D Stackable 1T1C DRAM: Architecture, Process…” by CXMT

  • 2023 VLSI Symp. “ Ongoing Evolution of DRAM Scaling via 3rd Dimension: V-DAM” by Samsung

除了主流的 1T1C 3D DRAM 研究,还有其他创新的无电容 DRAM 方法在探索中。其中,2T0C Gain Cell 主要集中在学术研究层面,而 Gate-controlled-thyristor DRAM 则由 Macronix 开发。这两种无电容方案旨在通过简化结构、减少或取消电容元件来降低制造复杂度,提高集成度,可能是 3D DRAM 发展的另一种可能路径。

从 2D DRAM 向 3D DRAM 转变过程中将面临无数技术挑战。这些挑战涵盖工艺技术的各个方面,如硬掩模刻蚀(HAR etch)、横向刻蚀、原子层沉积(ALD)、原子层刻蚀(ALE)、外延生长、沉积技术、掺杂、硅化物形成、接触形成以及应力管理等。这些复杂且精密的工艺步骤需要相应的设备支持和技术创新,为半导体设备供应商提供了技术服务和设备升级的市场空间。

图片

东京电子公司预测,使用垂直通道晶体管(VCT)和4F^2细胞设计的DRAM将在2027年至2028年左右开始出现。为了生产这些基于VCT的DRAM,内存制造商需要采用新材料用于电容器和位线。

另外,据报道,三星和SK海力士计划在其亚10纳米工艺技术中应用4F^2细胞设计,尽管具体细节尚不清楚。三星的第一代亚10纳米DRAM制造工艺仍需两代之遥。目前,三星最先进的DRAM生产工艺是其第五代10纳米级别(12纳米)技术,该技术于2023年中期开始使用。

在行业大会Memcon 2024上,三星宣布其计划成为首家在2025年后步入3D DRAM内存时代的行业领军者。随着DRAM内存行业在本十年后期将线宽压缩至低于10纳米,现有的设计解决方案在如此精细的尺度上难以进一步扩展,因此业界正在探索包括3D DRAM在内的多种创新内存设计。

图片


在Memcon 2024大会上,三星展示了两项新型3D DRAM内存技术,即垂直通道晶体管(Vertical Channel Transistor)和堆叠DRAM(Stacked DRAM)。

  • 相较于传统晶体管结构,垂直通道晶体管将沟道方向由水平改为垂直,这虽能显著减小器件面积占用,但对刻蚀工艺的精度要求更高。

  • 相较于现有的2D DRAM结构,堆叠DRAM能充分利用Z轴空间,在较小区域内容纳更多存储单元,使得单颗芯片容量提升至超过100G级别。

  • 三星已于今年早些时候在美国硅谷开设了一家新的3D DRAM研发实验室。

预计到2028年,3D DRAM市场规模将达到1000亿美元(约为7240亿人民币)。

在刚刚过去的FMS 2024上,NEO 最近推出了其最新的 3D X-AI 芯片技术,这项技术有可能取代目前在 AI GPU 加速器中使用的高带宽内存 (HBM)。

图片

这款 3D DRAM 集成了 AI 处理能力,能够在内存中直接处理和生成数据,无需额外的数学运算输出。当大量数据在内存和处理器之间传输时,它可以减少数据总线的问题,从而增强 AI 性能并降低功耗。

图片

3D X-AI 芯片有一个内置的神经电路层,可以在同一芯片上的 300 层内存中处理数据。NEO 半导体声称,借助 8,000 个神经元电路在内存中进行 AI 处理,3D 内存的性能可以提高 100 倍,内存密度比当前的 HBM 高 8 倍。通过减少 GPU 中处理的数据量,可以将功耗降低 99%。

图片

单个 3D X-AI 芯片包含 300 层 3D DRAM 单元和一层带有 8,000 个神经元的神经电路层,容量为 128GB,每个芯片支持高达 10 TB/s 的 AI 处理能力。使用 12 个 3D X-AI 芯片堆叠并采用 HBM 封装技术,可以实现 120 TB/s 的处理吞吐量。因此,NEO 估计这种配置可能会带来高达 100 倍的性能提升。

如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!

精彩推荐:

标签:AI,技术,晶体管,内存,DRAM,3D
From: https://blog.csdn.net/zhuzongpeng/article/details/141729649

相关文章

  • Mr.Lou的面向AI课程学习之_markdown
    面向AI学习markdown的使用提问词作为计算机技术专家、人工智能技术专家,网络空间安全专家,密码学专家,密码技术专家,请您:深入浅出的讲解一下Mardown,Markdown的详细语法推荐至少两款线上工具,至少两种线下工具讲解Markdown的高级用法,包括插入数学公式、绘图、制作PPT,格式转换等讲......
  • AI工具
    AI平台我知道的AI大模型平台有百度的文心一言、openai的chatgpt、阿里云的ai工具、夸克的夸克AI等,其中我使用过文心一言和chatgptAI帮助AI提供的帮助:(1)写作辅导:写文章的时候会用AI进行一些润色的工作,并检查是否有语法问题(2)问题解答:在复习的时候,有时候没办法查到答案的解析,会使......
  • 0.AI工具
    AI工具一、你知道或使用过什么AI大模型平台?明镜AIKimi文心一言OpenAI二、如果有AI大模型平台助力学习的经历,举例说明AI如何提升你的学习效率的?例子越多越好。论文修改:当我撰写论文时,AI可以帮我检查语法错误,提供表述上的修改建议,甚至给出如何改进论点的反馈意见。疑问解......
  • 思迈特引领智能BI新风向,Smartbi AIChat荣获多项创新荣誉
    当前,AIGC技术发展日新月异,AIAgent(人工智能助理,也被称AI智能体)将成为新风向标。据IDC在行业相关白皮书中预测,应用层创新成为2024AIGC产业发展的确定方向,AIGC将优先在B端用户中实现场景落地,特别关注生产力和办公相关场景。作为国产BI领域的创新先锋,思迈特软件凭借多年行业积累及卓......
  • Day27-containerd
    containerd的历史(1)早在2016年3月,Docker1.11的DockerEngine里就包含了containerd,而现在则是把containerd从DockerEngine里彻底剥离出来,作为一个独立的开源项目独立发展,目标是提供一个更加开放、稳定的容器运行基础设施。和原先包含在DockerEngine里containerd相比,独立的conta......
  • AI工具20221418曾庆林
    1.我知道的AI大数据模型平台:文心一言,chatgpt,科大讯飞2.提升学习效率的例子:(1)写作辅导:在写作某些文章时,例如一些读后感或者红色主题演讲的时候,由于平时的积累不是很够,写的时候不是很有思路,使用文心一言后可以给出一定的思路,由此可以进行文章的写作(2)课程内容的深度学习:在上学期的......
  • AI写论文文献综述全指南:从理论到实践的全面解析
    在当今文献资料数量呈爆炸式的时代,如何快速的撰写一份高质量的论文文献综述成为了不得不面对的难题。随着人工智能技术的发展为文献综述的撰写提供了新的思路和方法,利用AI写论文文献综述可以大大的提高论文写作效率和质量。一、引言面对海量的文献资料,需要我们具备较高的学术......
  • AI跟踪报道第54期-新加坡内哥谈技术-本周AI新闻: OpenAI最新模型揭晓和全AI生成的游戏
      每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行!订阅:https://......
  • Datawhale X 李宏毅苹果书AI夏令营深度学习入门(二)
    一.深度学习继续上一篇文章的深度学习的定义把w跟b更新的方向结合起来,就是一个向量,就是红色的箭头,再计算一次微分,再决定要走什么样的方向,把这个微分的值乘上学习率,再乘上负号,我们就知道红色的箭头要指向那里,就知道如何移动w跟b的位置,一直移动,期待最后可以找出一组不错的......
  • unity3d拼图__附带资源
    要达到吸附效果则需要每个拼图上挂载碰撞体达到整张图片的替换效果需要选中所有拼图部件把材质球拖上去、制作材料球脚本挂载到随便一个空物体上usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicclassPinTu:MonoBehaviou......