稀疏化-手机camera-芯片-汽车杂谈
参考文献链接
https://mp.weixin.qq.com/s/H02sBjfq2R1yOg2FB08UjQ
https://mp.weixin.qq.com/s/utD7ux7WV_AX_bFwHj191g
https://mp.weixin.qq.com/s/VwmTozJhIUzY85p960lbcA
https://mp.weixin.qq.com/s/dmFCMqWyzpt02DWeJjzoeQ
30年历史回顾，Jeff Dean：我们整理了一份「稀疏专家模型」研究综述
30年时间，稀疏专家模型已逐渐成为一种很有前途的解决方案。
稀疏专家模型是一个已有 30 年历史的概念，至今依然被广泛使用，是深度学习中的流行架构。此类架构包括混合专家系统（MoE）、Switch Transformer、路由网络、BASE 层等。稀疏专家模型已经在自然语言处理、计算机视觉和语音识别等多个领域展示出良好的性能。
论文地址：https://arxiv.org/pdf/2209.01667.pdf
通过增加计算预算、训练数据和模型大小，机器学习（尤其是自然语言）取得了显著进步。著名的里程碑语言模型包括 GPT-2（Radford et al., 2018）、BERT（Devlin et al., 2018）、T5（Raffel et al., 2019）、GPT-3（Brown et al., 2020）、Gopher (Rae et al., 2021)、Chinchilla (Hoffmann et al., 2022) 和 PaLM (Chowdhery et al., 2022)。然而，最先进的模型现在需要数以千计的专用互连加速器，训练数周或数月的时间，因此这些模型的生产成本很高（Patterson et al., 2021）。随着机器学习系统规模的扩大，该领域寻求更有效的训练和服务范式。稀疏专家模型已成为一种很有前途的解决方案。
稀疏专家模型（其中，混合专家系统（MoE）是最流行的变体）是一种特殊的神经网络，其中一组参数被划分为 “专家”，每个“专家” 具有唯一的权重。
在训练和推理期间，模型将输入样本给到特定的专家权重，让每个样本仅与网络参数的子集交互，这与将整个网络用于每个输入的常规方法不同。由于每个样本仅使用一小部分专家，因此相对于总模型来说计算量大幅减小了。许多现代稀疏专家模型从 Shazeer et al. (2017)中汲取了灵感。该研究训练了当时最大的模型，并取得了最先进的语言建模和翻译结果。与 Transformer 语言模型结合使用时，稀疏专家模型的受欢迎程度进一步飙升（Lepikhin et al., 2020; Fedus et al., 2021）。虽然大部分工作都在自然语言处理方面，但稀疏专家模型也已成功用于各种领域，包括计算机视觉（Puigcerver et al., 2020）、语音识别（You et al., 2021）和多模态学习（Mustafa et al., 2022）。Clark et al. (2022) 研究了稀疏专家模型在不同模型大小和专家数量下的扩展特性。此外，许多基准测试的最新结果目前由 ST-MoE 等稀疏专家模型持有（Zoph et al., 2022）。随着研究和工程的进步，该领域正在迅速发展。
这篇综述论文将调查范围缩小到狭义深度学习时代（从 2012 年开始）的稀疏专家模型，回顾了最近的进展并讨论了有希望的未来途径。
稀疏专家模型
机器学习中的 MoE 概念可以追溯到至少 30 年前，在早期的概念中，专家们定义了一个完整的神经网络，MoE 类似于一种集成方法。
Eigen et al. (2013) 提出在抖动（jittered）的 MNIST 上使用堆叠层专家混合架构，这项工作为后来模型的高效实现奠定了基础。
Shazeer et al. (2017)提出在两个 LSTM 层之间插入一个 MoE 层，由此产生的稀疏模型在机器翻译中实现 SOTA 性能。然而，此方法虽然取得了成功，但后续研究就像冬眠了一样，停滞不前，大部分研究都转向了 Transformer。
2020 到 2021 年间，GShard 和 Switch Transformer 发布，两者都用专家层取代了 Transformer 中的前馈层。
尽管使用一层专家层的方法已经成为主导范式，但近两年的研究重新审视了专家模型作为完全独立模型的概念，以实现模块化和可组合性。
下图 2 是 Shazeer et al. (2017) 提出的原始 top-k 路由机制，这是许多后续工作的基础。该综述论文在第四章中详细讲解了路由算法的新进展。
硬件
现代稀疏专家模型已与用于训练最大神经网络的分布式系统共同设计。大型神经网络（Brown et al., 2020; Rae et al., 2021; Chowdhery et al., 2022）的研究表明神经网络已经远远超过单个加速器的内存容量，因此权重，激活函数，优化器变量等张量需要使用各种并行策略分片。
三种常见的并行方法包括：数据并行（复制模型权重，对数据进行分片）、张量模型并行（数据和权重张量跨设备分片）和 pipeline 并行（整个层或层组被跨设备分片），混合专家模型通常能够适应这些并行方案。
在MoE 模型的训练和部署方面，Jaszczur et al. (2021)将 Transformer 模型的所有层进行稀疏化，从而实现了 37 倍的推理加速；Kossmann et al. (2022)通过 RECOMPILE 库解决了静态专家批处理大小的约束问题。
除了数据并行、模型并行和专家并行外，Rajbhandari et al.(2022) 提出 DeepSpeed-MoE 库，以支持 ZeRO partitioning 和 ZeRO-Offload，实现了 10 倍推理提升和 SOTA 翻译性能，从而增加了模型在生产服务中的实用性。
稀疏专家模型的扩展特性
密集神经语言模型的交叉熵损失表现为一种关于模型参数计数、数据量和计算预算（Kaplan et al., 2020）的幂律。幂律系数后来在 Hoffmann et al. (2022)中得到纠正，这表明计算最优模型需要数据和参数扩展更紧密的平衡。相比之下，稀疏专家模型的早期研究以启发式方式扩展获得了强有力的实证结果，但没有仔细描述扩展定律。此外，一些工作强调了上游（例如预训练）和下游（例如微调）行为之间的差异（Fedus et al., 2021; Artetxe et al., 2021），进一步复杂化了对稀疏专家模型的理解。
上游扩展
稀疏专家模型在大型数据集上训练时表现出色。自然语言处理中的常见模式是先执行上游训练（例如预训练），然后对特定感兴趣的数据分布进行下游训练（例如微调）。在上游阶段，稀疏专家模型一直比密集对应模型产生更高的收益。Shazeer et al. (2017) 在 10 亿字语言建模基准（Chelba et al., 2013）上提出了关于模型参数和计算预算的扩展曲线，与密集版本相比取得了显著收益。Lepikhin et al. (2020)提出了模型扩展函数的改进版本，并在其最大的 600B 参数稀疏模型上获得了 13.5 的 BLEU 分数增益。Switch Transformer (Fedus et al., 2021) 在 T5 模型上使用相同的计算资源测量到 4-7 倍的 wall-time 加速。该工作还研究了作为参数计数函数的交叉熵损失扩展，但观察到超过 256 位专家时，收益减少了。
下游扩展
然而，可靠的上游扩展并没有立即在下游任务上产生一致的收益。在一项强调迁移挑战的工作中，Fedus et al. (2021)使用低计算、高参数编码器 - 解码器 Transformer（1.6T 参数，每个稀疏层有 2048 个专家）观察到 4 倍的预训练改进，但它在 SuperGLUE 等密集型推理任务上的微调效果不佳。这一发现暗示了进一步的必要研究以及计算和参数之间可能需要的平衡。
Du et al.(2021) 展示了稀疏 GLaM 模型的扩展，范围从 1B-64B FLOP，每个稀疏层使用 64 位专家。GLaM 取得了 SOTA 结果，在 zero-shot 和 one-shot 性能方面优于 175B 参数的 GPT-3 模型（Brown et al., 2020），同时在推理时每个token使用的 FLOP 减少了 49%，功耗降低了 65% （如下图4(左)所示）。下图 4 (右) 是稀疏模型在少样本推理上表现良好的另一个例子。
Srivastava et al. (2022) 研究了稀疏模型在多项选择 BIG-Bench 任务上的校准，即度量预测概率与正确概率匹配的程度。研究结果如下图 5 所示，虽然较大的密集模型和稀疏模型的校准都得到了改善，但稀疏模型与使用 10 倍以上 FLOP 的密集模型的校准相当。
扩展专家层的数量、大小和频率
有几个重要的超参数控制着稀疏专家模型的扩展，包括：1）专家数量，2）每个专家的大小，以及 3）专家层的频率。这些决策可能对上游和下游扩展产生重大影响。许多早期的工作扩展到每层数千个相对较小的专家，从而产生了出色的预训练和翻译质量（Shazeer et al., 2017; Lepikhin et al., 2020; Fedus et al., 2021）。然而，稀疏模型的质量在域偏移（Artetxe et al., 2021）或对不同任务分布进行微调（Fedus et al., 2021）时不成比例地降低。为了使计算和参数获得更好的平衡，用于小样本推理 (GLaM (Du et al., 2021)) 和微调 (ST-MoE (Zoph et al., 2022)) 的 SOTA 稀疏模型最多仅能使用 64 个更大的专家。由于专家维度的增加，这些模型需要有针对加速器的特定系统级分片策略才能有效运行（Du et al., 2021; Rajbhandari et al., 2022）。
路由算法
路由算法是所有稀疏专家架构的关键特性，它决定了将样本发送到哪里。该领域已被广泛研究，包括使用固定的、非学习路由模式的反直觉方法（Roller et al., 2021）。由于要对选择哪些专家做出离散决策，因此路由决策通常是不可微的。
专家选择问题后来被重新定义为 Bandit 问题，并且已有一些工作使用强化学习来学习专家选择（Bengio et al., 2016; Rosenbaum et al., 2017; 2019; Clark et al., 2022）。Shazeer et al. (2017) 提出了一种可微的启发式算法，以避开强化学习的难点。
该论文详细阐述了路由算法的分类，并进一步说明了该领域的关键问题——负载均衡。
稀疏专家模型的迅速发展
稀疏专家模型的影响正在迅速蔓延到NLP以外的其他领域，包括计算机视觉、语音识别和多模态应用。尽管领域不同，但模型的架构和算法大致相同，下表 1 显示了不同域的稀疏层输入表征。
稀疏专家模型近几年的发展非常迅速。以NLP领域为例，Shazeer et al. (2017) 为 LSTM 语言建模和机器翻译引入了混合专家层，这些层被插入到 LSTM 模型的标准层之间。
2020 年，Lepikhin et al. (2020)首次将 MoE 层引入到 Transformer，当研究人员将每个专家层扩展到 2048 名专家时，模型在 100 种不同语言上实现了 SOTA 翻译结果。Fedus et al. (2021) 创建了一个稀疏的 1.6T 参数语言模型，实现了 SOTA 预训练质量。
新研究正在推动小样本学习推理和微调基准的发展。Du et al. (2021) 训练了一个纯 MoE 解码器语言模型，取得了小样本上的 SOTA 结果，并且只需要训练 GPT-3 所需的 1/3 计算量。Zoph et al. (2022) 提出了 ST-MoE，这是一种稀疏编码器 - 解码器模型，在大量推理和生成任务中都实现了 SOTA。在 SuperGLUE 上进行微调时，ST-MoE 的性能优于 PaLM-540B ，同时仅使用约 1/20 的预训练 FLOP 和 1/40 的推理 FLOP。
什么时候使用稀疏模型
一个常见的问题是，如果给你一个固定的计算或 FLOP 预算（例如 100 个 GPU 20 小时），你应该训练什么类型的模型来获得最佳性能？
从根本上说，稀疏模型允许通过增加专家的数量来大幅增加模型中的参数数量，同时保持每个样本的 FLOP 大致恒定。这种做法有好有坏，具体取决于模型的用途。
当你有许多加速器（例如 GPU/TPU）来承载使用稀疏性带来的所有附加参数时，稀疏性是很有利的。
使用稀疏性还需要仔细考虑下游任务。假如你有许多机器来进行预训练，但是用来微调或者服务的机器却很少，那么稀疏度（例如专家的数量）应该根据下游用例中可用的内存量进行调整。
在有些情况下，稀疏模型看起来总是比密集模型差。例如当所有参数都保存在加速器内存中，这种情况稀疏模型就不如密集模型了。当你有能力在多台机器上并行训练或服务，以便托管来自专家的附加模型参数时，稀疏模型就非常合适。
此外，该综述论文还介绍了对稀疏模型训练的改进、可解释性和未来的研究方向等，感兴趣的小伙伴可以查看原论文，了解更多研究内容。
手机摄影三年超越单反？高通副总裁预测：想进步还得靠AI算法
智能机时代，各大厂商都在拼拍照能力，直接把「单反相机」当成目标追赶。
单反有光学虚化，手机上立刻安排一个算法虚化，随着算法的进化，如今几乎能以假乱真。
单反在晚上拍照秒杀手机？安排一个超级夜景模式，堆栈降噪算法直接拉平差距，或者是用神经网络模型HDRNet等进行视频高动态范围成像（HDR）。
可以看到，手机和单反相机的差距是在不断缩小的，背后的最大功臣就是各种AI算法。
最近有外媒记者对高通相机产品管理副总裁Judd Heape进行了采访，探讨了智能手机摄影的未来，他表示人工智能是相机领域最有前途的发展方向，算法可以在未来介入整个图像捕捉的过程。
We’re three to five years away from reaching the holy grail of AI photography.我们距离达到人工智能摄影的圣杯还有三到五年的时间。
展望未来，我们将会看到更多的AI算法被开发出来理解场景，比如理解皮肤和头发、织物和背景之间的区别等等。
更重要的是，所有这一切都可以在摄像机视频拍摄期间实时处理。
手机摄影何时超越单反？
AI算法在手机摄影上的应用大致可以分为四个阶段：
第一阶段非常基础，AI算法用于理解图像或场景中的特定物体；
第二阶段是人工智能控制所谓的3A功能，即自动对焦、自动白平衡和自动曝光调整；
第三阶段为开发AI算法用于了解场景的不同部分或元素，高通工程师估计行业目前就处于第三阶段。
第四阶段即AI完全接手图像处理，输入拍摄的原图，输出就是一张预期的照片。
比如用户可以说「我希望图片看起来像某个国家的地理场景」，AI引擎会自动调整颜色、纹理和白平衡，使得新照片看起来的风格和预期图片相似。
事实上，LG手机上专用的app Graphy已经初具第四阶段的雏形，可以让用户选择模型照片，然后自动调整曝光、白平衡和快门速度等设置以实现类似的效果。
但据高通推测，这项工作需要进行更精细的调整来捕捉目标图像的外观和感觉。
今年早些时候，索尼的一位高管预测智能手机的照片将在未来几年内超过数码单反相机。考虑到智能手机上处理照片能力进步的速度，这一预测还算合理，但与单反相机相比，手机更薄，各种相机组件过小仍然是一个大问题。
Heape也承认这一点，但就实现数码单反相机的图像质量而言，他认为移动图像传感器的进步速度和创新要远远比行业内的其他领域要来的更快、更先进，而且手机端拥有更强的计算处理能力。
比如，高通骁龙处理器的处理能力比最大且最差的尼康、佳能相机上的要好10倍，这就是为什么手机端能够真正突破图像质量的障碍，因为即使手机上只有一个小镜头和小图像传感器，它的处理能力也比数码单反相机的能力高出很多倍。
智能手机芯片开发的步伐意味着与相机相关的任务方面仍然存在巨大的性能和效率提升。
例如，骁龙865系列提供960fps慢动作，骁龙8 Gen 1可以提供 8K HDR 视频，骁龙 888 系列引入了通过三个摄像头同时录制的4K HDR视频，不断改进的多帧处理能力正在飞速突破相机界限。
相机硬件也将持续进化
在过去的几年里，像素大战重新燃起。
在2018和2019年，48MP的摄像头就是顶配，但现在108MP摄像头才够用，据说明年发布的三星Galaxy S23 Ultra将配备200MP摄像头。
除了算法外，手机厂商也在逐渐增大传感器的尺寸，比如小米和索尼合作在小米12S Ultra上发布的一英寸传感器50MP IMX989
高通的主要竞争对手联发科已经在天玑9000系列芯片上支持320MP摄像头，这也可能是该行业的下一个跳板点。
今天的智能手机还包含用于特定成像任务的专用芯片，即图像信号处理器（image signal processor），而且芯片制造商也引入了用于深度的bokeh引擎，以及用于面部检测的硬件。
手机摄像很快也会配备一块独立的硅片。
Heape解释说，视频是目前硬件加速最主要的关注领域，指的是前面提到的bokeh引擎以及计算机视觉硬件。
高通很快就会发布公告，发布专门的硬件来处理视频场景中的不同部分，硬件自然会知道如何处理皮肤、头发、织物、天空、草、背景等像素，这些都是需要添加专用硬件的领域，而且所有这些领域都适用于视频。
视频质量在过去几年中也取得了长足的进步，但当下8K仍然非常小众，可能要几年后才会升级成8K/60fps，影响更多的实际上功耗，所以独立芯片带来的改进更多是8K以下的视频。
最近几年的创新算法，如超稳定视频、AI算法加持的低光视频和夜间超延时，能够在4K或1080p画质下运行，比如苹果iPhone 14系列就可以录制4K的电影视频和2.8K的超稳定视频。
Heape认为还有改进的余地，例如更好地「处理运动和理解场景中的运动」，比如处理视频中的运动而不产生重影。
过去一两年里，高通也审查了几款配备屏下摄像机的手机，即使是最新的解决方案也无法与传统相机相提并论。
拿中兴Axon 40 Ultra与中端手机进行对比可以发现，即使是2018年的中端手机也可以击败中兴的屏下摄像技术。
所以高通不建议用户购买带有屏下摄像头的手机，除非自拍对你来说根本不重要。
Heape指出屏下摄像头可能带来的漫射问题、色彩问题和夜间「奇怪」的伪影，如果你追求时尚、完整的屏幕，那可以入手；对于爱好摄影的人来说，这可能不是正确的前进方向。
至少以目前的技术手段来说，屏下摄像头还不够好。
广角、长焦合二为一
自 2016 年以来，长焦相机一直是智能手机上的基本配置，现代光学变焦理论上距离可以很远，但被固定为10倍。
索尼发布的Xperia 1 IV在这方面进行了创新，推出了一款可变长焦相机，能够以各种原生变焦倍数进行拍摄，也就意味着手机上不再需要两个单独的长焦/潜望镜相机。
Heape认为，这也可能导致未来的手机完全放弃专用的长焦相机，转而使用兼作长焦镜头的主相机。
现在手机上一般搭配三个摄像头，即广角、超广角和长焦，如果能拥有真正的光学变焦，或许可以将广角和长焦合二为一，只需要两个摄像头，简化摄像系统，降低功耗等。
这对智能手机行业来说可能是一个非常重要的发展，明年可能会有厂商发布这类产品。
手机摄像未来光明
在过去的几年里，智能手机摄像头领域有许多令人兴奋的发展。在硬件方面，我们已经看到大型传感器变得普遍，定制成像芯片，令人印象深刻的变焦相机系统，以及大量的处理能力。
但我们也看到了神奇的软件改进，如超级稳定的视频模式、物体擦除、改进的HDR、同步视频捕捉流，以及更多。
在这一领域的创新方面，未来几年的前景也很光明。
在不断增长的传感器尺寸和上亿像素之后，可变长焦技术带来的相机数量减少，人工智能可以胜任更多的相片处理任务，以及更多的专用硬件，下一代智能手机相机仍然有很多值得期待的地方。
参考资料：
https://www.androidauthority.com/smartphone-camera-future-interview-3183730/
比亚迪狂销20万辆
10月3日，比亚迪公布2022年9月产销数据。数据显示，2022年9月比亚迪新能源汽车销量201259辆，同比增长183.1%；新能源乘用车销量为200973辆，同比增长187.0%。其中，插电混动车销量为106032辆，纯电动车销量94941辆。
具体车型来看，今年9月，比亚迪DM车型销量为106032辆，EV车型销量为94941辆。其中，汉家族销量为31497辆，汉DM系列同比增长645%；唐家族销量为15058辆，同比增长536.6%；作为当前比亚迪的销量支柱车型，宋家族销量为46475辆，宋DM系列同比增长294.3%；秦家族销量为39515辆，秦EV同比增长142.1%；元家族销量为23503辆，其中贡献最多的为元PLUS环比增长67.6%；海豚销量为24956辆，同比增长731.9%；海豹销量为7473辆；海洋网旗下的首款轿车产品驱逐舰05车型销量为9101辆。
2022年1-9月，比亚迪新能源乘用车累计销量为1175321辆，同比增长255.30%。至此，比亚迪已完成2022年150万辆年销量目标的78.4%，剩余21.6%将在接下来的3个月实现。此前比亚迪董事长王传福在电话会议上透露，比亚迪当前在手订单已超70万辆，新车订单交付周期为4-5个月，9月22日，比亚迪在互动平台表示，公司在手订单充足。同时还补充指出，比亚迪新能源汽车运营足迹遍及全球6大洲，70多个国家和地区，超过400个城市。如果按照比亚迪当前销量情况分析，比亚迪全年完成150万辆的年销量目标基本没有悬念了，预计比亚迪将向200万辆的年销售目标冲击。
2022年4月3日，比亚迪宣布停产燃油车，成为全球首家宣布停售燃油车的车传统汽车制造商，而自比亚迪全面放弃燃油车后，比亚迪可谓轻装上阵，销量一路高歌猛进，逐渐成为中国新能源领军者，此前比亚迪已连续两个月超越南北大众蝉联乘用车市场销冠，从近几个月的销量来看，比亚迪销量依然不断走高，不出意外，比亚迪或再次领超南北大众，当然，目前仅是猜测，最终是否如此还需要官方公布数据后才能确定，可以确定的是，比亚迪领超上汽大众、东风日产、广汽丰田、一汽丰田等主流合资品牌绰绰有余。
目前比亚迪旗下产品主要以“王朝”+“海洋”两大系列为主，旗下车型矩形也逐步清晰，其中，王朝网主要由秦、汉、宋、唐、元等车型组成，海洋网包括海豚、驱逐舰05、海豹等车型组成，产品价格覆盖10-30万元区间。在丰富的产品矩阵中，王朝系列宋、秦、汉、元、唐家族以及海洋系列海豚等明星车型销量表现十分亮眼，以8月新能源车零售销量榜为例，据统计，比亚迪王朝系列中，宋、秦、汉、元、唐家族均入围8月新能源车零售销量榜前十，销量分别为4.25万辆、3.75万辆、2.60万辆、1.51万辆、1.08万辆。而海洋系列中，海豚销量也达2.33万辆，位居榜单第六，驱逐舰05则以8705辆位居榜单第13名。
值得注意的是，当前比亚迪产品矩阵还在不断完善中。8月25日，比亚迪唐DM-p正式上市，新车共推出3款车型，售价为28.98万-32.98万元，与此同时，唐DM-i 252KM尊享型同步上市，售价为27.98万元。新车上市后，唐将拥有DM-i、DM-p以及EV三种动力形式选择。
另外，比亚迪海洋网军舰系列第二款SUV车型护卫舰07已首发亮相并同步开启预售，新车定位中型SUV，预售价为22-28万元，预计将于今年第四季度正式上市。除护卫舰07新车外，同在成都车展上，比亚迪还为腾势品牌设立单独展台，并公布腾势品牌全新概念车INCEPTION以及中大型MPV腾势D9，其中INCEPTION概念车是腾势品牌首款中型SUV，而腾势品牌首款MPV车型腾势D9已于8月23日正式上市，官方数据显示，截止9月30日，腾势D9上市38天大定订单已斩获2.8万台。
对于更长远的产品规划，比亚迪将在2023年推出豪车品牌，首款车型售价将达百万元级别，比亚迪相关负责人称：“高端品牌暂定于今年底发布，同步亮相首款硬派越野车型，定价100万元以上”。另外，第五代DM-i系统将于2024年推出。随着更多中高端产品的释放，比亚迪的产品矩形将更加全面并继续发力新能源市场，而更多中高端产品能为比亚迪销量带来多大的带动作用则需市场给出答案。
随着国内多项利好补贴政策的出台以及油价居高不下为新能源汽车带来更多发展契机。比亚迪董事长王传福认为，2023年国内整个新能源市场将达900-1000万辆，比亚迪预计交付400万台以上的整车。全国政协经济委员会副主任、工业和信息化部原部长苗圩则表示，预测今年全年的新能源汽车产销量或达550万辆，同比增长56%，而2025年新能源汽车20%的渗透率目标，现在看来大概率会在今年提前三年实现。
据乘联会最新预计数据显示，今年9月，国内新能源车零售销量预计为58.0万辆，同比增长73.9%，环比增长9.5%，渗透率为29.7%。乘联会方面指出，目前新能源车市场需求强劲，头部厂商产能提升，交付周期缩短，国家补贴、地方牌照政策临近到期，促进新能源车提前购买，为总体车市提供强有力支撑。今年1-9月，新能源乘用车零售销量预计将突破384万辆，累计渗透率近26%，大幅超20%的目标。
车芯片新“混战”
消费电子市场的疲软，给持续了近2年的“缺芯潮”按下了暂停键。
当前，市场已经从前期的全面缺芯，向结构性缺芯的态势转移，即以消费电子为代表的终端市场遇冷，芯片厂商相继砍单，但车用芯片订单火热，消费市场砍单导致产能松动的同时，各大芯片厂商将产能转向了更热门的汽车芯片。
缺芯背后，汽车产业也正迎来新的变革，“新四化”趋势下，汽车电子电气架构正从分布式架构向域控制器演进，汽车也逐步由机械驱动向软件驱动过渡，芯片和系统在汽车中占的比重越来越高，汽车市场也成为了半导体行业增长的驱动力之一。
麦肯锡预测，汽车行业将从重点依靠硬件驱动产品过渡到硬件+软件同步驱动，预计2030年软件驱动车辆内容将占据30%，软件体系的差异化成为汽车价值差异化的关键。
在汽车缺芯和汽车新四化趋势影响下，从供应链、技术、产业规划等方面正悄悄重塑汽车行业格局，加速催化了汽车供应链体系的改变。
这其中非常关键的变化在于，汽车主机厂开始绕过传统Tier1厂商，直接与芯片原厂进行合作；同时，车企开始自研芯片，以及华为、大疆等新生代Tier1企业的出现，统统加剧了传统Tier1厂商的危机感。
传统Tier1厂商的“危机感”
主机厂绕过Tier1，直接对接芯片原厂
不久前，德国大众汽车集团旗下软件公司CARIAD和ST宣布即将开始合作开发汽车系统级芯片，开创软件定义汽车合作开发新模式，这一举措也让大众汽车提前数年锁定汽车芯片供应, 树立战略性供应链管理新标准。
上汽集团与地平线深化合作，围绕国际领先的智驾以及舱驾融合国产计算平台项目，瞄准面向未来的大算力芯片及计算平台，合力推动车规级高性能AI芯片开发应用。地平线之外，在汽车芯片领域，上汽集团还投资了晶晨半导体、芯钛科技、芯旺微电子等20余家芯片公司，加快汽车芯片产业链布局。
今年7月，广汽集团下属资本运营和股权投融资平台广汽资本入股了汽车高端控制器芯片厂商旗芯微。近年来，广汽资本在芯片、智能网联和新能源领域进行深度布局，先后投资了包括地平线、粤芯半导体、速腾聚创、禾多科技、文远知行等数十个项目。
今年6月，地平线方面宣布获得一汽集团的战略投资，并已完成交割；去年11月，福特汽车宣布，与芯片制造商格芯达成了一项开发芯片的战略协议。福特汽车方面表示，设计自己的芯片可以改善一些汽车功能，并有可能帮助公司避开未来的芯片短缺局面。
据不完全统计，目前已有北汽、上汽、一汽、广汽、吉利汽车、通用汽车、大众集团、福特汽车、理想汽车等数家车企选择与芯片厂商联手，布局芯片赛道。
汽车制造商开始绕过传统Tier1，直接与芯片企业进行战略合作 ，一方面是为了建立未来稳定的供应链关系；另一方面，则是希望深化合作，从需求出发，进行芯片的定制开发，满足整车电子架构不断升级背景下的软硬件高效协同。
但这让传统Tier1失去了主动权。
主机厂挂起自研大旗
除了选择与芯片原厂寻求直接合作外，也有一些车企加入自研行列，自研芯片、算法和操作系统，以期在芯片供应方面掌握更多主动权。
自去年以来，宝马、福特、Stellantis NV和通用等主机厂，都在优化芯片供应链方面做了主动尝试。国内车企中，比亚迪、吉利、东风等传统车企开始布局，“蔚小理”等造车新势力也在争先恐后地加入自研芯片的阵营之中。
此前大众集团宣布未来五年将投入预算270亿欧元用于开发汽车操作系统等核心软件。目前包括大众、奔驰、丰田等外资巨头，国内部分有实力的企业也在自动驾驶技术与软件方面布局。
2022年，蔚来/小鹏/理想汽车均计划加大研发力度，自动驾驶、芯片、电驱等新能源汽车的核心零部件成为布局重点，并给出了相应时间节点，说明车企已经意识到提升自研能力的重要性和紧迫性。
据知情人表示，在某知名摄像头模组厂商给小鹏汽车做的合作报告中，“Tier1厂商”一栏为空白。具体销售负责人称，“因为小鹏不需要，他们自己把传统汽车Tier1的活干了。”
有Tier1高层感叹：“公司专注做驾驶座舱几十年，也实现了智能座舱的升级。但从造车新势力开始，新能源汽车什么都是自己研发制造的时候，Tier1阵营便举步维艰。”
其实也不难理解，对于新势力车企而言，将自动驾驶技术把握在自己手中，有助于产品形成差异化的竞争优势。在燃油车时代，由于Tier 1企业的强势，诸多规模较小的主机厂不得不使用高度标准的“供应商总成”，导致产品同质化严重，只能陷入价格战的困局。
而且以前传统车企对于产品标准的要求可能5年不变，现在新能源汽车几个月就会发生变化，极度考验Tier1自身的实力。现在，主机厂对供应商的实力和产品更加挑剔，甚至在某些领域通过掌控供应链和核心技术，需要建立更加坚固的行业壁垒。
可见，软件定义汽车已经进入深水区，算法、方案、系统甚至芯片等核心技术活，对于汽车厂商来说都极其重视。对主机厂在自动驾驶相关的软硬件技术进行自研，业内有一种更为生动的说法——全球主机厂“供应链化”。
然而这种供应链调整在某种程度上也正在削弱Tier1厂商的话语权。
“新生代”Tier1崛起
另一边，以华为、大疆、百度等为代表的“新生代”Tier1也纷纷亮相。
不造车的华为，选择以Tier1的姿态做汽车的核心零部件，围绕芯片、模组、终端、管道、云平台全面布局，推出“整车解决方案”，与车企开发联网汽车加速落地。
百度则痴迷于自动驾驶，其L4级Apollo仍在自动驾驶路测当中；无人机巨头大疆也表示，希望以Tier1身份为智能汽车提供“大脑”和“眼睛”。
其中，华为被视为最有希望成为中国“博世”的未来智能网联潜在龙头供应商之一，在自动驾驶新赛道上与传统Tier 1比肩一战。
从华为布局来看，正在以Tier1的姿态做汽车的核心零部件供应商，直接与车企沟通，根据对方需求进行个性化的软件定制开发，围绕芯片、模组、终端、管道、云平台全面布局，推出“整车解决方案”。
目前，北汽极狐汽车已经采用了Huawei Inside模式与华为合作，相应车型称为“HI”版，此外还与奥迪、丰田、PSA开发联网汽车加速落地。
从华为亮相的包括鸿蒙OS智能座舱、400Tops算力的智能驾驶计算平台MDC 810、八爪鱼自动驾驶开放平台、4D成像毫米波雷达、集成化智能热管理系统来看，华为的确有了足够的底气。
华为智能汽车解决方案BU总裁王军多次强调，“华为的定位是零部件企业，华为不排斥任何一家造车的企业，希望全部都合作，我们跟车企没有竞争。”
业内人士指出，最先可能对传统Tier1厂商形成冲击的玩家，正是像华为、百度、大疆等这样具备稀缺头部优势，同时又具有软硬件集成实力，拥有成熟产业链生态的上进型玩家。
传统Tier1危机重重
在一系列产业链波动之下，传统Tier1厂商危机重重。
Tier1，即一级供应商，原本是汽车产业链中最具话语权的供应商，其不仅直接向车厂供应总成及模块，还与车厂相互参与对方的研发和设计，在整车制造过程中参与度最高。
图源：时代财经
原来传统意义上的Tier1、Tier2主要是基于硬件的阶梯递进模式，随着汽车产业演进，Tier1/2/3开始处于平行共生状态，从芯片，Tier1、Tier 2，然后云端和主机厂，到处都是合作关系。
从上述一系列动态来看，汽车行业正在发生一个根本性的转变，与传统汽车供应链等级森严的格局相比，在新的汽车供应链中，车企的参与度越来越深，供应链越来越扁平化。当供应关系从链式结构转向网状结构的时候，“产业链”这个概念在汽车行业已经弱化，更准确的说是“产业网”。
曾几何时，博世、大陆、德尔福、采埃孚...这些国际巨头一级供应商是令自主品牌车企仰望的存在。它们把控着整车上最核心的技术，拥有着绝对的议价能力，甚至他们的开发进度直接决定了车型的研发周期。
而到了自动驾驶时代，巨头Tier 1们本想延续在底盘电控和ADAS上的绝对优势，但没想到在特斯拉的示范效应下，车企们纷纷选择“换个活法”。为了提升对自动驾驶技术的掌控能力，车企们开始与上游的芯片、算法供应商达成广泛合作，自己干起来了原属于Tier 1的系统集成的活。更有甚者，车企还会自研算法、自研芯片、自研操作系统...
在这种产业链大洗牌的背景下，巨头Tier 1的生存空间遭到空前挤压，合纵连横还是继续传统封闭的商业模式，将是所有传统Tier1厂商必须面对的选择题。
传统Tier1巨头应变
目前，博世是Tier1领域公认的老大，与大陆、采埃孚一起位列全球前三。
盖世汽车也整理了20家国际主流零部件企业2021年的财报，我们作为参考，选取几家大家较熟悉的Tier1巨头，来看看这些厂商面对危机，如何自救。
博世
博世作为汽车传统Tier1制造商龙头，近年来在加快内部的战略重组和芯片布局。
笔者曾在《汽车大变局下的Tier1供应商》一文中，详细介绍了博世在汽车产业变局下的布局和举措。
2021年初，博世将集团多个事业部中负责密集型软件开发和跨域电子系统开发的组织合并到全新的智能驾驶与控制事业部，这是应对全球汽车产业链变革的关键举措。
按照计划，新事业部接下来对中国市场的工作重点，就是深化本土创新研发，开发专门针对本土的ADAS系统，研发适合中国的技术，并快速响应本土客户需求。其中，最典型的案例，就是此前博世已经实现智能座舱域控制器100%由中国团队进行研发，该产品的主要工作重心在于软件方面，本土化的团队也使得整个研发周期小于一年。博世于2020年在无锡成立了软件中心，将配合全新的事业部完成开发工作。
在自身角色方面，博世也在灵活应变，开始采取更加开放、灵活的商务模式。在2021年的上海国际车展上，博世披露与中国本土初创公司车联天下合作开发的智能座舱域控制器系统，在这个项目中，博世的定位是Tier2供应商，主要负责平台化、标准化的技术，提供智能座舱域控制器技术平台；车联天下则作为Tier1，负责定制化、个性化、客户化、服务化的提升。
博世中国总裁陈玉东坦言，在向智能化、电气化、网联化转型过程中，汽车供应链边界正在被打破，商业边界也在被打破，而重塑供应链就是要做互相渗透，你中有我、我中有你。这是互相合作共赢的生态圈。
此外，投资也是博世集团在中国拓展业务的一个重要手段，进一步扩大本土研发和创新优势的长期发展战略保持不变。
去年9月，博原资本成立，同时宣布首支人民币基金——“博世中国成长基金I期”落地。这是全球汽车零部件龙头博世集团针对中国市场设立的市场化运作全新投资平台，重点布局汽车与出行服务等领域。而在此之前，博世已经在中国投资了包括Momenta、禾赛、驭势科技、主线科技、车联天下等多家本土汽车科技公司。
同时博世也在于产业链企业进行深度合作和配合，比如跟戴姆勒传统主机厂在自动驾驶方面进行全方面合作；跟中国移动在V2X方面有一些合作；跟索尼在摄像头技术方面进行合作；和英伟达在芯片、软件方面有合作；和国内多家地图商在高精地图和定位方面有合作。
可见，无论是内部管理还是跨领域合作，博世现阶段都在逐渐朝着扁平化发展。
采埃孚
从1981年取得第一张变速器进出口许可证至今，采埃孚经历了中国的改革开放以及汽车智能化浪潮。
2021年11月，在采埃孚中国40周年庆典上，采埃孚中国区总裁及亚太区运营高级副总裁汪润怡表示，采埃孚在自动驾驶、电驱动、集成式安全系统和车辆运动控制等方面提前布局。
在汽车产业向软件定义汽车、数字化转型的趋势下，Tier 1与主机厂的关系正在被重新定义。在软件开发方面，采埃孚动作频繁。
面对软硬结合的大趋势，主机厂与Tier 1需要协同进行零部件甚至整车的定义和开发，未来产品不再是通过单纯的采购零部件进行组装，而是各个系统高度关联的深度集成。采埃孚认为，电气化必须通过多种技术路线、多种解决方案并行，满足面向未来发展阶段的需求。
基于这种需求，采埃孚开发出了cubiX软件驱动的互联底盘系统，从整个车辆和环境中收集传感器信息，判断并优化集成控制底盘、转向、制动和动力系统。cubiX计划于2023年量产，采埃孚将把cubiX作为整体系统的一部分，或作为单独的软件组件提供。
得益于此，cubiX不仅可以适配包括域控制器在内的下一代电子电气架构，还可根据用户的需求，灵活提供部分零部件融入对方系统，或是提供整套解决方案。这种软硬解耦正在成为Tier1的技术趋势。
与之相似的还有采埃孚在今年上海车展发布的车载超级计算机采睿星（ProAI），计划在三年后正式量产。ProAI也是应对软件定义汽车理念及全新电子电气架构需求的产品，可为域控制器、区域控制器或中央控制器提供支持，适用于任何车型。
早在2020年，采埃孚就成立了全球软件中心，承担这个未来全新业务的转型重任。基于整车制造商的软件架构，采埃孚希望通过可覆盖全平台解决方案到单一模块的中间件，提供可以集成到整车制造商软件平台的模块化解决方案。
此外，采埃孚还在中间件、芯片算力、电驱系统、人工智能图像处理等方面有所布局，不断补充汽车产业的关键组件。
大陆集团
面对变革，大陆集团进行了集团业务结构的调整。
据了解，大陆集团目前汽车业务方面正在实行“4+2”战略行动布局，并形成了“四纵两横”业务架构模式。其中，“四纵”指的是自动驾驶、智能移动出行、用户体验及安全系统四大集团业务线路。“两横”则指的是在软件系统领域具备深厚实力以及在电子电气架构及车联网部分拥有更高水平。实际上，上述“四纵”中所涉及的内容也是整个汽车产业智能化、网联化进程中的核心发展方向。
这一整合旨在应对智能汽车供应链的变化所带来的影响，在汽车行业转型方面以更加灵活、市场导向和未来导向的方式对公司进行重新定位。
除了组织架构的调整，更大的战略调整来自于“开放”。
从去年开始，大陆集团陆续与智能汽车产业链同行建立合作关系，这在过去几十年时间并不多见。比如，与激光雷达初创公司AEye Inc.联合开发长距激光雷达，与亚马逊合作开发的汽车软件平台。
在大陆集团ADAS业务对华战略中，本土化是关键词之一。这不仅包括团队的本地化，还有供应链的本土化，以及打造适合中国本土化的智能驾驶产品与方案。
大陆集团明确表示，全打包式一体化的方案已经不再适应当下的市场发展需求，非常乐意与本地以及国际的合作伙伴和客户讨论各类合作模式的可能性。例如，大陆集团与中国汽车AI芯片公司地平线正式签订合资合同，双方将共同成立一家合资公司，专注于提供高级辅助驾驶和自动驾驶软硬件整体解决方案。
围绕四大方向，大陆集团以软件为中心，重点打造汽车高性能计算单元。事实上，早在“软件定义汽车”概念形成之前，不少车企及汽车科技巨头在向电气化、智能化转型中就已经意识到软件的重要性，较早开始加大投资并组建专业团队提升研发实力。大陆集团便是其中之一，且相较其他企业走的更为激进。
据了解，2015年，在汽车智能化初露头角之时，大陆集团便收购了全球知名的软件解决方案服务商Elektrobit Automotive 公司；2017年，又收购了以色列汽车网络安全公司Argus，将其并入Elektrobit，这两大公司的收购强化了其在汽车系统和软件解决方案研发方面的专业能力。
去年7月，大陆集团宣布在重庆成立中国软件与系统研发中心，进一步体现作为传统Tier1加强本土软件和系统开发综合能力的承诺和决心。
经过早期的布局及积淀，大陆集团在软件领域已占得先机，并进入了规模化应用阶段。据了解，目前已有10亿辆汽车配置了大陆集团软件和信息技术专家开发的各类功能，且业务由乘用车延展到商用车领域。
麦格纳
如今，汽车电动化已成趋势。
可以预见，未来的十余年间，传统以内燃机为基础的动力总成将迅速转变为高度电动化的系统。站在行业变革的转折点，麦格纳认为，要想在汽车零部件行业持续保持强劲竞争力，除了要积极迎接电动化变革的浪潮以外，其自身的模块化和集成能力将是关键。
模块化和可扩展的构建模块可以灵活地实现动力总成系统的电动化，是优化成本、加快开发速度的有效手段。模块化和扩展化的产品构建战略可谓麦格纳动力总成的核心优势，也是其能够快速向电动化迈进的关键所在。
据介绍，麦格纳的模块化和可扩展的软硬件解决方案，赋予了高压电动化动力总成系统极大的灵活性，通过灵活地按需配置，有助于在满足整车厂不同的场景需求的同时，降本增效。
也正是基于这一独特的模块化构建体系，从传统内燃机产品，到48V轻混、强混、插电式混动PHEV，再到纯电动，麦格纳构建了完整的动力总成产品型谱。麦格纳通过不断积累的整车工程和代工制造经验，麦格纳能够更贴近整车电动化之所需，以整车视角为零部件技术赋能。
前不久，麦格纳宣布收购总部位于美国波士顿的自动驾驶研发公司Optimus Ride，继续增强公司在高级驾驶辅助系统方面的能力。
安波福
类似的软件资产收购，在汽车行业已经成为常态。
前不久，汽车零部件供应商安波福对外披露，已同意以43亿美元现金从私人投资公司TPG Capital手中收购美国软件公司风河（Wind River）
“汽车行业正在经历一个多世纪以来最大规模的转型，联网、软件定义的汽车日益成为更广泛的智能生态系统的关键元素。”安波福首席执行官Kevin Clark的表态，Tier1需要加快软件开发速度，实现软硬件全栈解决方案的全面部署。
这和安波福此前在整车电子架构上的战略布局将形成互补，尤其是其推出的智能汽车架构SVA，将整车电子电气架构分为智能座舱、自动驾驶和车身控制等域控单元，并且实现软件与硬件、I/O与计算分离以及软件云端升级等功能。
安波福通过收购风河，具备了完整的端到端全栈式电子架构软件开发能力，从底层的实时操作系统、嵌入式Linux操作系统、中间件以及上层的应用算法开发能力。同时，借助Wind River Studio实现了云原生汽车平台开发的能力。
法雷奥
法雷奥宣布推出Move Up计划， 为迎接不断加速的产业变革趋势，法雷奥给出了自己的判断和规划。
面对汽车产业变革的发展趋势，法雷奥从动力总成系统、热系统、舒适及驾驶辅助系统、视觉系统四个事业部门着手发力。
今年2月，法雷奥宣布已与西门子签署协议，收购西门子在法雷奥西门子eAutomotive中50%的股份，将持有该公司100%的股权。法雷奥西门子新能源汽车合资公司将被整合到法雷奥动力总成事业部，或加强其在快速增长的电气化市场中的地位。
西门子的“退”与法雷奥的“进”，在此时形成了鲜明的对比。而其背后的暗流涌动，或许可以归结为时代大潮的推动下，零部件供应商迫切想要实现转型的结果。
回顾2021年，法雷奥的行动并不慢。无论是去年上海车展上48伏模块化的电机，还是今年在CES上推出的第三代远程激光雷达，都表明着其电气化转型的决心。
而且值得一提的是，法雷奥的四大事业部，尽管分别涉及着不同业务，但大方向上却都是在为即将到来的变革进行布局。在市场趋势驱动之下，法雷奥意图四个事业部共同发力。
除了上述供应链巨头，电装、博格华纳、奥托立夫、德纳...等传统Tier1厂商也在公司组织架构、业务重心、投资并购、供应链合作等方面深入布局，试图在新时代背景下，重新找到定位。
写在最后
这些传统Tier1巨头在原有硬件及系统业务上都各有优势，但当变革已至，能看到这些Tier1企业已经开始强调转型，强调产业链合作，注重芯片、软件等领域的研发布局，积极寻找能够守住市场份额并寻求增量机会的突破口。
对于一家传统Tier1来说，行业变革从来都是“血腥”的。这场由整车电子架构升级、软件定义汽车驱动的市场重构，意味着任何一家身处其中的企业都必须积极应对。
国际巨头Tier 1们，最终会在自动驾驶产业中扮演什么样的角色，目前还远未到终局，但它们各自突围决心已渐渐明了。
或许正如博世中国总裁陈玉东所言，“在向智能化、电气化、网联化转型过程中，汽车供应链边界正在被打破，商业边界也在被打破，而重塑供应链就是要做互相渗透，你中有我、我中有你，构建互相合作共赢的生态圈。”
半导体芯闻
关注全球半导体产业动向与趋势，每日精选8条重磅芯闻，10分钟带您了解行业大事件！欢迎关注我司旗下其他公众号：半导体行业观察、摩尔芯球。联系我们：[email protected]或后台留言。
269篇原创内容
公众号
参考文献链接
https://mp.weixin.qq.com/s/H02sBjfq2R1yOg2FB08UjQ
https://mp.weixin.qq.com/s/utD7ux7WV_AX_bFwHj191g
https://mp.weixin.qq.com/s/VwmTozJhIUzY85p960lbcA
https://mp.weixin.qq.com/s/dmFCMqWyzpt02DWeJjzoeQ
标签：Tier1,芯片,模型,杂谈,al,稀疏,camera,et From： https://www.cnblogs.com/wujianming-110117/p/16753115.html