人工智能大发展历史和演变之路

早起起步阶段 --- 机器学习

• 1950s - 1970s：符号主义和统计学习 : 主要符号主义（如逻辑推理）和统计学习（如线性回归、贝叶斯方法）
  • 主要符号主义和和规则引擎在做一些专家系统
  • 使用统计学做一些分析和预测分析
  • 自然语言处理的逻辑处理例如分词应用
• 1980s - 1990s：基于知识的系统和支持向量机 ： 主要专家系统和基于规则的方法和支持向量机（SVM）等统计学习方法
• 还是主要集中在专家系统但是过度依赖规则引擎（医疗诊断、工业控制、金融分析）
• 但是SVM 在统计学上有较大的提升和进步，图像、生物学、金融领域、医疗诊断系统、军事应用中的智能决策系统 （适用小批量、核函数敏感）
  • SVM在模式识别、图像识别和计算机视觉
  • 生物信息学领域SVM被用于分子生物学的数据分类和预测
  • 金融市场中用于股票市场预测和风险评估

兴起阶段 --- 深度学习

• 1980s - 2000s：神经网络的出现，但是计算能力有限、数据集不足以及训练技术的限制，一直没多大起色，停滞不前
• Geoffrey Hinton等研究人员在2006年提出了一种通过无监督学习预训练深度神经网络的方法（如深度信念网络），标志着深度学习的复兴。
• 2010年后，随着大数据的出现、计算能力的提升（如GPU）、优化算法（如随机梯度下降法）的改进，以及开放源代码工具的普及（如TensorFlow、PyTorch等），深度学习迅速发展成为主流。
  • 卷积神经网络（CNN）和 递归神经网络（RNN）等架构在计算机视觉、自然语言处理等领域取得了突破性进展。
• 这是重要的阶段出现大量的深度学习的框架和模型
  • 图像处理和计算机视觉任务领域
    • 框架： TensorFlow（谷歌：支持分布式计算、大规模部署）、PyTorch（facebook：支持动态定义和训练复杂的神经网络模型）、MXNet （apache:高效的分布式训练和大规模部署）
    • 模型：
      • 卷积神经网络（CNN）(用于图像分类、目标检测等任务)：
        • AlexNet（在2012年ImageNet竞赛：Alex Krizhevsky首次引入深度学习技术并取得显著成绩）
        • VGGNet (牛津大学: 视觉几何组（VGG）的深度卷积神经网络模型，通过更深的网络层次提高了图像识别的准确性)
        • ResNet (微软研究院 ： 残差网络模型，通过引入残差块解决了深度神经网络训练过程中的梯度消失和梯度爆炸问题，推动了更深层次的网络设计)
      • 对象检测（实时目标检测）：
        • YOLO（Joseph Redmon和Ali Farhadi在美国华盛顿大学开发：单个神经网络模型实现端到端的目标检测，具有高速和准确性的特点）
        • Faster R-CNN（微软研究院：极大地推动了目标检测领域的发展，它的成功启发了许多后续的改进和变体模型）
        • SSD（谷歌：一种高效的目标检测器，被广泛应用于多个领域，包括计算机视觉、自动驾驶、工业自动化等）
      • 图像生成GANs（生成对抗网络）（图像生成和编辑）
        • DCGAN（Ian Goodfellow 2014年： 生成了高质量的逼真图像，例如人脸、动物和自然风景等）
        • PGGAN （NVIDIA研究人员：图像生成、视频生成、风格迁移等领域，显著提升了生成对抗网络在生成高质量图像方面的性能和稳定性，成为GAN领域的一个重要里程碑）
  • 自然语言处理和文本分析：
    * 框架： TensorFlow（谷歌：支持分布式计算、大规模部署）PyTorch（facebook：支持动态定义和训练复杂的神经网络模型）、Hugging Face Transformers(谷歌)
    * 模型：
    • 递归神经网络（RNN）和长短期记忆网络（LSTM）： 用于文本生成、情感分析等。
    • Transformer模型： BERT、GPT等用于文本分类、问答系统、语言建模等。
    • 序列到序列模型（Seq2Seq）： 用于机器翻译、文本摘要等任务。
  • 强化学习和控制系统：
    • 框架： TensorFlow、PyTorch、OpenAI Gym
    • 模型：
      • 深度Q网络（DQN）： 用于处理离散动作空间的强化学习任务。
      • 连续动作空间： 深度确定性策略梯度（DDPG）、演员-评论家模型（A2C、A3C）等。
      • 进化策略（Evolution Strategies）： 用于解决复杂的连续动作空间问题。
  • 通用应用和工业实践：
    框架： TensorFlow、PyTorch、Keras
    模型：
    • 预训练模型的微调： 如使用BERT或GPT的预训练模型，在特定任务上进行微调以提高性能。
    • 集成学习和模型融合： 结合多个模型的预测结果来提高准确性和鲁棒性。
    • 自动化机器学习： 使用框架如AutoML来自动化特征工程、模型选择和调优过程。
  • 模型部署和优化：
    • 框架： TensorFlow Serving、ONNX、TorchScript
    • 技术：
      • 模型压缩和量化： 减少模型的存储空间和计算资源消耗。
      • 分布式训练和部署： 使用多GPU或分布式计算平台加速训练和实时推理。
      • 端到端的部署管道： 将训练好的模型转换为可部署的格式，并集成到生产环境中。

爆发阶段 ---大模型兴起 GPT、Genmini、 BERT

• 2020s后期至今：大模型的发展 ，数据量的爆炸式增长、硬件计算能力的持续提升（如TPU等专用芯片）、以及深度学习算法的不断优化
  • chatgpt4 通常包含数十亿甚至数百亿个参数，能够更精确地捕捉复杂的数据模式和语义信息
  • BERT 在翻译领域3.4亿参数，高效翻译
  • Genmini 更多加强劲的可以多模态输入和输出