【前言】
是否所有人都可以公平地享受科技发展带来的生产力进步？
AIGC应用越完善，内容生产的社会必要劳动时间就越少，人工就越没有价值。全社会新增劳动岗位的速度很快就会跟不上AIGC应用取代人工的速度，而不会使用AIGC应用的劳动者可能将无法获得收入、无法进行消费，从而逐步被剥离出经济循环。
科技本身并不具有公平性。新科技的诞生需要以巨大资源聚集为前提，其应用落地更不会在全世界平均分布、等速进行。但是，人类文明需要公平。
不过有一点毋庸置疑：世界正在被AIGC改变，并且变化的速度逐渐加快。若干年后回顾人类历史，或许此时的我们已经身处一次爆炸式生产力变革之中。
【第1章】
<2>
AIGC，AI Generated Content，人工智能生成内容
<3>
人工智能（Artificial Intelligence，AI）
“专家系统”
研究人员只清楚AI的功能及如何使用这些功能，并不能够准确地理解机器如何进行推理与测算。
<4>
大型语言模型（Large Language Model，LLM）
元宇宙将极大地扩展人类的存在空间，而在迈向元宇宙的过程中，需要大量的数字内容来支撑，仅靠人工设计和开发根本无法满足需求，AIGC应用正好可以解决这个问题。
<11>
基建供应商或许是最大的赢家，它们获得了大量的利润，收入快速增加。
提供AI训练的设备，如高性能显卡
模式提供商……绝大部分都还没有完全商业化……创造最大价值的公司——训练生成式AI模型并将其应用在应用程序中的公司，尚未获取最大的价值。
<12>
Stability AI是一家由AI驱动的视觉艺术初创公司。
<13>
Scale AI——服务于公司客户的AI基础设施服务商。
<14>
高端学府不仅为这些未来的科技大佬们提供了优良的教育和科研支持，还为他们构建了优质的交友圈。
<15>
具有良好的基因和家庭教育环境。
为什么要关注AIGC？
因为全世界最聪明的人和最有钱的人都在这么干。
【第2章】
<17>
自然语言处理（Natural Language Processing，NLP）
时序神经网络
循环神经网络（Recurrent Neural Network，RNN），“梯度消失”
<18>
长短期记忆（Long Short-Term Memory，LSTM）网络
Transformer模型，注意力机制
双向编码器表示（Bidirectional Encoder Representation from Transformer，BERT）模型
生成预训练（Generative Pre-Timing，GPT）
BERT模型具有较强的序列关系和语法描述能力，自然语言理解
GPT系列模型，自然语言生成
Stable Diffusion模型，图像生成、图像修改
<19>
基于规则的生成算法主要通过制定规则来生成新的数据
规则体系
模板匹配法
基于规则生成的内容具有较强的可控性和可解释性，但是对于规则和模板的定义，需要有一定的先验知识和对相关领域技术的理解。
由于受到规则和模板的限制，生成的内容具有较强的局限性，难以满足丰富和多样化的要求
<20>
变分自编码器（Variational AutoEncoder，VAE）
自编码器（AutoEncoder，AE）
编码器；潜在特征表示；解码器
无监督学习
<21>
重构误差（Reconstruction Error，RE）：均方误差（Mean Squared Error，MSE）、二元交叉熵（Binary Cross-Entropy）
VAE用概率编码器和概率解码器来代替AE中确切的编码和解码过程。
VAE主要实现了描述隐空间的概率方式，编码器的主要目的是描述每个潜在特征表示的概率分布。
<22>
零和博弈理论，生成对抗网络（Generative Adversarial Network，GAN），无监督学习领域
<23>
其基本思想是同时训练两个网络，生成器、鉴别器
当输入是由生成器生成的样本时，鉴别器本身的期望输出趋近于0，但此刻生成器期望鉴别器输出趋近于1，达到零和博弈的状态。
<24>
我们期望从GAN模型中学习到一个有意义的隐向量，从而使得隐向量中的每个特定值和特定的生成样本一一映射。
模式崩溃问题
修改生成器和鉴别器的模型架构
<25>
改变生成器和鉴别器的损失函数
<27>
Transformer，基于自我注意力机制的深度学习模型
注意力机制，把注意力放到主要或重要的信息上，忽略大量不重要的信息，不但解决了长期依赖问题，同时还实现了模型的并行能力，且通过一步矩阵计算就可以获得较大范围的信息。
自我注意力机制（Self-Attention）
多头注意力机制（Multi-Head Attention）
——2023-4-22
标签：编码器,读书笔记,AI,生成器,模型,AIGC,ISBN9787121353932,生成 From： https://www.cnblogs.com/steven913/p/17344096.html