其实在构建神经网络或训练神经网络的时候，还有另一个隐藏的前提假设，那就是当你选择sigmoid函数或softmax函数的时候，就默认勾选了这个前提假设，那就是最大熵原理

最大熵原理确实与选择激活函数（如sigmoid或softmax）有关。以下是一些相关的要点：

1. 最大熵原理：

   • 最大熵原理是一种统计推断的方法，旨在在已知信息的情况下，选择最不偏见的概率分布。换句话说，当我们对某个系统的知识有限时，选择熵最大的分布可以避免引入不必要的假设。

2. 激活函数与概率分布：

   • Sigmoid函数适用于二分类问题，将输出映射到(0, 1)之间，表示某个类别的概率。这隐含了对概率分布的假设，认为输出可以被视为一个概率。
   • Softmax函数则用于多分类问题，将多个输出值转化为概率分布，确保所有输出的和为1。这种转换也是基于最大熵的原则，因为它在所有可能的类别中分配概率。

3. 隐藏的假设：

   • 选择这些激活函数时，确实默认了模型会遵循最大熵原理，即我们希望在给定的信息下最大化不确定性（熵），而不对结果进行过多的假设。

4. 实际应用：

   • 在训练神经网络时，这种假设有助于提高模型的泛化能力，使其更好地适应未见过的数据。

总结来说，激活函数的选择不仅影响模型的输出形式，还隐含了特定的假设和理论基础，这些都是构建和训练有效神经网络时需要考虑的重要因素。