摘要 本节将分析一个深度学习中的“Hello World”程序的计算精度问题。该程序利用 PyTorch 库创建了一个权重矩阵 W 和一个特征矩阵 X，然后通过矩阵乘法计算得到结果矩阵 Y。通过本节及后续的分析，将展示影响深度学习效果的一个潜在因素。
直接贴图如下代码：
为了分析结果与输入之间的关系，两个输入矩阵的元素均输出至少 16 位的结果。具体内容如下：
另外，由于使用的是单精度计算，因此结果只考虑前 8 位有效数字：
现在我们考察 Y[1,1]、Y[1,2]、Y[1,4]、Y[2,4] 4个结果的精度。
首先，从上面最后一张图片知，Python 8位有效数字的 4个输出结果为
然后，用第二张图片中数据重新计算该 4个结果（不妨利用 ISReal 可信软件计算）：
将通过重新计算得到的新结果与(1)中数据进行比对，从而可知，(1)中 4个结果均具有 2位错误数字。错误位数的相对误差均为 2/8=25%. 该误差率的占比不少于 4/(5*5)=16%.
各位看官，您有何感想？
标签：分析,本节,计算机,结果,有效数字,矩阵,四十一,错误计算,计算 From： https://blog.csdn.net/zaim1/article/details/140626879