计算机的错误计算（四十二）

摘要  计算机的错误计算（四十一）展示了 PyTorch 库的矩阵乘积的结果的精度问题。 本节指出精度损失的部分原因是相减相消。

       不可否认，表示误差会导致计算误差。然而，表示误差一般来说会使得数值具有一定的精度。例如，在单精度浮点数下，通常可以保证约 8位有效数字，而后面的数字一般认为不能保证是正确的。

       当两个相近的数进行相减时，前面的数字可能会相互抵消，从而导致结果的有效数字减少。这种情况下，结果的有效数字可能不足 8位，因此需要补充后面的数字。然而，这些补充的数字并不能保证其准确性。

       在计算机的错误计算（四十一）中，Y[1,1]与 Y[1,4]就属于这种情形。

       下面我们复原它们的计算过程。

       从上可看出，两个均是发生了相减相消：均是两个 3位整数的相近数相减，抵消掉 2位整数，即变成了“00”。这时不得不从后面添加 2位数字。而这 2位数字是由不可靠的数字相减获得，从而也不能保证正确。这样，在 8位有效数字的输出中，产生了 2位错误数字。

       上面计算过程虽然是在十进制下完成，但是，对计算机的二进制运算也有效。因为表示误差一般是影响后面的数字，不会是前面的数字（起码对本节内容属实）。若是影响到了前面的数字，那说明误差太大了，那就另当一说。

       总结一下：表示误差使得后面的数字错误，相减相消将这些错误数字挪到了前面。再透彻一点，假设 2个 有 n位整数的数相减，得到的差有 n-m 位整数，那么结果中有约 m位错误数字。

       有关相减相消内容，可以参考计算机的错误计算（十七）。