- 2024-06-12一个很有意思的excel计算错误
工作多年,好多年没有写blog了。今天发现了个很有意思的计算错误想写一下。写报告的时候习惯性用计算器算了一下,发现数据不对,311.3*24=7471.20.但是我这个表计算出来是7471.30,我用的是excel的自动求和 A1*24这样的公式。很奇怪因为这是excel的自动计算,按道理不会出现这种错误,然
- 2024-03-09MySql中SUM函数计算错误问题
前言今天一个很久前做的项目突然找到我,说是之前做的项目中,页面上数据汇总和列表中的数据的总数存在对不上的问题。说是列表是对的,但是根据列表统计出来的数据要比正常小很多。排查这个项目已经好几年了,之前用了很久都是正常的,不可能会突然出问题了;我觉得这个统计肯定是没问题了
- 2023-10-12C++程序在debug结果正确但release结果错误或两个模式下结果不同
今天在运行release工程时发现运行结果出现了-1.#IND00,1.#INF00。但是在debug下可以计算出数字。于是在网上查找资料。尝试修改配置属性优化方法为已禁用。未果尝试修改调试信息格式。未果尝试修改代码生成运行库。未果原因:最后通过输出变量仔细对比发现是某个函
- 2023-02-14二分法计算错误
2023牛客冬季训练5-A二分代码出错,使用upper_bound()正确while(l<r){intmid=l+r+1>>1;if(a[mid]<=x)
- 2022-09-27遇到过的错误之“日期计算错误,Java8API导致Unsupported unit: Seconds【时间类错误】"
一、问题场景:在计算相差天数时爆出的错误 报错内容:java.time.temporal.UnsupportedTemporalTypeException:Unsupportedunit:Seconds 二、原因 我这里使用了L
- 2022-08-23简易频率计——位宽导致数据计算错误
简易频率计的原理简单介绍频率测量有多种方法,这里介绍精度较高的一种——等精度测量:以下测试所用测试时钟为100MHz,所测试的时钟频率为5MHz在面对未知位宽计数器的