首页 > 其他分享 >计算机进行小数运算时出错的原因

计算机进行小数运算时出错的原因

时间:2024-02-04 20:24:34浏览次数:18  
标签:表示 运算 符号 浮点数 出错 部分 小数

看完第三章之后我知道了运算出错的原因是有一些十进制数的小数无法转换成二进制数
还有就是小数是使用浮点数表示,浮点数是指符号尾数基数和指数这四个部分组成
浮点数的表示右很多种其中最为普遍的是IEEE标准
符号部分是指使用一个数据位来表示数值的符号;位数部分使用的是正则表达式;指数部分是用的是“EXCESS系统表现”
EXCESS系统表现是指通过将指数部分表示范围的中间值作为0,使得负数不需要用符号来表示。0左边表示负数,0右边表示正数,而单精度指数部分是8位,最大值是255,取中间为127(小数部分舍弃);双精度指数部分为11位,最大值为2047,取中间为1023(小数部分舍弃)
还有就是如何避免计算出错,把小数转换成整数来计算。计算机在进行小数计算时可能会出错,但进行整数计算(只要不超过可处理的数值范围)时一定不会出现问题

标签:表示,运算,符号,浮点数,出错,部分,小数
From: https://www.cnblogs.com/chujiacheng/p/18006919

相关文章

  • 第四章:集合运算
    第四章:集合运算4.1表的加减法4.1.1什么是集合运算集合在数学领域表示“各种各样的事物的总和”,在数据库领域表示记录的集合。具体来说,表、视图和查询的执行结果都是记录的集合,其中的元素为表或者查询结果中的每一行。在标准SQL中,分别对检索结果使用UNION,INTERSECT,EXCEPT......
  • CSAPP 第二章 信息的表示与处理(2) 整数运算
    加减法运算所有的加法运算在内存中的运算都遵循二进制的计算法则,只不过因为相同二进制表示在不同整数类型下表示的数不同,运算法则也有所不同。无符号加法计算规则可以将无符号数的加法视作是一种模运算,在二进制表示中丢弃掉溢出的位的操作就......
  • 13 - 运算符
    运算符汇总参考资料:菜鸟教程:python3运算符Python文档:运算优先级算术运算符以下假设变量a=10,变量b=21:运算符描述实例+加-两个对象相加a+b输出结果31-减-得到负数或是一个数减去另一个数a-b输出结果-11*乘-两个数相乘或是返回一个被重复......
  • Python 矩阵运算
    #coding=utf8fromrequests.sessionsimportsessionimportpubimportnumpyasnpimportdatetimeimportosfromapscheduler.schedulers.blockingimportBlockingSchedulerdefget_default_conn():  conn=(host="127.0.0.1",  port="3306&......
  • 计算机在计算小数时会出错的原因
    一:计算机在计算小数时可能会出现错误,原因有以下几点:1.采用浮点数来处理小数,会存在计算出错的可能性,无论是使用单精度浮点数还是双精度浮点数1。2.有些十进制的小数无法正确地转换成二进制,因此无法在计算机中准确表示23。3.计算机只能用有限的状态去和无限的需要表现的数去一一......
  • 位运算找是否有相同元素
    vector<string>words={"abcw","asd","awgf","dggg"}for(inti=0;i<n;++i){for(charch:words[i]){mask[i]|=1<<(ch-'a');}}给定string“abcf”初始:mask:00000000(一)对于......
  • 我对二进制的运算和用途的认识与思考
    在初步了解计算机的“大脑核心“CPU之后,对于计算机是如何处理数据、指令、函数的流程有了大致的逻辑认知。在阅读过有关二进制的知识后,对于计算机构成和运行有了更深的了解,主要分为对于二进制的运算和用途的思考。首先,作为计算机核心的CPU同其他计算机组件一样,都属于IC集成电路的......
  • (坚持每天写算法)算法学习与复习part1基础算法1-13——位运算
    最近确实有在写算法,在写dp,之前学的时候不全,被计数,树型等dp折磨了一下。位运算是将重点放在数字的位上,通常作为辅助行动,比如状态dp,有的时候是为了节省时空复杂度而使用的。这是今天的题目: 位运算应用的情况除了上面讲的,还有单纯的位问题,上面的题目就是一个例......
  • 金蝶云星空审核使用了基础资料的属性字段报错:表达式计算出错
    ##报错内容表达式计算出错:F_XXXX_MaterialId.FIsSNManage==trueandF_XXXX_ProductLibraryId==0(基础资料字段F_XXXX_MaterialId没有定义FIsSNManage字段的引用,请修正公式或在此字段中添加其引用。)条件表达式结果转换失败:F_XXXX_MaterialId.FIsSNManage==trueand......
  • 计算机中的基本运算
    二进制的算术运算1.二进制的加法运算示例:0+0=00+1=11+0=11+1=101011+1001=101002,二进制的减法运算示例:1-1=01-0=10-0=00-1=1(解释一下这个,可以看作是向前借1,看作2-1)1101-1010=0011(当然前面的0是可以省略的)3.二进制的乘法运算示例:101X11=11114.二......