以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.net/bbs/index.asp)
--  专家坐堂  (http://foxtable.net/bbs/list.asp?boardid=2)
----  表达式计算的精度测试  (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=54248)
--  作者：瞩望星空
--  发布时间：2014/7/24 13:01:00
--  表达式计算的精度测试
一个简单的表达式计算：
单价*数量=金额
测试数量：
单价=3.2
数量=5700001
如果全部为单精度数，金额为：18240000
如果金额设为双精度数，金额为：18240004
如果数量、金额设为双精度数，金额为：18240003.4728
只有把三个数据全部设为双精度数，金额为：18240003.2，这样才对。

这样又得去改项目文件了，原来“单价”使用单精度类型，看来不准确啊。


请看四个表的测试
 下载信息  [文件大小：   下载次数： ]
图片点击可在新窗口打开查看点击浏览该文件:计算精度测试.table






[此贴子已经被作者于2014-7-24 15:06:39编辑过]
--  作者：有点甜
--  发布时间：2014/7/24 14:15:00
--  
嗯嗯，木有办法，取决于计算机精度问题。小数都是要丢失精度的。除非你用高精度小数。