Foxtable(狐表) → 用户栏目 → 专家坐堂 → [求助]表达式乘法结果错误


  共有4834人关注过本帖树形打印复制链接

主题：[求助]表达式乘法结果错误
帅哥哟，离线，有人找我吗？
昱飞哥
 小大  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：小狐 帖子：329 积分：2534 威望：0 精华：0 注册：2020/3/2 23:15:00 		[求助]表达式乘法结果错误  发帖心情 Post By：2022/6/20 18:28:00 [只看该作者]

有三列：单价、数量、总价，三列均为单精度列
其中，总价是表达式列。表达式为：IsNull([单价] * [数量],0)
我有一行：单价为13000，数量为0.075，算出来的结果怎么是：975.0001？
 回到顶部
帅哥哟，离线，有人找我吗？
lgzhao
 小大  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：小狐 帖子：304 积分：2091 威望：0 精华：0 注册：2017/11/19 9:46:00 		  发帖心情 Post By：2022/6/20 18:52:00 [只看该作者]

改成双精度就好了。双精度速度并不慢多少，不要担心。
我的系统数字除了整数就是双精度
 回到顶部
帅哥哟，离线，有人找我吗？
lgzhao
 小大  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：小狐 帖子：304 积分：2091 威望：0 精华：0 注册：2017/11/19 9:46:00 		  发帖心情 Post By：2022/6/20 18:53:00 [只看该作者]

这个不算错误。是计算机系统存储数字有效位数不够造成的误差，这个什么程序都避免不了。除非将来改了计算机硬件原理。

 回到顶部
帅哥哟，离线，有人找我吗？
昱飞哥
 小大  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：小狐 帖子：329 积分：2534 威望：0 精华：0 注册：2020/3/2 23:15:00 		  发帖心情 Post By：2022/6/21 13:19:00 [只看该作者]

谢谢

 回到顶部
RSS2.0 | Xhtml无图版 | Xslt无图版 Copyright © 2000 - 2018 foxtable.com Tel: 4000-810-820 粤ICP备11091905号
   Powered By Dvbbs Version 8.3.0
页面执行时间 0.03711 秒, 4 次数据查询