Foxtable(狐表)用户栏目专家坐堂 → 用公式计算,计算结果有很小的误差,比如计算结果应为6300,最终显示的却是6299.9999,类型是单精度小数与双精度小数时都出现过


  共有4184人关注过本帖树形打印复制链接

主题:用公式计算,计算结果有很小的误差,比如计算结果应为6300,最终显示的却是6299.9999,类型是单精度小数与双精度小数时都出现过

帅哥哟,离线,有人找我吗?
约翰舒
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:226 积分:1796 威望:0 精华:0 注册:2016/8/3 15:11:00
用公式计算,计算结果有很小的误差,比如计算结果应为6300,最终显示的却是6299.9999,类型是单精度小数与双精度小数时都出现过  发帖心情 Post By:2016/8/22 17:59:00 [只看该作者]

老师,有一个问题


                       用公式计算,计算结果有很小的误差,比如计算结果应为6300,最终显示的却是6299.9999,类型是单精度小数与双精度小数时都出现过

 回到顶部
帅哥哟,离线,有人找我吗?
大红袍
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:39310 积分:196782 威望:0 精华:1 注册:2015/4/25 9:23:00
  发帖心情 Post By:2016/8/22 19:00:00 [只看该作者]

 这样处理

 

Convert([数量] * [单价] + 0.000001, 'System.Int64') 


 回到顶部
帅哥哟,离线,有人找我吗?
约翰舒
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:226 积分:1796 威望:0 精华:0 注册:2016/8/3 15:11:00
  发帖心情 Post By:2016/8/22 19:29:00 [只看该作者]

能解释下吗?不明白

 回到顶部
帅哥哟,离线,有人找我吗?
约翰舒
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:226 积分:1796 威望:0 精华:0 注册:2016/8/3 15:11:00
  发帖心情 Post By:2016/8/22 19:31:00 [只看该作者]

还有,这是在哪进行编辑啊?

 回到顶部
帅哥哟,离线,有人找我吗?
大红袍
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:39310 积分:196782 威望:0 精华:1 注册:2015/4/25 9:23:00
  发帖心情 Post By:2016/8/22 20:43:00 [只看该作者]

 如果是表达式列,那就直接设置公式。

 

 如果是编写代码的,贴出你原来写的代码。


 回到顶部
帅哥哟,离线,有人找我吗?
lihe60
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:狐神 帖子:6885 积分:43595 威望:0 精华:0 注册:2009/3/2 14:07:00
  发帖心情 Post By:2016/8/22 21:31:00 [只看该作者]

四舍五入

 回到顶部
帅哥哟,离线,有人找我吗?
约翰舒
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:226 积分:1796 威望:0 精华:0 注册:2016/8/3 15:11:00
  发帖心情 Post By:2016/8/23 7:44:00 [只看该作者]

是表达式列,但是我输入进去后,提示:语法错误,运算符后缺少操作数,什么意思?

 回到顶部
帅哥哟,离线,有人找我吗?
Hyphen
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:狐神 帖子:5015 积分:25363 威望:0 精华:0 注册:2015/8/18 9:21:00
  发帖心情 Post By:2016/8/23 8:53:00 [只看该作者]

贴出你的表达式

 回到顶部
帅哥哟,离线,有人找我吗?
约翰舒
  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:226 积分:1796 威望:0 精华:0 注册:2016/8/3 15:11:00
  发帖心情 Post By:2016/8/23 8:57:00 [只看该作者]

不是说把这些放入表达式就行了吗?

Convert([数量] * [单价] + 0.000001, 'System.Int64') 


 回到顶部
帅哥哟,离线,有人找我吗?
大红袍
  10楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:39310 积分:196782 威望:0 精华:1 注册:2015/4/25 9:23:00
  发帖心情 Post By:2016/8/23 9:12:00 [只看该作者]

贴出你写的表达式。

 回到顶部
总数 17 1 2 下一页