Foxtable(狐表)用户栏目专家坐堂 → [求助]数字精度问题,


  共有5192人关注过本帖树形打印复制链接

主题:[求助]数字精度问题,

帅哥哟,离线,有人找我吗?
2900819580
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1346 积分:9807 威望:0 精华:0 注册:2015/6/30 8:46:00
[求助]数字精度问题,  发帖心情 Post By:2022/5/24 21:55:00 [只看该作者]

SQL数据库,CGM总价 的数据类型设置为real()

Dim dr As DataRow = e.DataRow
Select Case e.DataCol.Name
    Case "CGM单价","CGM数量"
        dr("CGM总价") = dr("CGM单价") * dr("CGM数量")        
End Select

结果3000的数量*0.33的单价,得到 的是3000*0.33=990.0001

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110443 积分:562081 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2022/5/24 22:05:00 [只看该作者]

在Foxtable里设置为高精度

 回到顶部
帅哥哟,离线,有人找我吗?
2900819580
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1346 积分:9807 威望:0 精华:0 注册:2015/6/30 8:46:00
  发帖心情 Post By:2022/5/24 23:46:00 [只看该作者]

以下是引用有点蓝在2022/5/24 22:05:00的发言:
在Foxtable里设置为高精度

老师,列设置数据类型不知在那里设置,用了以下代码,也不行。
    Dim zj As Decimal = dr("CGM单价") * dr("CGM数量")
        dr("CGM总价") = zj


 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110443 积分:562081 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2022/5/25 8:31:00 [只看该作者]


 回到顶部
帅哥哟,离线,有人找我吗?
2900819580
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:六尾狐 帖子:1346 积分:9807 威望:0 精华:0 注册:2015/6/30 8:46:00
  发帖心情 Post By:2022/5/26 1:14:00 [只看该作者]

以下是引用有点蓝在2022/5/25 8:31:00的发言:
3个列都改为高精度:http://www.foxtable.com/webhelp/topics/0036.htm

老师,我的是SQL数据库,加载进来的。


 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47497 积分:251403 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2022/5/26 7:30:00 [只看该作者]

Dim dr As DataRow = e.DataRow
Select Case e.DataCol.Name
    Case "CGM单价","CGM数量"
        dr("CGM总价") = cdec(dr("CGM单价")) * cdec(dr("CGM数量"))
End Select

 回到顶部