Foxtable(狐表)用户栏目专家坐堂 → 高精度小数的有效数字


  共有10958人关注过本帖树形打印复制链接

主题:高精度小数的有效数字

帅哥哟,离线,有人找我吗?
明丰
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:二尾狐 帖子:558 积分:4352 威望:0 精华:2 注册:2011/4/18 8:27:00
高精度小数的有效数字  发帖心情 Post By:2012/10/14 12:03:00 [显示全部帖子]

Decimal 高精度小数,有高达28位的有效数字,适用于要求使用大量有效的整数及小数位数并且没有舍入错误的财务计算。

 

Dim d As Decimal = 1231234567890.123456789012345678901234589
Dim d1 As Decimal = 0.123456789012345678901234589
output.show(d)
output.show(d1)

 

为何显示的有效数字只有15位?


 回到顶部
帅哥哟,离线,有人找我吗?
明丰
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:二尾狐 帖子:558 积分:4352 威望:0 精华:2 注册:2011/4/18 8:27:00
  发帖心情 Post By:2012/10/15 9:48:00 [显示全部帖子]

Dim value As Decimal

value = Math.PI

请问如何得到28位有效数字?


 回到顶部
帅哥哟,离线,有人找我吗?
明丰
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:二尾狐 帖子:558 积分:4352 威望:0 精华:2 注册:2011/4/18 8:27:00
  发帖心情 Post By:2012/10/15 10:14:00 [显示全部帖子]

用@可以求出算式高精度结果,不知@表示什么?如:

 

Dim value1 As Decimal

Dim d1 As Integer = 3

Dim d2 As Integer = 5

value1 = (1@*d2/d1)

output.show(value1)

'得到:1.6666666666666666666666666667


 回到顶部