VB.NET精度问题在实际应中的解决方法

开发 后端
在这里就为大家介绍一下VB.NET精度问题的相关解决办法。详细对于出现这一方面问题的初学者来说肯定有些许帮助。

对于一个初学者来说,在使用VB.NET语言进行实际编程的时候,难免会出现一些错误。但是有些错误往往都可以在我们编程实践中通过经验的积累来获得解决办法。近日在使用VB.NET做一个无限分类,突然发现一个有关于VB.NET精度问题,现在发上园子里,看看大家有看法或者解决的办法#t#

代码如下:

  1. String.Format(
  2. "{
  3. 0:####################
  4. }", 
  5. 2 ^ 63 - 1

以上为求2的63次方减去1的值

输出的结果为:9223372036854780000

如果没有用format 结果为:922337203685478E+18

而我一同事用C#同样的一句输出结果是:9223372036854775807

而我在用Windows自带的计算器输出的结果同C#输出的结果。这样子就郁闷了,难道真的是VB.NET精度问题吗?还是说我用错了方法?

VB.NET精度问题的解决方法:

使用ctype(math.pow(2,63)-1,long)

然后在工程,编译》》高级编译选项:在优化哪一框,“不做整数溢出检查”这个选项打上钩!OK啦~

责任编辑:曹凯 来源: 博客园
相关推荐

2009-10-29 10:04:57

VB.NET Read

2010-01-08 15:22:22

VB.NET局部变量

2010-01-19 18:37:24

VB.NET内存占用

2010-01-18 17:15:20

VB.NET参数类型不

2010-01-07 18:17:00

VB.NET连接SAP

2010-02-06 09:01:58

ViewState

2010-01-14 10:35:34

VB.NET指针

2010-01-08 18:02:33

VB.NET事件

2010-01-07 15:42:57

VB.NET WhilEnd While循环

2010-01-07 10:46:27

VB.NET Sock

2010-01-15 13:30:53

VB.NET Tool

2010-01-11 16:15:13

VB.NET枚举功能

2009-11-03 09:26:13

VB.NET方法

2010-01-07 16:16:03

VB.NET变量作用域

2010-01-11 18:05:24

VB.NET窗体继承

2010-01-11 10:44:47

VB.NET多窗体

2010-01-11 11:37:08

VB.NET操作CSV

2010-01-08 10:37:50

VB.NET数据库

2010-01-11 17:58:36

VB.NET压缩ZIP

2010-01-07 18:22:40

VB.NET声音播放
点赞
收藏

51CTO技术栈公众号