心煩死了,誤差問題,各位大蝦來幫幫忙呀
由于“庫存金額”計總和“總賬”的對不上,有一點點出入,如:12345.0900和12345.0990這兩個數,就是在第三位小數就不對了,出現這樣的誤差,請問一般是什么原因呢?proc 中原來用的round這些我都去掉了,小數位也加長了,算也來還是一樣,煩死了,help me!!!!!!!!!!!!!!!!!!! 问题点数:20、回复次数:12Top
1 楼dutguoyi(新鲜鱼排)回复于 2006-06-03 11:35:38 得分 3
是不是在数据处理过程中有位数的误差存在。Top
2 楼LouisXIV(夜游神)回复于 2006-06-03 11:36:34 得分 3
有没有字段是float的?float是会造成微小误差的
纯属个人猜测Top
3 楼wangtiecheng(不知不为过,不学就是错!)回复于 2006-06-03 11:50:42 得分 3
楼主用的什么数据类型?
Top
4 楼wanyong775(渔民:小小的网少年)回复于 2006-06-03 11:52:05 得分 0
類型:decimal
---樓主Top
5 楼wanyong775(渔民:小小的网少年)回复于 2006-06-03 11:58:13 得分 0
類型:decimal和money和smallmoney
位數我都用到小數7位了,還是不可以,煩!!
---樓主Top
6 楼moverfan()回复于 2006-06-03 11:59:34 得分 3
你用numberic类型试下嘛。
也可以以字符串形式保存。Top
7 楼wanyong775(渔民:小小的网少年)回复于 2006-06-03 12:01:03 得分 0
希望可以等到有結果啦,謝謝各位了,星期一來再看了
---樓主Top
8 楼wanyong775(渔民:小小的网少年)回复于 2006-06-05 09:07:09 得分 0
頂一下,等大蝦來指點
---樓主Top
9 楼wangtiecheng(不知不为过,不学就是错!)回复于 2006-06-05 09:26:56 得分 3
是计算过程引起的吗?Top
10 楼wanyong775(渔民:小小的网少年)回复于 2006-06-05 09:42:05 得分 0
應該是的,不過看不出問題來Top
11 楼qingsongy(QSY)回复于 2006-06-05 11:27:06 得分 3
read BOL about the precision and scale topic, and get idea about how precision and scale are calculated for numeric/decimal data type wih +,-, *,/ operatorTop
12 楼xiaomhx()回复于 2006-06-05 14:16:10 得分 2
个人感觉是算法的问题吧
Top




