Preguntas etiquetadas con precision

Quiero aser redondeado a 13.95 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 La roundfunción no funciona como esperaba.

1692 python  floating-point  rounding  precision 

He leído sobre la diferencia entre precisión doble y precisión simple. Sin embargo, en la mayoría de los casos, floaty doubleparecen ser intercambiables, es decir, usar uno u otro no parece afectar los resultados. ¿Es este realmente el caso? ¿Cuándo son intercambiables los flotadores y los dobles? Cuáles son las …

420 c++  c  floating-point  precision 

Así que obtuve la respuesta a mi última pregunta (no sé por qué no pensé en eso). Estaba imprimiendo un doubleuso coutque se redondeó cuando no lo esperaba. ¿Cómo puedo hacer coutuna impresión doublecon total precisión?

332 c++  floating-point  precision  iostream  cout 

Quería mostrar un número con 2 decimales. Pensé que podría usar toPrecision(2)en JavaScript. Sin embargo, si el número es 0.05, me sale 0.0500. Prefiero que siga igual. Véalo en JSbin . ¿Cuál es la mejor manera de hacer esto? Puedo pensar en codificar algunas soluciones, pero me imagino (espero) que …

316 javascript  floating-point  precision 

Tengo la siguiente columna especificada en una base de datos: decimal (5,2) ¿Cómo se interpreta esto? De acuerdo con las propiedades de la columna como se ve en el estudio de administración de SQL Server, puedo ver que significa: decimal (precisión numérica, escala numérica). ¿Qué significan la precisión y la …

245 sql  database  decimal  scale  precision 

¿Cómo puedo construir exactamente una marca de tiempo del tiempo real con precisión de milisegundos? Necesito algo como 16.4.2013 9: 48: 00: 123. es posible? Tengo una aplicación, donde muestro valores 10 veces por segundo, y necesito mostrarlos en un gráfico.

231 c#  datetime  precision  milliseconds 

¿Por qué algunos números pierden precisión cuando se almacenan como números de coma flotante? Por ejemplo, el número decimal 9.2se puede expresar exactamente como una relación de dos enteros decimales ( 92/10), los cuales se pueden expresar exactamente en binario ( 0b1011100/0b1010). Sin embargo, la misma proporción almacenada como un …

198 floating-point  language-agnostic  precision 

Estoy tratando de obtener la suma de 1 + 2 + ... + 1000000000, pero yo estoy resultados divertidos en PHP y Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var …

192 php  node.js  precision  integer-overflow  integer-arithmetic 

Recientemente tuve que serializar un doble en texto y luego recuperarlo. El valor parece no ser equivalente: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Pero según MSDN: cadenas de formato numérico estándar , se …

185 c#  double  tostring  precision 

¿Cuál es la diferencia entre una operación de punto flotante de precisión simple y una operación flotante de precisión doble? Estoy especialmente interesado en términos prácticos en relación con las consolas de videojuegos. Por ejemplo, ¿la Nintendo 64 tiene un procesador de 64 bits y, si lo tiene, eso significaría …

169 floating-point  precision  processor  operations 

No, esta no es otra pregunta "¿Por qué es (1 / 3.0) * 3! = 1" . He estado leyendo mucho sobre puntos flotantes últimamente; específicamente, cómo el mismo cálculo podría dar diferentes resultados en diferentes arquitecturas o configuraciones de optimización. Este es un problema para los videojuegos que almacenan …

155 c#  .net  floating-point  precision  ieee-754 

Sé que el 0.1número decimal no se puede representar exactamente con un número binario finito ( explicación ), por double n = 0.1lo que perderá algo de precisión y no será exactamente0.1 . Por otro lado 0.5se puede representar exactamente porque lo es 0.5 = 1/2 = 0.1b. Habiendo dicho …

152 java  floating-point  double  precision 

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Se imprime el código anterior: 11.399999999999 ¿Cómo conseguiría que esto simplemente imprima (o pueda usarlo como) 11.4?

149 java  floating-point  double  precision 

Soy nuevo en JavaScript y acabo de descubrir toFixed()y toPrecision()redondear números. Sin embargo, no puedo entender cuál es la diferencia entre los dos. ¿Cuál es la diferencia entre number.toFixed()y number.toPrecision()?

124 javascript  rounding  precision 

Hay una opción en R para controlar la visualización de dígitos. Por ejemplo: options(digits=10) se supone que da los resultados del cálculo en 10 dígitos hasta el final de la sesión R. En el archivo de ayuda de R, la definición del parámetro de dígitos es la siguiente: dígitos: controla …

110 r  precision  digits  r-faq  output-formatting