Preguntas etiquetadas con precision

Esta fue una pregunta que me hicieron en mi entrevista reciente y quiero saber (en realidad no recuerdo la teoría del análisis numérico, así que por favor ayúdenme :) Si tenemos alguna función, que acumula números de punto flotante: std::accumulate(v.begin(), v.end(), 0.0); ves un std::vector<float>, por ejemplo. ¿Sería mejor ordenar …

105 c++  floating-point  precision 

Sé que normalmente no puedes confiar en la igualdad entre valores de tipo doble o decimal, pero me pregunto si 0 es un caso especial. Si bien puedo entender imprecisiones entre 0.00000000000001 y 0.00000000000002, 0 en sí mismo parece bastante difícil de estropear, ya que no es nada. Si eres …

100 c#  .net  floating-point  precision  zero 

Me encontré con un comportamiento inesperado con DateTime.UtcNow mientras hacía algunas pruebas unitarias. Parece que cuando llama a DateTime.Now/UtcNow en rápida sucesión, parece devolverle el mismo valor durante un intervalo de tiempo más largo de lo esperado, en lugar de capturar incrementos de milisegundos más precisos. Sé que hay una …

97 c#  .net  datetime  precision  time-precision 

Esto es algo que ha estado en mi mente durante años, pero nunca antes me había tomado el tiempo de preguntar. Muchos generadores de números (pseudo) aleatorios generan un número aleatorio entre 0.0 y 1.0. Matemáticamente hay números infinitos en este rango, pero doublees un número de coma flotante y, …

94 random  floating-point  double  precision 

Esta no es una pregunta, ya que es más un aviso. json_encode()Actualicé una aplicación que usa PHP7.1.1 y estaba viendo un problema con los flotadores que se cambiaban para extenderse a veces hasta 17 dígitos. Según la documentación, PHP 7.1.x comenzó a usarse en serialize_precisionlugar de precisión al codificar valores …

93 php  json  precision  php-7.1 

Tengo algunos clientes que reciben facturas extrañas. Pude aislar el problema central: SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 200 what the? SELECT 199.96 - (0.0 * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4)))) -- 199.96 SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS …

84 sql-server  tsql  precision  sql-server-2016  sqldatatypes 

Sé un poco sobre cómo se representan los números de punto flotante, pero me temo que no lo suficiente. La pregunta general es: Para una precisión dada (para mis propósitos, el número de lugares decimales exactos en base 10), ¿qué rango de números se puede representar para sistemas IEEE-754 de …

76 floating-point  precision  numerical  ieee-754 

A menudo termino en situaciones en las que es necesario verificar si la diferencia obtenida está por encima de la precisión de la máquina. Parece que para este propósito R tiene una variable útil: .Machine$double.eps. Sin embargo, cuando recurro al código fuente R para obtener pautas sobre el uso de …

36 r  floating-point  rounding  precision 

Supongamos que tomamos np.dotdos 'float32'matrices 2D: res = np.dot(a, b) # see CASE 1 print(list(res[0])) # list shows more digits [-0.90448684, -1.1708503, 0.907136, 3.5594249, 1.1374011, -1.3826287] Números. Excepto que pueden cambiar: CASO 1 : rebanadaa np.random.seed(1) a = np.random.randn(9, 6).astype('float32') b = np.random.randn(6, 6).astype('float32') for i in range(1, len(a)): print(list(np.dot(a[:i], …

15 python  c  arrays  numpy  precision 

Tengo una lista bastante larga de números positivos de coma flotante ( std::vector<float>, tamaño ~ 1000). Los números se ordenan en orden decreciente. Si los sumo siguiendo el orden: for (auto v : vec) { sum += v; } Supongo que puedo tener algún problema de estabilidad numérica, ya que …

12 c++  floating-point  precision 

C ++ tiene std::nextafter(), que devuelve el siguiente valor representable después de un valor de punto flotante dado f . En mi caso, me gustaría permitir n bits de slop en los bits de mantisa inferiores, por lo que 3 bits de slop requerirían obtener el octavo valor siguiente después …

8 c++  floating-point  precision