Usar la fórmula pitagórica en posiciones dadas en latitud y longitud tiene tan poco sentido como, por ejemplo, calcular el área de un círculo usando la fórmula para un cuadrado: aunque produce un número, no hay razón para suponer que debería funcionar.
Aunque a escalas pequeñas cualquier superficie lisa parece un plano, la precisión de la fórmula pitagórica depende de las coordenadas utilizadas. Cuando esas coordenadas son latitud y longitud en una esfera (o elipsoide), podemos esperar que
Las distancias a lo largo de las líneas de longitud serán razonablemente precisas.
Las distancias a lo largo del ecuador serán razonablemente precisas.
Todas las demás distancias serán erróneas, en proporción aproximada a las diferencias en latitud y longitud.
El error depende del punto inicial y final de los cálculos de distancia. Sin embargo, debido a que tanto la esfera como el elipsoide tienen una simetría circular alrededor del eje, el error depende solo de la diferencia de las longitudes, por lo que para estudiar este error también podríamos tomar el punto de origen en el Primer Meridiano. Debido a que tanto la esfera como el elipsoide son simétricos bajo una reflexión norte-sur, solo necesitamos estudiar los puntos de origen en el hemisferio sur. Para cualquier punto de este tipo, podemos dibujar un mapa de contorno del error relativo, igual a [cálculo de Pitágoras] / [Distancia verdadera].
La fórmula pitagórica, que usa el radio medio de la tierra, es
Pythagorean distance = 6371000. * Sqrt[dx^2 + dy^2]] * pi / 180 meters
donde dx es la diferencia en longitudes y dy es la diferencia en latitudes, ambas en grados. (La diferencia en los valores de longitud se reduce en el módulo 360 para dar el valor correcto de dx cuando se cruza el antimeridiano; no hacerlo introduciría errores artificialmente grandes que no nos dicen nada sobre la fórmula pitagórica en sí).
Los siguientes gráficos muestran el error relativo en comparación con la distancia correcta en el elipsoide WGS 84 para latitudes de -70 a 0 en incrementos de 10 grados. La coordenada horizontal es la diferencia en longitudes y la coordenada vertical es la latitud del destino. Las regiones claras tienen un error relativamente pequeño: las líneas de contorno están en 1, 1.01, 1.02, 1.05, 1.1, 1.2, 1.5, 2, etc. (Las áreas blancas puras en las esquinas son lugares donde el error va más allá del rango de estos contornos .) Los puntos rojos muestran el punto de origen.
Las bandas blancas verticales atestiguan la exactitud de la expectativa (1): las distancias pitagóricas son precisas cuando hay una pequeña diferencia en las longitudes. Las bandas blancas horizontales en latitudes bajas confirman la expectativa (2): cerca del ecuador, las distancias horizontales son razonablemente precisas. De lo contrario, como lo atestiguan las extensas regiones más oscuras, en todas las demás distancias la fórmula pitagórica es mala.
Podemos hacer estimaciones cuantitativas del máximoerror alcanzado para pares de puntos cercanos (dentro, por ejemplo, a unos cientos de kilómetros entre sí). La escala, que usa un valor apropiado para el radio, es verdadera a lo largo del meridiano pero a lo largo de un círculo de latitud yerra aproximadamente por la secante de la latitud. Por ejemplo, a una latitud de 40 grados, la secante es 1.31, lo que implica que la fórmula de Pitágoras dará distancias aproximadamente 31% demasiado grandes en la dirección este-oeste. (Esto es evidente en el diagrama de contorno superior derecho, para un punto de origen a -40 grados de latitud, donde la región inmediatamente al este-oeste del punto rojo se encuentra entre los contornos 1.2 y 1.5). Las distancias cortas en todas las demás direcciones serán demasiado grande en alguna cantidad entre 0% y 31%; distancias más largas pueden errar aún más (como muestran los gráficos de contorno).
