¿Cómo funciona la fusión de sensores? Quiero entender las matemáticas / física / algoritmos

Los algoritmos de fusión de sensores pueden proporcionar una orientación 3D más precisa (¿y posiblemente una posición?) De un dispositivo combinando lecturas de un acelerómetro, un giroscopio y un magnetómetro.

¿Alguien puede explicar, o proporcionar enlaces, explicando los detalles detrás de esto? Quiero comprender las matemáticas y la física, de modo que si tengo datos brutos del sensor 9-DOF, podría implementar la fusión del sensor. Suponga que tengo suficientes antecedentes de álgebra lineal, cálculo, etc.

¡Salud!

La fusión de sensores para la orientación 3D se trata de unir múltiples fuentes de datos (sensores) para extraer información más precisa.

Más específicamente en el caso de las IMU , puede unir muchas mediciones (técnicamente DoM y no DoF) para obtener datos de orientación y posición (este es técnicamente DoF).

Suponga que tiene un sistema con acelerómetro, girómetro, magnetómetro, barómetro y GPS (capacidades habituales de teléfonos celulares de alta gama y algunas características de placas de hardware). Esto es lo que realmente tienes:

• Tiene una medida de aceleración, pero si se está moviendo, no puede separar cuál es el componente de gravedad de la aceleración y la aceleración de movimiento real (a menos que realmente no se esté moviendo y solo quede la gravedad). Puede suponer que su movimiento varía más rápidamente que el cambio de gravedad y aplicar un filtro para separar los componentes de alta frecuencia de los de baja frecuencia, pero aún así no obtendrá buenos resultados cuando la suposición no se aplique (como giro). Tampoco puedes simplemente restar la gravedad de donde crees que está, simplemente porque eso es parte del resultado de la orientación, no una entrada. De todos modos, incluso si supieras hacia dónde apunta la gravedad, solo sabrás hacia abajo es, pero no sabrá dónde se encuentra (su ángulo en el plano perpendicular a) el vector de gravedad.

• Tienes un girómetro que registra la relación de giro. Es no un giroscopio. Un giroscopio en realidad daría como resultado una información de actitud, mientras que debe integrar la salida del girómetro para obtener esa información. El problema con este tipo de sensor es que, primero, no tiene una orientación inicial (a menos que asuma una, y las suposiciones tienen problemas como los anteriores); y segundo y más importante, tiene sesgo y ruido (del sensor, numérico, etc.), lo que desordena cualquier integrador.

• Tienes un magnetómetro. El campo magnético de la Tierra es muy débil y, por lo tanto, está sujeto a mucho ruido ambiental. Piense en cualquier emisor de RF como WiFi, teléfono celular, radio FM, walkie-talkies e incluso los más impropios, como radios HAM, radios de avión, radios piratas y televisores / monitores. Si cree que su televisor de panel plano para ahorrar energía no se mete con una brújula, piénselo de nuevo. Entonces, es ruidoso como el infierno. Las brújulas analógicas de imán y aceite arreglan esto sumergiendo la aguja en un fluido viscoso que actúa como un filtro mecánico de paso bajo, y debido a esto no es lo suficientemente rápido e incluso obtendrá lecturas incorrectas si Cerca de una línea eléctrica.

• Tienes un barómetro. Puede estimar la altura a partir de esta información, pero en realidad es solo una estimación. Tal como están las cosas, tenga cuidado con los efectos atmosféricos (si hay viento, hay diferencia de presión en alguna parte) y debe tener en cuenta que sus datos son relativos a alguna referencia, pero no necesariamente a tierra . Recuerde que generalmente la referencia se encuentra a nivel del mar y, bueno, los niveles del mar cambian todo el tiempo con las mareas. Por lo tanto, proporciona una idea de un solo eje de posición, y generalmente solo es bueno para detectar variaciones.

• Tienes GPS Sin embargo, la señal GPS se obtiene de los satélites en el espacio. ¿Realmente esperabas obtener información de posición milimétrica de eso? Incluso puede obtener eso si se mantiene quieto durante muchos minutos o incluso horas, filtrando, pero la precisión de un metro es bastante estándar para la mayoría de los receptores GPS de Civillian, y es suficiente para la mayoría de las aplicaciones comerciales. De todos modos, incluso si no tuviera ruido de posición, falta de señal en espacios cerrados o mal tiempo, todavía obtendría solo información de posición, nada como actitud.

Con todo eso en mente, la fusión de sensores en sí misma es la combinación de todos los datos que obtienes para intentar obtener más precisión. Comparar qué movimiento es común a diferentes sensores con diferentes características es clave. Pero como es, hay muchas formas de hacerlo y cada implementación generalmente difiere de la otra en la implementación. Algunas ideas:

• Filtrar cosas. El filtro de paso bajo y de paso alto puede mejorar los datos (al cancelar algo de ruido) y puede separar lo que es una información en dos.

• El filtrado de Kalman (en varias formas) es bastante común para eliminar algo de ruido y unir múltiples fuentes, ya que es computacionalmente rápido y también puede usarse como predictor / corrector y para compensar las diferencias de retraso de datos entre sensores.

• Usa el conocimiento del problema para mejorar las ecuaciones de comparación. Use la orientación actual más las estimaciones futuras para predecir la gravedad; integrar la aceleración para obtener velocidad; integrarse nuevamente para obtener la posición, usar el GPS para corregirlo, filtrar y derivar nuevamente para obtener estimaciones; el GPS también tiene información de velocidad de los efectos doppler, así que úsalo; use la dilución de posición del GPS para estimar cuán precisos son sus datos de GPS; integrar el girómetro para corregir el siguiente vector de gravedad; pase bajo el magnetómetro y utilícelo como referencia norte débil, con la declinación magnética corregida desde la posición GPS; use la información del barómetro desde el inicio para obtener el nivel aproximado del suelo y obtenga los datos de presión para mejorar la información de la posición Z. Crea tu propio método.

• Filtre todo, pero no filtre demasiado o no obtendrá información útil.

• Incluso si "Sensor Fusion" se vende como un método hecho, es casi un problema abierto. Incluso el uso de métodos establecidos requerirá una gran cantidad de ajustes para obtener los mejores resultados, para explotar diferentes características del sensor y obtener mejores datos.

Los sensores proporcionan información analógica o digital sobre una realidad que es difícil de comprender. Justo como lo hacen tus sentidos.

Los sensores están diseñados para aprovechar una parte especial de un fenómeno medible: eléctrico, químico, físico ... Al igual que sus sentidos. Los cinco habituales son la vista, el oído, el tacto, el olfato y el gusto, pero hay más en las habilidades humanas.

Comprender un fenómeno físico a través del procesamiento de señales es como tratar de distinguir los ingredientes principales de la receta de la comida que ordenó en un restaurante la noche anterior. No sabes lo que pasó en la cocina, sin embargo, has elegido qué pedir y has visto, probado, olido e incluso tocado el plato.

Cada uno de sus sentidos y comprensión le proporcionó pistas o conocimientos, pero nunca puede estar seguro, ya que algunos cocineros dominan el engaño sensorial. Lo que ves como una mermelada verde artificial hecha de fresas puede saber a gelatina de manzana.

Según su experiencia en la cocina, la combinación de todos sus sentidos puede acercarlo a la receta real, siempre que:

1. puedes usar tus sentidos con la frecuencia suficiente: si solo tomas un bocado cada 10 días, es poco probable que obtengas el menú. Esto es muestreo de datos;
2. cada sentido es lo suficientemente sensible. Esta es la sensibilidad del sensor;
3. su lista de sentidos está cerca de completarse y la cobertura es suficiente para su propósito. Si ya no puede probar el azúcar, no podrá cocinar algunas comidas para las personas que aún pueden probarlo. Este es el lapso de medición;
4. puede inferir o modelar algunos de los procesos que desconoce. Esto es modelar.

La fusión de sensores es el arte y la ciencia de combinar datos sensoriales, conocimiento y modelos de fuentes dispares para que la información resultante tenga más validez o menos incertidumbre que las fuentes individuales.

Ejemplos: el acto de promediar $N$Los datos del sensor para la misma señal determinista, con diferentes realizaciones estocásticas de un término de ruido, es la operación de fusión del sensor más básica. Con el modelo de ruidos de desviación gaussianos independientes$\sigma$, el promedio teóricamente produce un $\frac{\sigma}{\sqrt{N}}$desviación (menos incierta). La combinación de tres canales (rojo, azul, verde) ofrece una imagen en color (más válida que una escala de grises monocanal).

El primer ejemplo combina información de un modelo de sensor único. El segundo de sensores que operan en el mismo dominio (ondas electromagnéticas), pero en diferentes partes del espectro. En general, la fusión opera en diferentes sensores con diferentes velocidades, rangos, dominios y principalmente unidades.

El problema depende en gran medida del fenómeno que está viendo, los sensores disponibles y la información que está buscando.

La física le dice la información potencial que puede obtener de sus sensores. Las matemáticas pueden modelar cómo están relacionadas o son complementarias, o qué es información irrelevante (ruido). Los algoritmos combinarán el conocimiento previo de la manera más óptima posible, en términos de precisión, exactitud o velocidad.

El tema está relacionado con los ámbitos de fusión de sensores , fusión de datos o integración de información , con una breve descripción general en Principios y técnicas para la fusión de datos de sensores . Hay muchos más libros disponibles, como en Best book para aprender la fusión de sensores, específicamente con respecto a la integración de IMU y GPS .

Con respecto a su problema real, un primer paso consistiría en comprender ¿Cuáles son las diferencias entre un giroscopio, un acelerómetro y un magnetómetro? lo que podría ayudarte a impulsar las técnicas un poco más. Y logre el objetivo de la fusión: utilizando las diferencias de sensores, sume sus datos de la manera más inteligente .

Roger R Labbe Jr explica esto en su fantástico libro " Kalman and Bayesian Filters in Python " como

No puede arrojar ninguna información, incluso si es ruidosa.

Dos gaussianos son siempre mejores que uno en el marco bayesiano. Si multiplica dos Gaussianos, tendrá una matriz de covarianza más pequeña.