Estimación de posición 3D con cámara 2D

Tengo una cámara (iPhone), tengo un objeto de control 3D en la imagen que conozco muy bien sus propiedades. (Mi objeto de control). También hay un objeto secundario en movimiento. El objetivo final es establecer la trayectoria 3D del objeto en movimiento durante un período de tiempo determinado. (Rastreo)

Me gusta preguntar, ¿podría averiguarlo?

• Distancia del teléfono al objeto de control (en aras de la discusión, supongamos que la cámara está a cierta altura y cierta distancia que ninguno de ellos se conoce pero la cámara es perpendicular a la superficie que se conoce)

• El objeto secundario donde puedo localizar el objeto en cada cuadro posterior. Mi objetivo es estimar su trayectoria 3D como he indicado anteriormente.

Pregunta extra, podemos hacer que el sistema sea de tal manera que se pueda establecer la distancia del teléfono al objeto de control (aunque no es preferible), ¿esto me ayudaría con el segundo punto?

Si su objeto tiene 6 puntos conocidos (coordenadas 3D conocidas, y Z ), puede calcular la ubicación de la cámara relacionada con el sistema de coordenadas de los objetos.$X, Y$$Z$

Primero algunos conceptos básicos.

$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

$3\times4$

$$\textbf{x} = P\textbf{X}$$

$\textbf{x}$$\textbf{X}$

Recordamos que el producto cruzado entre dos vectores de 3 puede definirse como la multiplicación de vectores de matriz de modo que

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

$\textbf{v} \times \textbf{v} = \textbf{0}$

$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

¡Ajá! El resultado debe ser cero vector. Si ahora abrimos la ecuación obtenemos:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$\textbf{P}_n$$n$$P$

Pequeña pausa para que podamos reunir nuestras dificultades. Tenga en cuenta que la ecuación matricial anterior debe formarse para cada correspondencia 3D-> 2D conocida (debe haber al menos 6 de ellas).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Afortunadamente, podemos usar la descomposición de valores singulares (SVD) para forzar

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

$\textbf{C}$$P$$P$

(Hartley, Zisserman - Geometría de vista múltiple en visión artificial)

$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

Y así.