¿Cómo afecta el cambio de tamaño de una imagen a la matriz intrínseca de la cámara?

18

Tengo una matriz de cámara (conozco los parámetros intrínsecos y extrínsecos) conocida por la imagen de tamaño HxW. (Utilizo esta matriz para algunos cálculos que necesito).

Quiero usar una imagen más pequeña, por ejemplo: (la mitad del original). ¿Qué cambios necesito hacer en la matriz para mantener la misma relación? $\frac{H}{2}\times \frac{W}{2}$

Tengo, como parámetros intrínsecos, ( , rotación y traslación) $K$ $R$ $T$

cam = K \cdot [R T]

$\text{cam} = K \cdot [R T]$

K = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix})

$K = \left( \begin{array}&a_x &0 &u_0\\0 &a_y &v_0 \\ 0 &0 &1\end{array} \right)$

$K$ es 3 * 3, pensé en multiplicar , , y por 0.5 (el factor de cambio de tamaño de la imagen), pero no estoy seguro. $a_x$ $a_y$ $u_0$ $v_0$

— matlabit
fuente

13

Nota: Eso depende de las coordenadas que use en la imagen redimensionada. Supongo que está utilizando un sistema basado en cero (como C, a diferencia Matlab) y 0 se transforma en 0. Además, supongo que no tiene sesgo entre las coordenadas. Si tienes un sesgo, también se debe multiplicar

Respuesta corta : suponiendo que está utilizando un sistema de coordenadas en el que , sí, debe multiplicar por 0.5. $u' = \frac{u}{2} , v' = \frac{v}{2}$ $a_x,a_y,u_0,v_0$

Respuesta detallada La función que convierte un punto en coordenadas mundiales en coordenadas de cámara es: $P$ $(x,y,z,1)->(u,v,S)$

(\begin{array}{ccc} {un}_{X} & 0 0 & {tu}_{0 0} \\ 0 0 & {un}_{y} & v_{0 0} \\ 0 0 & 0 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{X} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 0 & 0 0 & 0 0 & 1 \end{array}) (\begin{array}{ccc} X \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Donde , ya que las coordenadas son homogéneas. $(u,v,S)->(u/S,v/S,1)$

En resumen, esto se puede escribir como donde es el producto de las dos matrices mencionadas anteriormente, y es el i ' º fila de la matriz . (El producto es producto escalar). $u= \frac{m_1 P}{m_3 P} , v = \frac{m_2 P}{m_3 P}$
$M$ $m_i$ $M$

Se puede pensar en cambiar el tamaño de la imagen:

u^{'} = u / 2, v^{'} = v / 2

$u'=u/2, v'=v/2$

Así

u^{'} = (1 / 2) \frac{M_{1} P}{M_{3} P} v^{'} = (1 / 2) \frac{M_{2} P}{M_{3} P}

$u' = (1/2) \frac {M_1 P} {M_3 P} \\ v' = (1/2) \frac {M_2 P} {M_3 P}$

Convertir de nuevo a forma matricial nos da:

(\begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Que es igual a

(\begin{array}{ccc} 0,5 {un}_{X} & 0 0 & 0,5 {tu}_{0 0} \\ 0 0 & 0,5 {un}_{y} & 0,5 v_{0 0} \\ 0 0 & 0 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{X} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 0 & 0 0 & 0 0 & 1 \end{array}) (\begin{array}{ccc} X \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 a_x & 0 & 0.5 u_0 \\ 0 & 0.5 a_y & 0.5 v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Para obtener información adicional, consulte Forsyth , capítulo 3 - Calibración de cámara geométrica.

— Andrey Rubshtein
fuente

Muchas gracias por la explicación !!! No estoy tan seguro de lo que quieres decir con sistema basado en cero, estoy usando matlab, ¿necesito otros ajustes?

— matlabit

@matlabit, si está usando Matlab, debe usar la transformación con

, ya que tiene una indexación basada en uno (Primero elemento es 1, no 0). Intente calcular la matriz relevante en este caso. Si no necesita precisión de subpíxel, puede ignorarlo y usar la fórmula que le di.

u^{'} = (u - 1) / 2 + 1, v^{'} = (v - 1) / 2 + 1

$u' = (u-1)/2 + 1 , v' = (v-1)/2 + 1$

— Andrey Rubshtein el

8

Andrey mencionó que su solución asume que 0 se transforma a 0. Si está utilizando coordenadas de píxeles, esto probablemente no sea cierto cuando cambie el tamaño de la imagen. La única suposición que realmente necesita hacer es que su transformación de imagen se puede representar mediante una matriz de 3x3 (como demostró Andrey). Para actualizar la matriz de su cámara, puede premultiplicarla por la matriz que representa la transformación de su imagen.

[new_camera_matrix] = [image_transform]*[old_camera_matrix]

Como ejemplo, supongamos que necesita cambiar la resolución de una imagen por un factor y está utilizando 0 coordenadas de píxeles indexadas. Tus coordenadas son transformadas por las relaciones $2^n$

$x' = 2^n*(x+.5)-.5$

$y' = 2^n*(y+.5)-.5$

esto puede ser representado por la matriz

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right)$

entonces tu matriz de cámara final sería

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} ax & 0 & u_0 \\ 0 & ay & v_0 \\ 0 & 0 & 1 \end{array} \right)$

— Martillo
fuente

2^{n}

$2^n$

1

Creo que el punto es que el centro del píxel "0, 0" no está realmente en "0, 0" (= esquina superior izquierda del píxel) sino en "0.5, 0.5". Por lo tanto, debe tener en cuenta ese desplazamiento antes y después de la transformación, y el factor siempre es 0.5, sin importar el factor de escala.

— Jan Rüegg

Sí, eso es exactamente correcto

— Martillo