# 单应矩阵

单应矩阵(homography matrix)等同于透视变换中使用的矩阵。

透视变换描述了两个平面之间的映射关系。理解之所以称为单应矩阵，是因为两个平面之间的关系是确定的，只能通过唯一的矩阵来表示这个变换，故称之为单应矩阵。

单应矩阵通常描述处于共同平面上的一些点在两张图像间的变换关系。对于空间中固定平面上的点P(如墙面)，对于运动的相机，可根据P在时刻图像中的位置来估计相机的运动。

设点P所处的固定平面的方程为：

n^{T} P + d = 0

上式参考空间中平面的方程：

A (x - x_{0}) + B (y - y_{0}) + C (z - z_{0}) = 0

化简为：

- \frac{n^{T} P}{d} = 1

设是相机的内参矩阵，和相机外参旋转矩阵,是相机外参平移向量，则根据相机模型的推导，空间点P到像素坐标系的映射可写为:

p = s K (R P + \vec{t})

使用齐次坐标表示像素坐标，因齐次坐标最后一维为0或1，则带尺度因子的与是相等的，

[\begin{matrix} u \\ v \\ 1 \end{matrix}] ≃ [\begin{matrix} s u \\ s v \\ s \end{matrix}]

表示齐次坐标这种尺度相等的关系。

则方程

p = s K (R P + \vec{t})

可写成

p_{2} ≃ K (R P + \vec{t} \cdot (- \frac{n^{T} P}{d}))

将时刻的相机坐标系当做世界坐标系，则R表示到时刻相机的姿态变化，表示到时刻相机的平移变化，上述方程可写成：

p_{2} ≃ K (R - \frac{\vec{t} n^{T}}{d}) K^{- 1} p_{1}

记,则上式写为：

p_{2} = s H p_{1}

因和是齐次坐标，具有尺度不变性，s尺度缩放因子，而齐次坐标的最后一维要么为0要么为1，因此s最后都会被约掉，因此，

p_{2} ≃ H p_{1}

H即为单应矩阵。

[\begin{matrix} u_{2} \\ v_{2} \\ 1 \end{matrix}] ≃ [\begin{matrix} h_{1} & h_{2} & h_{3} \\ h_{4} & h_{5} & h_{6} \\ h_{7} & h_{8} & h_{9} \end{matrix}] [\begin{matrix} u_{1} \\ v_{1} \\ 1 \end{matrix}]

这里还是而非=，因此对矩阵乘以任意的缩放因子上式仍然成立。假设取则矩阵H可以重新写成：

H = [\begin{matrix} h_{1} & h_{2} & h_{3} \\ h_{4} & h_{5} & h_{6} \\ h_{7} & h_{8} & 1 \end{matrix}]

因此可令，单应矩阵只包含8个自由度。

{\begin{matrix} u_{2} = \frac{h_{1} u_{1} + h_{2} v_{1} + h_{3}}{h_{7} u_{1} + h_{8} v_{1} + 1} \\ v_{2} = \frac{h_{4} u_{1} + h_{5} v_{1} + h_{6}}{h_{7} u_{1} + h_{8} v_{1} + 1} \end{matrix}

整理之后可以写为：

{\begin{matrix} h_{1} u_{1} + h_{2} v_{1} + h_{3} - h_{7} u_{1} u_{2} - h_{8} v_{1} u_{2} = u_{2} \\ h_{4} u_{1} + h_{5} v_{1} + h_{6} - h_{7} u_{1} v_{2} - h_{8} v_{1} v_{2} = v_{2} \end{matrix}

由以上推理过程，1组匹配点可以得到2个方程，因此自由度为8的单应矩阵H可以通过4组匹配点(不能有3点共线)得到8个方程来求得，方程组可写为：

[\begin{matrix} u_{1}^{1} & v_{1}^{1} & 1 & 0 & 0 & 0 & - u_{1}^{1} u_{2}^{1} & - v_{1}^{1} u_{2}^{1} \\ 0 & 0 & 0 & u_{1}^{1} & v_{1}^{1} & 1 & - u_{1}^{1} v_{2}^{1} & - v_{1}^{1} v_{2}^{1} \\ u_{1}^{2} & v_{1}^{2} & 1 & 0 & 0 & 0 & - u_{1}^{2} u_{2}^{2} & - v_{1}^{2} u_{2}^{2} \\ 0 & 0 & 0 & u_{1}^{2} & v_{1}^{2} & 1 & - u_{1}^{2} v_{2}^{2} & - v_{1}^{2} v_{2}^{2} \\ u_{1}^{3} & v_{1}^{3} & 1 & 0 & 0 & 0 & - u_{1}^{3} u_{2}^{3} & - v_{1}^{3} u_{2}^{3} \\ 0 & 0 & 0 & u_{1}^{3} & v_{1}^{3} & 1 & - u_{1}^{3} v_{2}^{3} & - v_{1}^{3} v_{2}^{3} \\ u_{1}^{4} & v_{1}^{4} & 1 & 0 & 0 & 0 & - u_{1}^{4} u_{2}^{4} & - v_{1}^{4} u_{2}^{4} \\ 0 & 0 & 0 & u_{1}^{4} & v_{1}^{4} & 1 & - u_{1}^{4} v_{2}^{4} & - v_{1}^{4} v_{2}^{4} \end{matrix}] [\begin{matrix} h_{1} \\ h_{2} \\ h_{3} \\ h_{4} \\ h_{5} \\ h_{6} \\ h_{7} \\ h_{8} \end{matrix}] = [\begin{matrix} u_{2}^{1} \\ v_{2}^{1} \\ u_{2}^{2} \\ v_{2}^{2} \\ u_{2}^{3} \\ v_{2}^{3} \\ u_{2}^{4} \\ v_{2}^{4} \end{matrix}]

通过求解上述方程组，可以恢复，这种方法称为直接线性变换法Direct Linear Transform(DLT)。求得H后再对其进行分解可以求得和.

# 参考资料

1.What's the difference between a perspective transform, homography matrix, essential matrix, and a fundamental matrix? (opens new window)

2.《视觉SLAM十四讲》p167 (opens new window)

← 双边滤波BilateralFilters 图像数据的序列化与反序列化 →