双线性插值算法

1.线性插值

线性插值是指使用连接两个已知点的直线来确定同在这个直线上的未知点值的方法。

图片来自于线性插值 (opens new window)

如上图，已知坐标，要求区间中间一个x位置在直线上的值，使用线性插值的方法如下，两点式直线方程可写为：

$$\frac{x-x_0}{x_1-x_0}=\frac{y-y_0}{y_1-y_0}$$

记方程左右的等值为,则可得,

$$y=(1-\alpha )y_0+\alpha y_1$$

上式可用来计算。实际上当且时，上式仍然可以使用，这种情况下，这种方法叫作线性外插。

2.双线性插值

知道线性插值后，双线性插值，又称双线性内插，就是在两条线上分别进行一次线性插值，等到两个中间点，再对中间点进行一次线性插值得到的，如下图：

图片来自双线性插值 (opens new window)

现在函数值是和相关的二维函数，, 可将上图当成是沿z轴方向的俯视图，是已知的四个点，双线性插值所做的事情即根据这四个点求中间点的值，上图中

$$\begin{array}{c}f(Q_{11})=f(x_1,y_1)\\ f(Q_{12})=f(x_1,y_2)\\ f(Q_{21})=f(x_2,y_1)\\ f(Q_{22})=f(x_2,y_2)\end{array}$$

求P需先求中间点, 可根据用线性插值公式来求，可根据用线性插值公式来求。

$$\begin{array}{c}f(R_1)=\frac{x_2-x}{x_2-x_1}f(Q_{11})+\frac{x-x_1}{x_2-x1}f(Q_{21})\\ f(R_2)=\frac{x_2-x}{x_2-x_1}f(Q_{12})+\frac{x-x_1}{x_2-x1}f(Q_{22})\end{array}$$

得到后，对这两点再应用线性插值即可求,

$$f(P)=\frac{y_2-y}{y_2-y_1}f(R_1)+\frac{y-y_1}{y_2-y_1}f(R_2)$$

3.示例

3.1 双线性插值求像素点的值

已知四个像素点的值分别为，用双线性插值求其中间点的像素值的过程如下，

图片来自双线性插值 (opens new window)

$$\begin{array}{c}f(R_1)=0.4\times 20+0.6\times 30=26\\ f(R_2)=0.4\times 15+0.6\times 40=30\\ f(P)=0.6\times 26+0.4\times 30=27.6\approx 28\end{array}$$

3.2与OpneCV Resize方法做比较

使用OpenCV的resize方法，插值方法选择双线性插值。将3x3的图像使用双线性插值resize成2x2。
使用OpenCV计算的结果为：

img = np.array([[30, 20, 10],
 [10, 40, 60],
 [20, 30, 40]], dtype=np.uint8)
img = cv2.resize(img, (2,2), cv2.INTER_LINEAR)
print(img)
# [[25 23]
#  [21 42]]

手动计算双线性插值过程，需先将resize后大小为2x2的destination图像对应的点再还原到source源图像上去，然后才能在原图像上应用双线性插值，这里将目标图像点映射到源图像上的坐标计算公式为：

$$\begin{array}{c}X=(dstX+0.5)\times \frac{srcWidth}{dstWidth}-0.5\\ Y=(dstY+0.5)\times \frac{srcHeight}{dstHeight}-0.5\end{array}$$

• dstX 是resize后图像上的像素点坐标
• srcWidth/srcHeight源图像宽高，dstWidth/dstHeight resize后图像的宽高

这个公式可以写成:

$$\frac{srcX+0.5}{dstX+0.5}=\frac{srcWidth}{dstWidth}$$

可理解成将resize后每个像素点中心和原图上对应点开始一半像素的位置对齐。

计算过程为：

图片来自双线性插值 (opens new window)

可见与OpenCV resize函数使用INTER_LINEAR方法时的结果相同。

上述原图坐标和resize后图像坐标的映射方式等同于TORCH.NN.FUNCTIONAL.INTERPOLATE函数align_corners=False时的场景，

import torch
import torch.nn.functional as F

t = torch.tensor(img, dtype=torch.float).reshape(1,1,3,3)
it0 = F.interpolate(t, size=2, mode = 'bilinear')
print(it0)
# tensor([[[[25.0000, 23.1250],
#           [21.2500, 41.8750]]]])
it0 = F.interpolate(t, size=2, mode = 'bilinear', align_corners=True)
print(it0)
# tensor([[[[30., 10.],
#           [20., 40.]]]])

关于align_corners参数的介绍可参考(三)TORCH.NN.FUNCTIONAL.INTERPOLATE使用说明 (opens new window)。

其他

关于双线性插值，可以将上述公式展开成的加权和，其物理含义可借助下图表示：

图片来自于RoI Pooling 与 RoI Align 的区别 (opens new window)

(adsbygoogle = window.adsbygoogle || []).push({});

参考资料

• 1.https://blog.csdn.net/qq_37541097/article/details/112564822?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164784799816780255299039%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=164784799816780255299039&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-1-112564822.nonecase&utm_term=%E5%8F%8C%E7%BA%BF%E6%80%A7&spm=1018.2226.3001.4450#t4 (opens new window)
• 2.https://zhuanlan.zhihu.com/p/161540817 (opens new window)