视频插帧之前后向变形

前言

RIFE中使用了图像的后向变形技术，这里解释一下什么是前向变形和后向变形。

假设原图像为f(u,v)，扭曲的目标图像是g(x,y)

foreward warping

在已知图像坐标转换关系x(u,v)和y(u,v)，直接把原图坐标映射到转换后图像相对应的位置上，近似取整得到结果。经过变换后，像素的位置可能落在非整数的位置，四舍五入（就近原则）选取坐落的终点，可能会有多个点四舍五入到同一个像素点，造成重叠效应；或者变换后的图像位置中没有投影过来的点，产生空洞。

带来的问题：新图上有很多点并不规整

backward warping/Inverse Warping

对于每个获得新坐标(x,y)，用逆向映射函数u(x,y)，v(x,y)找到它在原图上对应的位置(u,v)，然后g(x,y)=f(u,v)。若点算出来不在格子上，用插值方法获得像素值，因此不会产生的Forward Warping的问题。

——– 这个地方还是不太懂 需要看backward warping/Inverse Warping相关论文