"Clearer Frames, Anytime: Resolving Velocity Ambiguity in Video Frame Interpolation" Arxiv, 2023 Nov 👍 paper code website pdf Authors: Zhihang Zhong, Gurunandan Krishnan, Xiao Sun, Yu Qiao, Sizhuo Ma, Jian Wang
-
Task: VFI, video editing(re-timing)
-
Problems
velocity ambiguity in video frame interpolation:struggles to predict precise object movements.
-
🏷️ Label:
addressed velocity ambiguity in video frame interpolation, leading to: Clearer anytime frame interpolation & Manipulated interpolation of anything
实现插帧后的视频在任意时刻均保持清晰;改动物体在插帧视频中的轨迹
- distance indexing 代替先前 time-indexing 方法(让模型预测 timestep 与位置的对应)
- propose an iterative reference-based estimation strategy that breaks down a long-range prediction into several short-range steps. plug-and-play strategies
提出的方法都可以 plug&play 直接移植到现有方法
-
发现现有 VFI 方法预测运动存在模糊的原因 velocity ambiguity
-
提出 distance-indexing
-
使用先前预测结果作为 referenced 降低累计误差
提出的 2 个模块可以移植到现有方法上
探索先前方法模糊的原因,两帧之间插帧,但可能物体在这两帧之间运动的速度有变化,因此插帧可以有多个对应。而先前模型无法学习到这种速度差异,只是在平均,从而导致了模糊。
先前方法对比
calculating a path distance ratio map �� to replace the time � for index-based learning
类似视频 recurrent setup,用先前一小段的预测作为输入,降低累计误差
有了输入的 distance,可以修改这个 distance 实现物体运动轨迹的编辑
ablation study 看那个模块有效,总结一下
提出的方法都可以 plug&play 直接移植到现有方法
- 提出的方法要有轨迹作为输入,但本文中轨迹输入是认为指定的
- 提出的方法没有办法预测 possible trajectory
- 本文使用的 distance map 为固定匀速的,实际不是
learn what & how to apply to our task
- 学习科研思路,如何从问题着手进行改进 分析先前方法存在模糊的原因,再进行改进 >> 两帧之间运动的速度可能有差异,训练时候同一时刻 t 对应到了不同细分位置的图,导致了预测的模糊