在上发表的大运动帧插值中我们
提出了一种从几乎重复的照片创建高质量慢动作视频的方法。是一种新的神经网络架构可以在大运动中实现最先进的结果同时也能很好地处理较小的运动。在两张几乎重复的照片之间进行插值以创建慢动作视频。薄膜模型概述模型以两个图像作为输入并输出中间图像。在推理时我们递归调用模型来输出中间图像。具有三个组件特征提取器用深层多尺度金字塔特征总结每个输入图像双向运动估计器计算每个金字塔级别的像素级运动即流输出最终插值图像的融合模块。我们在常规视频帧三元组上训练中间帧作为监督的基本事实。对两个输入图像进行标准特征金字塔提取。
每个级别的特征都通过一系列卷积进行处理然后将其下采样到空间分辨率的一半并作为输入传递到更深的级别。与尺度无关的特征提取大运动通常通过使用多分辨率特征金字塔的分层运南非手机号码列表 动估计来处理如上所示。然而这种方法很难处理小型且快速移动的物体因为它们可能会在最深的金字塔层消失。此外可用于最深层监督的像素要少得多。为了克服这些限制我们采用了跨尺度共享权重的特征提取器以创建与尺度无关的特征金字塔。该特征提取器通过将浅层的大运动与更深层次的小运动等同起来允许跨金字塔级别使用共享运动估计器下一节并且创建权重较少的紧凑网络。具体来说给定两个输入图像我们首先通过连续对每个图像进行下采样来创建图像金字塔。
https://reviewb.club/wp-content/uploads/2024/05/South-Africa-mobile-phone-number-list-1.png
接下来我们使用共享的卷积编码器从每个图像金字塔级别下图中的列提取更小的特征金字塔。作为第三步也是最后一步我们通过水平连接具有相同空间维度的不同卷积层的特征来构建与尺度无关的特征金字塔。请注意从第三级开始特征堆栈是使用同一组共享卷积权重以相同颜色显示构建的。这确保了所有特征都是相似的这使得我们能够在后续的运动估计器中继续共享权重。下图使用四个金字塔级别描述了此过程但实际上我们使用七个金字塔级别。双向流量估计特征提取后执行基于金字塔的残余流估计以计算从尚未预测的中间图像到两个输入的流。使用卷积堆栈从最深层次开始对每个输入进行一次流量估计。
页:
[1]