复现代码参考:
复现代码参考:
基本原理
该上采样算子拥有若干显著特征,包括,能够,实现,像素,空间的,扩展,并且,可以,保持,图像,细节,信息,同时,还,有助于,提升,分辨率,水平,它,还,能够,有效,减少,边缘,模糊,现象,并且,增强,整体,视觉效果,使人,感觉,更加,清晰,明亮,这种,算子,特别,适合,用于,高清,视频,处理,以及,复杂,场景,的,图像,重建,它,还,可以,适应,不同,应用,场景,对,输入,数据,进行,灵活,的,调整,以满足,各种,特定,需求
感受范围广阔:能更充分地运用邻域数据。, 对内容有感知:提升层核需与特征图的语义关联,依照输入内容执行提升操作。, 追求简洁:避免增加过多的参数和运算负担。
这个结构包含两大核心部分,分别是上采样核生成单元和特征整合单元。设定放大系数为 $r$,当接受一个维度为 $C \times H \times W$ 的输入特征矩阵时,会先利用上采样核生成单元来计算上采样滤波器,接着借助特征整合单元执行上采样操作,最终输出一个尺寸变为 $C \times rH \times rW$ 的特征矩阵。
上采样核预测模块
特征图通道压缩:
输入特征图的大小为 $C \times H \times W$,接下来,通过一个 $1 \times 1$ 的卷积层,将通道数量减少到 $C // 4$,这样做是为了降低后续计算过程中的负担。
内容编码及上采样核预测:
当上采样滤波器的尺寸为 $k \times k$ 时,其覆盖的区域范围和所需进行的运算量都会随之增加。若要让特征图的每一个点都采用不一样的上采样滤波器,就必须确定一个形状为 $k^2 \times H \times W$ 的预测参数矩阵。压缩后的输入特征图,运用一个 $3 \times 3$ 的卷积层进行预测,该层输入通道数量为 $C // 4$,输出通道数量为 $k^2$,接着将通道维度在空间维度上展开,从而得到一个 $k^2 \times H \times W$ 形状的上采样核。
上采样核归一化:
对第二步生成的上采样滤波器执行标准化,确保其系数总和等于 1。
特征重组模块
针对输出特征图的每一个点,需要找到它在输入特征图中的对应位置,然后提取以该位置为基准的中心 $k \times k$ 区域,接着将这个区域与预测出的该点的上采样核进行逐元素相乘,最后将所有乘积相加得到最终输出值。每个位置的所有通道都使用相同的一个上采样核进行计算。
task与yaml配置
详见: