博文
分级特征反馈融合的深度图像超分辨率重建
|
引用本文
张帅勇, 刘美琴, 姚超, 林春雨, 赵耀. 分级特征反馈融合的深度图像超分辨率重建. 自动化学报, 2022, 48(x): 1−12 doi: 10.16383/j.aas.c200542 Zhang Shuai-Yong, Liu Mei-Qin, Yao Chao, Lin Chun-Yu, Zhao Yao. Hierarchical feature feedback network for depth super-resolution reconstruction. Acta Automatica Sinica, 2022, 48(x): 1−12 doi: 10.16383/j.aas.c200542 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200542?viewType=HTML 文章简介 关键词 深度图像, 超分辨率重建, 特征融合, 残差学习 摘 要 受采集装置的限制, 采集的深度图像存在分辨率较低、易受噪声干扰等问题. 本文提出了分级特征反馈融合网络 (Hierarchical Feature Feedback Network, HFFN), 以实现深度图像的超分辨率重建. 该网络利用金字塔结构挖掘深度-纹理特征在不同尺度下的分层特征, 构建深度-纹理的分层特征表示. 为了有效利用不同尺度下的结构信息, 本文设计了一种分级特征的反馈式融合策略, 综合深度-纹理的边缘特征, 生成重建深度图像的边缘引导信息, 完成深度图像的重建过程. 与对比方法相比, 实验结果表明本文方法实现了深度图像的主、客观质量的提升. 引 言 近年来, 深度信息在计算机视觉领域的应用越来越广. 在远程医疗、无人驾驶以及安防监控等领域, 深度信息可以显著地提升产品的性能. 然而, 受采集设备的限制, 采集的深度图像分辨率比较低, 如Mesa Swiss Ranger 4000采集的深度图像的分辨率仅为176×144, 微软Kinect V2采集的深度图像的分辨率为512×424, 均难以满足实际需求. 因此, 如何由低分辨率深度图像重建高分辨率的深度图像已经成为当前多媒体领域的研究热点之一. 与深度图像相比, 同一场景下的高分辨率纹理图像更容易获取, 且二者之间存在着结构相似性. 因此, 许多学者利用同一场景下高分辨率纹理图像所包含的先验信息, 引导完成深度图像的超分辨率重建过程. 如: 在早期阶段, 一般采用低通滤波器, 实现方法简单, 却会过滤掉大部分的高频信息, 导致重建的深度图像出现边缘模糊现象. 基于优化表示的方法设计了相应的优化函数和正则项, 约束边缘信息, 充分考虑深度-纹理的边缘相似性, 但是手工设计的优化函数并不具有普适性, 求解最优化问题耗时巨大, 难以满足实际应用的需求. 近年来, 基于深度学习的方法在深度图像超分辨率重建领域的应用越来越广, 按照是否利用纹理图像的引导信息大致可分为两类: 单深度图像超分辨率算法和纹理图像引导的深度图像超分辨率算法. 与图像超分辨率算法类似, 单深度图像超分辨率算法通过构建卷积神经网络, 学习从低分辨率深度图像到高分辨率深度图像的非线性映射关系, 实现深度图像的超分辨率重建; 基于纹理图像引导的深度图像超分辨率算法通常采用上采样或者下采样的方式, 获取丰富的层次特征, 利用对应尺度下纹理图像提供的引导信息, 引导深度图像的重建过程, 如: Hui等构建了金字塔结构, 输入的低分辨率深度图像经逐级采样后得到多尺度的特征表示, 再融合对应尺度的纹理特征; Guo等采用U-Net结构对插值后的深度图像进行编码, 在解码过程中融合对应尺度的纹理特征. 这两种特征融合结构以串联方式从低尺度到高尺度地逐步重建高分辨率的深度图像, 均可以提取丰富的层次特征信息, 却未能有效利用多尺度特征间的关联性进行特征融合. 针对以上问题, 本文充分考虑了不同尺度间深度图像与纹理图像的结构相似性, 提出了一种基于分级特征反馈融合策略的深度图像超分辨率重建算法, 相应地设计了一种端到端的分级特征反馈融合网络(Hierarchical Feature Feedback Network, HFFN). HFFN网络采用了并行结构, 结合单深度图像重建网络和深度-纹理融合特征增强网络分别提取深度图像和纹理图像的深层特征, 获取深度图像与纹理图像隐含的结构信息; 改进金字塔结构, 构建不同尺度下深度-纹理的分层特征表示; 设计一种分级特征的反馈式融合策略, 实现并行金字塔不同层特征的反馈融合, 搭建起不同尺度间深度-纹理特征信息传递的桥梁, 充分挖掘不同尺度间深度-纹理的结构相似性; 结合深度-纹理边缘特征, 获取深度图像的边缘引导信息, 生成边缘引导图像; 采用残差学习的方式, 将边缘引导图像与单深度图像重建网络的重建结果相加, 进一步提升深度图像的重建质量. 实验结果表明, 与对比方法相比, 本文算法获得了高质量的深度图像重建结果. 图 1 分级特征反馈融合网络 图 4 "Art"的视觉质量对比结果 图 5 各算法重建"Books"的RMSE值走势图 作者简介 张帅勇 北京交通大学信息科学研究所硕士研究生. 主要研究方向为图像/视频超分辨率重建. E-mail: 19125150@bjtu.edu.cn 刘美琴 北京交通大学信息科学研究所副教授.主要研究方向为图像/视频编码、三维视频处理.本文通信作者. E-mail: mqliu@bjtu.edu.cn 姚 超 北京科技大学计算机与通信工程学院助理教授. 主要研究方向为图像和视频处理、计算机视觉. E-mail: yaochao@ustb.edu.cn 林春雨 北京交通大学信息科学研究所教授. 主要研究方向为图像视频编码、三维视觉处理. E-mail: cylin@bjtu.edu.cn 赵 耀 北京交通大学信息科学研究所教授. 主要研究方向为图像编码、数字水印、多媒体信息处理等. E-mail: yzhao@bjtu.edu.cn 相关文章 [1] 储珺, 束雯, 周子博, 缪君, 冷璐. 结合语义和多层特征融合的行人检测. 自动化学报, 2022, 48(1): 282-291. doi: 10.16383/j.aas.c200032 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200032 [2] 梁玉泽, 冀俊忠. 基于原型学习与深度特征融合的脑功能连接分类方法研究. 自动化学报, 2022, 48(2): 504-514. doi: 10.16383/j.aas.c190747 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190747 [3] 李佳星, 赵勇先, 王京华. 基于深度学习的单幅图像超分辨率重建算法综述. 自动化学报, 2021, 47(10): 2341-2363. doi: 10.16383/j.aas.c190859 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190859 [4] 李慧芳, 黄姜杭, 徐光浩, 夏元清. 基于多维度特征融合的云工作流任务执行时间预测方法. 自动化学报. http://www.aas.net.cn/cn/article/id/5c0f8248-128b-40e9-96f8-342ee9ab40da [5] 卢绍文, 温乙鑫. 基于图像与电流特征的电熔镁炉欠烧工况半监督分类方法. 自动化学报, 2021, 47(4): 891-902. doi: 10.16383/j.aas.c200754 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200754 [6] 周圆, 王明非, 杜晓婷, 陈艳芳. 基于层次特征复用的视频超分辨率重建. 自动化学报. doi: 10.16383/j.aas.c210095 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210095 [7] 孙超文, 陈晓. 基于多尺度特征融合反投影网络的图像超分辨率重建. 自动化学报, 2021, 47(7): 1689-1700. doi: 10.16383/j.aas.c200714 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200714 [8] 张芳, 赵东旭, 肖志涛, 耿磊, 吴骏, 刘彦北. 单幅图像超分辨率重建技术研究进展. 自动化学报. doi: 10.16383/j.aas.c20777 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c20777 [9] 李金新, 黄志勇, 李文斌, 周登文. 基于多层次特征融合的图像超分辨率重建. 自动化学报. doi: 10.16383/j.aas.c200585 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200585 [10] 顾广华, 曹宇尧, 崔冬, 赵耀. 基于形式概念分析和语义关联规则的目标图像标注. 自动化学报, 2020, 46(4): 767-781. doi: 10.16383/j.aas.c180523 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180523 [11] 杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报. doi: 10.16383/j.aas.c200217 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200217 [12] 盖杉, 鲍中运. 基于深度学习的高噪声图像去噪算法. 自动化学报, 2020, 46(12): 2672-2680. doi: 10.16383/j.aas.c180271 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180271 [13] 周登文, 赵丽娟, 段然, 柴晓亮. 基于递归残差网络的图像超分辨率重建. 自动化学报, 2019, 45(6): 1157-1165. doi: 10.16383/j.aas.c180334 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180334 [14] 胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建. 自动化学报, 2017, 43(5): 814-821. doi: 10.16383/j.aas.2017.c150634 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.c150634 [15] 邹凌, 严永, 杨彪, 李文杰, 潘昌杰, 周仁来. 基于同步EEG-fMRI采集的情绪认知重评数据特征融合分析研究. 自动化学报, 2016, 42(5): 771-781. doi: 10.16383/j.aas.2016.c150545 http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2016.c150545 [16] 侯书东, 孙权森. 稀疏保持典型相关分析及在特征融合中的应用. 自动化学报, 2012, 38(4): 659-665. doi: 10.3724/SP.J.1004.2012.00659 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.00659 [17] 李展, 张庆丰, 孟小华, 梁鹏, 刘玉葆. 多分辨率图像序列的超分辨率重建. 自动化学报, 2012, 38(11): 1804-1814. doi: 10.3724/SP.J.1004.2012.01804 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2012.01804 [18] 刘帅师, 田彦涛, 万川. 基于Gabor多方向特征融合与分块直方图的人脸表情识别方法. 自动化学报, 2011, 37(12): 1455-1463. doi: 10.3724/SP.J.1004.2011.01455 http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2011.01455 [19] 郎方年, 周激流, 钟钒, 宋恩彬, 闫斌. 基于四元数的图像信息并行融合. 自动化学报, 2007, 33(11): 1136-1143. doi: 10.1360/aas-007-1136 http://www.aas.net.cn/cn/article/doi/10.1360/aas-007-1136 [20] 李松涛, 张长水, 荣钢, 边肇祺, Dongming Zhao. 一种基于最小二乘估计的深度图像曲面拟合方法. 自动化学报, 2002, 28(2): 310-313. http://www.aas.net.cn/cn/article/id/15521 
https://blog.sciencenet.cn/blog-3291369-1332126.html
上一篇：【当期目录】IEEE/CAA JAS 第9卷 第3期
下一篇：深度强化学习的攻防与安全性分析综述
