{"title":"基于自注意力机制的多视图三维重建方法","authors":"朱光照 Zhu Guangzhao, 韦博 Wei Bo, 杨阿峰 Yang Afeng, 徐欣 Xu Xin","doi":"10.3788/lop222692","DOIUrl":null,"url":null,"abstract":"多视图立体匹配是计算机视觉领域的一大研究热点，针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题，提出一种基于自注意力机制的深度学习网络（SA-PatchmatchNet）。首先通过特征提取模块提取图像特征，再将其送入可学习的Patchmatch模块中，得到深度图，并对深度图进行优化，生成最终的深度图。为了捕捉深度推理任务中的重要信息，将自注意力机制融入到特征提取模块，提高了网络的特征提取能力。实验结果表明，SA-PatchmatchNet在Technical University of Denmark（DTU）数据集上进行测试，与PatchmatchNet相比，重建的完整性提升5.8%，整体性提升2.3%，与其他的state-of-the-art（SOTA）方法相比，完整性和整体性都得到了较大的提升。","PeriodicalId":51502,"journal":{"name":"激光与光电子学进展","volume":"41 1","pages":"0"},"PeriodicalIF":1.0000,"publicationDate":"2023-01-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"激光与光电子学进展","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.3788/lop222692","RegionNum":4,"RegionCategory":"物理与天体物理","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q4","JCRName":"ENGINEERING, ELECTRICAL & ELECTRONIC","Score":null,"Total":0}
引用次数: 0
Abstract
多视图立体匹配是计算机视觉领域的一大研究热点，针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题，提出一种基于自注意力机制的深度学习网络（SA-PatchmatchNet）。首先通过特征提取模块提取图像特征，再将其送入可学习的Patchmatch模块中，得到深度图，并对深度图进行优化，生成最终的深度图。为了捕捉深度推理任务中的重要信息，将自注意力机制融入到特征提取模块，提高了网络的特征提取能力。实验结果表明，SA-PatchmatchNet在Technical University of Denmark（DTU）数据集上进行测试，与PatchmatchNet相比，重建的完整性提升5.8%，整体性提升2.3%，与其他的state-of-the-art（SOTA）方法相比，完整性和整体性都得到了较大的提升。
多视图立体匹配是计算机视觉领域的一大研究热点，针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题，提出一种基于自注意力机制的深度学习网络（SA-PatchmatchNet）。首先通过特征提取模块提取图像特征，再将其送入可学习的Patchmatch模块中，得到深度图，并对深度图进行优化，生成最终的深度图。为了捕捉深度推理任务中的重要信息，将自注意力机制融入到特征提取模块，提高了网络的特征提取能力。实验结果表明，SA-PatchmatchNet在Technical University of Denmark（DTU）数据集上进行测试，与PatchmatchNet相比，重建的完整性提升5.8%，整体性提升2.3%，与其他的state-of-the-art（SOTA）方法相比，完整性和整体性都得到了较大的提升。
期刊介绍：
Laser & Optoelectronics Progress, the first laser and optoelectronics journal published in China. The main columns include general, lasers and laser optics, fiber optics and optical communications, optical design and fabrication, materials, image processing, imaging systems, optical devices, remote sensing and sensors, atmospheric optics and oceanic optics, diffraction and gratings, atomic and molecular physics, detectors, thin films, ultrafast optics, etc. The journal is included in ESCI, INSPEC, Scopus, CSCD, Chinese Core Journals, Chinese Science and Technology Core Journals, and T2 level of the Classified Catalogue of High Quality Science and Technology Journals in Optical Engineering and Optical Fields, and other databases.
京公网安备 11010802042870号
京ICP备2023020795号-1
分享
求助内容：
应助结果提醒方式：
扫码关注我们
