教学科研

首页 > 教学科研 > 正文

信息工程学院高伟课题组在三维视觉领域取得重要进展

2023-05-15信息工程学院

责编:王琳

信息工程学院高伟老师课题组围绕三维视觉领域中点云和光场技术展开研究,两项研究成果分别被国际计算机视觉领域顶级会议ECCV和国际人工智能领域顶级期刊TPAMI接受。课题组搭建了国际上首个点云显著性目标检测数据集PCSOD、目前全球最大的光场数据集PKU-LF,并给出了有效的面向三维视觉的显著性分割深度学习模型,可以有效促进相关领域的进一步研究和发展。高伟老师课题组主页:https://gaowei262.github.io/

ECCV:全称为European Conference on Computer Vision(欧洲计算机视觉国际会议),每两年举办一次,是计算机视觉三大会议之一。2022年ECCV论文总投稿数爆增到8000多篇,共有1629篇论文中选,录用率不到20%。TPAMI:全称为IEEE Transactions on Pattern Analysis and Machine Intelligence,是IEEE计算机协会主办的顶级期刊之一,主要收录计算机视觉、图像理解、模式分析和识别、机器学习等领域的优秀研究成果。根据最新的JCR期刊影响因子排名,TPAMI以24.314的高影响因子,位列计算机领域所有IEEE旗下期刊的首位,同时也是全球AI领域的顶级期刊。

论文1:“Salient Object Detection for Point Clouds”聚焦于点云显著性目标检测这个尚未被探究的问题。与面向图像的显著性目标检测不同,我们发现点云场景下的注意力转移可能会引发显著性冲突。所谓显著性冲突就是指一个物体自相矛盾地同时属于显著的类别和非显著的类别。为了避免这个问题,我们提出了一种新颖的基于视角的显著性物体的定义,它能够合理地反映点云场景中最吸引人注目的物体。根据所提出的定义,我们制作了第一个包含2872个室内外3D视点的面向点云显著性目标检测任务的数据集,并且命名为PCSOD。我们数据集中的样本带有层次化的标签,例如:超类/子类、边界框和分割图。这些标签使得我们的数据集具有很好的验证各种猜想的泛化性和实用性。为了证明我们的方案的可行性,我们进一步贡献了一个基线模型,并对五个有代表性模型进行基准测试以进行全面比较。所提出的模型可以有效地分析不规则且无序的点云以检测显著性目标。得益于针对特定任务的特殊设计,我们的方法取得了明显好于其他基线模型的结果。大量的实验和讨论揭示了这一研究方向具有巨大潜力,为进一步的研究铺平了道路。项目开源地址:https://openi.pcl.ac.cn/OpenPointCloud/PCSOD

论文2:“A Thorough Benchmark and A New Model for Light Field Saliency Detection”重点讨论了基于光场的图像分割的数据集和相关技术。与现有的RGB或者RGB-D显著性检测数据集相比,用于光场显著性检测的数据集往往存在数据量多样性不足、数据格式不完整、标签粗糙等诸多缺陷,从而阻碍了该领域的发展。为了解决这些问题,我们精心构建了一个名为PKU-LF的大规模光场数据集,它包含了5000个光场样本,涵盖了各种室内外场景。我们的PKU-LF提供了包罗万象的光场数据格式,并提供了一个统一的平台来比较使用了不同光场格式的算法。为了激发显著性目标检测任务的新活力,我们提拱了许多未被探究的场景(例如水下和高分辨率场景)和最丰富的标注(例如涂鸦标注、边界框、对象/实例级标注和边缘标注),基于这些数据可以研究许多潜在的注意力建模任务。为了促进显著性检测任务的发展,我们在四个现有数据集以及所提出的数据集上系统地评估和分析了16种具有代表性的2D、3D和4D方法,提供了一个全面的基准。此外,针对光场的独特结构特征,我们提出了一种新颖的对称双流架构网络以更准确地预测光场的显著性。具体来说,我们的模型包含了焦点交织模块和三个部分解码器模块。前者旨在有效地建立跨焦点切片的长距离依赖,而后者旨在以相互增强的方式有效地聚合提取的特征。大量实验表明我们的方法明显优于已有的方法。项目开源地址:https://openi.pcl.ac.cn/OpenDatasets

上述两篇论文通讯作者为高伟助理教授,信息工程学院为第一作者单位,参与课题研究的学生为课题组博士生范松林同学,合作者还包括信息工程学院李革教授、新加坡南洋理工大学Weisi Lin教授。

以上两项研究成果得到了科技部国家重点研发计划、国家自然科学基金面上项目、广东省自然科学基金面上项目、深圳市基础研究专项稳定支持重点项目和面上项目等支持,在算力方面得到了深圳鹏城实验室的“鹏城云脑”支持。

原文链接:https://www.ece.pku.edu.cn/info/1007/2597.htm

关闭