基于空间结构化推理深度融合网络的RGB-D场景解析

zxshunine

摘要:为了弥补RGB-D场景解析中卷积神经网络空间结构化学习能力的不足,本文基于深度学习提出空间结构化推理深度融合网络,内嵌的结构化推理层有机地结合条件随机场和空间结构化推理模型,该层能够较为全面而准确地学习物体所处三维空间的物体分布以及物体间的三维空间位置关系.在此基础上,网络的特征融合层巧妙地利用深度置信网络和改进的条件随机场,该层可以根据融合生成的物体综合语义信息和物体间语义相关性信息完成深度结构化学习.实验结果表明,在标准RGB-D数据集NYUDv2和SUNRCBD上,空间结构化推理深度融合网络分别实现最优的平均准确率53.8%和54.6% ,从而有助于实现机器人任务规划、车辆自动驾驶等智能计算机视觉任务.
' ?2 E' B' t) t- g/ X' U- G
4 @: m4 P% ^1 B% H5 Z& ~关键词:RGB-D场景解析;深度学习;卷积神经网络;条件随机场;空间结构化推理模型;深度置信网络;计算机视觉;机器人任务规划;车辆自动驾驶

      特征学习层由两路并行的FCNNs 组成,分别用来学习RGB图像的多维视觉特征(Hierarchical VisualFeatures , HVF)和 HHA图像的多维几何特征(Hier-archical Geometric Features , HGF).
* X, F4 u- r2 Y( b

游客，如果您要查看本帖隐藏内容请回复

7 ?. N1 L6 V% G  [- F
5 \1 }1 g( K% b1 X* Y+ k
8 e2 l* v, x( E

1 i- ~4 h1 h. ~7 w! C2 K
$ e5 l1 C$ \* n  M

nevadaooo

特征学习层由两路并行的FCNNs 组成