视觉与激光雷达融合感知系统
作者： 叶鲁斌 计算机系
郑志龙 车辆学院
唐李源 计算机系
孙雪琳 建筑学院
霍江浩 计算机系
许璀杰 电子系
指导老师：张新钰 车辆学院
关键词：自动驾驶 融合感知 互信息 通道注意力 跨层交叉融合
摘要
近年来，自动驾驶领域的学者趋向于融合多源传感器信息来开发道路目标检测、分割等感知算法。融合感知算法在复杂道路环境中具有更强的鲁棒性，能避免因单源传感器失效而导致自动驾驶系统崩溃，是自动驾驶走向现实的关键。而在多模态融合感知算法的实现中，融合权重的选择是至关重要的，它在很大程度上影响着融合的效果。但现有算法的融合权重需要手工设计，难以灵活调整。
本项目以此为出发点，分别从数据层面、特征层面、网络架构层面这三个层次，实现了融合权重的自适应计算。
互信息——数据层面的权重计算
图1 互信息
数据层面上利用了互信息进行权重计算。所谓互信息，是指当已知一个随机变量的值时，能为另一个随机变量带来多少信息量。具体到本项目中，就是各传感器的数据能为预期特征提供多少信息量。我们依据各数据源与预期特征之间的互信息来为它们分配权重，从而引导模型依赖更相关的、质量更好的数据源。
通道注意力——特征层面的权重计算
图2 通道注意力
特征层面上采用了通道注意力模型来进行权重计算，即调整各个不同特征的权重。卷积网络会从原始数据中提取到多个特征图，每个特征图都构成一个通道，利用通道注意力模块，可以使网络更关注重要形更高的那一部分通道——也就是使其具有更高的权重。有别于传统的通道注意力模块（ECA）中图像与点云的特征图的简单级联，我们提出了CF-ECA模块，在级联时将两种模态的通道间隔排列，使得图像与点云的特征在一维卷积时能更充分地交互、融合。
跨层交叉融合——网络架构层面的权重计算
图3 跨层交叉融合
网络架构层面上则采用了跨层交叉融合进行权重计算。相较于前中后融合，跨层交叉融合不需要手动设置融合层级，也不会将融合阶段限制在单个层次，而是充分利用了信息流，让网络自主决定融合的层级，从而在网络架构层面上实现了自适应的权重调整。
