网联智能车是无人驾驶的重要技术路线，而包含多车和多路端的通信（包括不同频段，即sub-6 GHz、毫米波等，和不同天线阵列，即SISO、MIMO、大规模MIMO等，的射频信道信息）与多模态感知（包括射频感知，即毫米波雷达等，和非射频感知，即RGB图、深度图、激光雷达等），覆盖典型网联交通场景以及具有丰富场景条件的数据集是网联智能车研究的基石。然而，现阶段面向网联智能车的数据集存在缺少多车和多路端的通信与多模态感知信息，具有交通场景简单和单一以及场景条件匮乏等不足，从而制约了网联智能车的快速及深度发展。

7月2日，2023中国智能车大会暨国家智能车发展论坛在广州南沙盛大开幕。会上重磅发布全球首个面向网联智能车的包含多车和多路端的通信与多模态感知数据集Mixed Multi-Modal Sensing and Communication (M3SC)。该数据集由中国工程院院士、中国自动化学会理事长、西安交通大学教授郑南宁指导，北京大学程翔教授牵头，联合西安交通大学、北京大学、香港科技大学（广州）和中信科移动通信技术股份有限公司共同发布。

北京大学程翔教授

据悉，M3SC数据集包含多模态感知实测数据集和通信与多模态感知仿真数据集。实测数据集包含了丰富的多模态感知信息并覆盖了典型的网联智能应用路段，包括厦门、杭州、北京、西安和常熟多个城市的校园园区、城市道路、复杂路口。仿真数据集包含了通信与多模态感知信息，涵盖了城镇、郊区、乡村等多种网联智能交通场景，并具有多时段、多天气、多视角、多车流量密度、多频段、多种天线阵列等丰富场景条件。目前，实测数据集包含63万帧RGB图，41.5万帧激光雷达点云和41.8万帧毫米波雷达点云，并有2.5万帧多类型标注信息。仿真数据集包含18万张RGB图，36万张深度图，18万组激光雷达点云，10万组毫米波雷达信号波形和16万组信道冲激响应。发布的M3SC数据集将为面向网联智能车的通信与多模态感知智能融合理论及方案设计提供重要支撑。