图像语义分割（2020入坑图像分割）

目前，自动驾驶主流算法模型主要以有监督的深度学习方式为主，是基于已知变量和因变量推导函数关系的算法模型，需要大量的结构化标注数据对模型进行训练与调优。

自动驾驶领域常见的标注类型通常包括2D框、3D立方体、多边形、图像语义分割、视频标注、3D激光点云标注等，其中图像语义分割是应用较为广泛的一种标注类型。

从概念上来看，图像语义分割属于人工智能计算机视觉领域的一个重要分支，它结合了图像分类、目标检测和图像分割等技术，主要针对图像进行像素级的分类。

语义分割的结果是将图像变成带有一定语义信息的色块。语义分割技术可以识别出每个色块的语义类别，并给每个像素都标注上其对应的标签，从而实现从底层到高层的语义推理过程，最终得到一张具有各个像素语义标注信息的分割图像。

这些经过标注后的语义分割图像，可以用于自动驾驶核心算法训练。自动驾驶汽车在行驶的过程中，车载摄像头，或者激光雷达探查到图像后输入到神经网络中，后台经过训练的算法模型就可以自动将图像分割归类，以实现避让行人与车辆等障碍。

目前，自动驾驶图像语义分割领域，常用的标注对象主要有以下种类(所有标注对象均经过标注处理，图片来源：曼孚科技SEED数据服务平台)：

01.道路可行驶区域

说明：道路可行驶区域通常指汽车可行驶区域。当存在路缘石时，道路可行驶区域为路缘石之间部分;当不存在路缘石时，以柏油或其他路面覆盖区域为准。

道路可行驶区域

02.栏杆/隔离栏/石墩

说明：位于道路两侧，主要包括栏杆、隔离栏、石墩等隔离物，但不含因道路施工设置的临时路障。

栏杆

03.杆状物(竖直部分)

说明：只需要标注杆状物的竖直部分，杆状物上的其他部分不予标注。通常包括：路牌杆、路灯杆、交通灯杆等。

杆状物

04.路边建筑

说明：道路两侧建筑物，包括高层建筑与底层建筑等各类人造建筑物体。

路边建筑

05.绿化植被

说明：位于道路两侧或者道路隔离地带的绿化植被。通常包括绿化带、草地、树木等。

绿化植被

06.轿车(小型车辆)

说明：行驶在道路中或者停在路边的用于载送人员及其随身物品，且座位布置在两轴之间的汽车。

轿车

07.货车(大型车辆)

说明：行驶在道路中或者停在路边用于运送货物的车辆，或者用于牵引其他车辆的汽车。

货车

08.其他机动车

说明：轿车、货车以外的其他机动车辆，包括公交车、无轨电车、摩托车、机动三轮车等，但不包含任何在轨道上运行的车辆。

其他机动车

09.行人

说明：主要为步行的人。位于汽车内部，比如轿车、公交车内的人以及骑摩托车、骑自行车的人无需标注。

行人

10.非机动车

说明：非机动车，包括自行车、畜力车等。驾驶非机动车的驾驶员与非机动车一起，算作一个标注对象。

非机动车

11.白色实线

说明：车道分界线的一种，用于分隔同向车道，不可变更车道。通常施划在交叉路口的交通灯前。

白色实线

12.单黄实线

说明：车道分界线的一种，单黄实线禁止双方向车辆越线或压线行驶。单黄实线一般施划于单方向只有一条车道或一条机动车道和一条非机动车道道路、有其他危险需要禁止超车的路段。

单黄实线

13.黄色虚线

说明：车道分界线的一种，由连续间隔黄色车道线构成，可以在适当的时候进行超车或者掉头转弯等动作。

黄色虚线

14.黄色虚实线

说明：黄色虚实线通常施划在桥梁前后及允许掉头的路段。黄色实线一侧禁止车辆越线或压线行驶，虚线一侧准许车辆暂时越线或转弯。

黄色虚实线

15.白色虚线

说明：车道分界线的一种，用于划分同向车道中的不同车道，可跨越超车。

白色虚线 白色虚线

16.黄色禁止停车线

说明：当单黄实线被施划在道路一侧边上时，其身份便转变为“禁止停车标线”，表示在该路段禁止任何车辆停放。

黄色禁止停车线

17.导流线

说明：通常出现在具有复杂行驶条件的路口、匝道、掉头车道等位置，其作用是引导车辆按规定路线行驶。

导流线

18.禁停网格线

说明：施划于易发生因临时停车造成堵塞的交叉路口、重要单位出入口及其他需要设置的路口等。

禁停网格线

19.人行道

说明：普通人行横道，分割时以每根白线的边界进行分割标注，不以人行横道的整体边界进行标注。

人行道 人行道

20.道路箭头

说明：道路上用于指示前进方向的箭头，通常包括直行、转弯、掉头箭头等。

道路箭头

21.减速带

说明：安装在公路上使经过的车辆减速的交通设施。

减速带

22.路灯

说明：位于道路两侧或者道路隔离地带的路灯，只需要标注路灯杆的路灯部分即可。

路灯

23.红绿灯

说明：红绿灯的交通灯部分。

红绿灯

24.天空

说明：天空部分。

天空

以上内容即为自动驾驶图像语义分割常见的标注类型。在具体的标注项目内，同时还需要注意以下几点：

1.以上标注样例仅供参考，自动驾驶标注场景下，具体标注方式需要依据标注需求来确定;

2.在全景图像语义分割模式下，一张图像内的所有标注对象均需要经过标注处理，不能存在空白未标注的区域。

具体可参考以下例子：

这是一张尚未经过标注处理的图像：

这是经过全景语义分割处理后的图像：

经过语义分割处理后的图像即可用于自动驾驶领域相关算法模型的训练，为自动驾驶早日实现落地应用增添新一份助力。