Cityscapes：自动驾驶研究绕不开的街景数据集

文章目录Cityscapes自动驾驶研究绕不开的街景数据集数据集有什么配套工具链数据组织方式怎么用适合谁Cityscapes自动驾驶研究绕不开的街景数据集做计算机视觉的特别是搞语义分割和自动驾驶感知的基本都知道 Cityscapes。这个数据集 2016 年发布到现在引用量已经非常高是城市街景理解领域的基准之一。数据集有什么Cityscapes 收录了 50 个欧洲城市的街道立体视频从中抽取帧进行标注。数据分几个层级精细标注5000 张图片每张都有像素级的多边形标注涵盖人、车、建筑、道路等 30 个类别。这是最核心的部分训练和验证都靠它。粗略标注另外有约 2 万张图片做了粗标注适合做弱监督训练或者数据增强。3D 标注车辆的 3D 边界框标注做 3D 目标检测的研究者会用到。行人标注基于 CityPersons 标准的行人边界框做行人检测的可以直接拿来用。除了标注数据还提供了左右眼立体图像、视差深度图、相机标定参数、GPS 轨迹等配套数据。数据类型比较全基本覆盖了自动驾驶感知的主要需求。配套工具链光有数据不够Cityscapes 还提供了一套 Python 工具包cityscapesscripts用 pip 直接装pip install cityscapesscripts工具包包含这些功能数据查看csViewer可以可视化图片和标注叠加效果调试的时候很有用。格式转换把多边形标注转成训练用的标签图支持语义分割和实例分割两种格式还能转成 COCO 全景分割格式。评估脚本官方提供了像素级语义分割、实例级语义分割、全景分割、3D 目标检测四种评估脚本。提交到官网服务器评测也是用这套标准。数据下载csDownload命令行工具可以直接下载数据集包。数据组织方式数据按{类型}/{划分}/{城市}的目录结构组织。划分上分 train2975 张、val500 张、test1525 张、train_extra19998 张粗标注。test 集的标注不公开需要提交到官网评测。环境变量CITYSCAPES_DATASET指向数据根目录工具脚本会自动读取这个路径不用每次手动指定。怎么用典型的使用流程是下载数据集用工具包把标注转成模型需要的格式比如把多边形转成 train ID 的 PNG 图然后训练模型最后用官方评估脚本在验证集上跑指标。正式提交就上传到官网。数据集本身按自己的许可协议发布工具包是 MIT 协议可以自由使用和修改。适合谁做语义分割研究的这个数据集基本是必跑的 baseline。做自动驾驶感知的Cityscapes 的场景和标注质量都很接近实际需求。做迁移学习的可以先在 Cityscapes 上预训练再在目标数据集上微调。Star 数 2300 多看着不多但在学术圈这个引用量和使用率是很高的。很多顶会论文的实验部分都会在 Cityscapes 上报告结果。如果你的研究涉及城市街景理解这个数据集值得花时间熟悉一下。工具包的文档写得比较清楚上手不难。上报告结果。如果你的研究涉及城市街景理解这个数据集值得花时间熟悉一下。工具包的文档写得比较清楚上手不难。