从零构建基建裂缝检测数据集一位算法工程师的45天实战手记去年夏天我接手了一个高速公路裂缝检测项目。甲方要求两个月内完成从数据采集到模型上线的全流程而团队连一张标注好的图片都没有。这段经历让我深刻体会到在工业场景中数据工程往往比模型调参更能决定项目成败。本文将分享我们如何用45天完成从原始图像采集到YOLOv7模型部署的全过程特别是那些在技术文档中很少提及的脏活累活。1. 为什么放弃分割模型一个关键的技术转向项目启动会上甲方展示了一段隧道巡检视频——昏暗光线下的混凝土表面布满了蛛网般的裂缝。团队最初方案是采用DeepLabV3分割模型但在POC阶段就发现了三个致命问题计算资源瓶颈分割模型在边缘设备上的推理速度无法满足实时检测需求标注成本爆炸像素级标注的效率只有检测框标注的1/5业务适配困难养护部门更需要裂缝的位置和尺寸而非精确轮廓经过两周的技术验证我们做出了关键转向# 两种技术路线对比测试环境RTX 3090 模型类型 推理速度(FPS) 显存占用(G) 标注工时(张/人天) 分割模型(DeeplabV3) 8.2 10.8 80-100 检测模型(YOLOv7) 32.6 4.2 400-500这个决策带来了连锁反应我们需要重新设计标注规范。裂缝的特殊性在于宽度变化大从毫米级到厘米级形态不规则直线型、网状、放射状对比度低与背景灰度差常15%2. 数据采集的土办法与黑科技没有高质量数据再先进的模型也是空中楼阁。我们采用了三级数据采集策略2.1 基础数据获取实地拍摄使用工业相机在6条隧道采集原始图像注意普通手机拍摄的广角畸变会导致后续标注困难网络爬取构建了关键词组合爬虫如concrete crack detail shothigh resolution合作共享与3家检测机构交换了部分非敏感数据关键教训务必在采集阶段记录元数据光照条件、拍摄角度、表面湿度等这对后续数据增强至关重要2.2 智能预处理流水线原始图像存在三大问题明暗不均隧道内光照条件复杂透视畸变斜拍导致的几何变形无效区域护栏、标线等干扰项我们开发了自动化预处理脚本# 预处理流水线示例使用OpenCVImageMagick for img in $(ls ./raw_images/*.jpg); do convert $img -normalize -gamma 0.8 temp.jpg python perspective_correction.py temp.jpg python roi_extraction.py temp.jpg output/ done3. 标注实战如何让框选精度提升3倍标注质量直接决定模型上限。经过多次迭代我们总结出三阶标注法3.1 基础标注规范最小单元长度5cm或宽度2mm的裂缝必须标注框选原则采用细粒度覆盖而非最小外接矩形属性记录裂缝类型横向/纵向/网状、严重程度1-5级3.2 标注效率提升技巧使用CVAT的AI辅助标注功能先用1000张训练临时模型开发快捷键系统空格键确认自动跳转下一张采用双屏工作左图右标减少视觉切换疲劳标注团队从最初的5人减少到2人后效率反而提升了40%。这印证了一个反直觉的发现标注质量与团队规模成反比。4. 数据增强不只是旋转和缩放常规增强手段对裂缝检测效果有限。我们创新性地引入了三类增强策略4.1 物理仿真增强材质贴图将裂缝叠加到不同老化程度的混凝土纹理上光照模拟用Blender渲染不同角度的点光源效果水渍合成模拟潮湿环境下的反光干扰4.2 对抗样本生成通过GAN网络生成具有挑战性的负样本# 使用CycleGAN生成对抗样本 model CycleGAN(input_channels3) fake_images model.generate( real_images, stylewet_concrete # 模拟水渍干扰 )4.3 多尺度融合构建金字塔式训练集尺度等级分辨率适用场景L11024x1024近距离精细检测L2512x512常规巡检L3256x256快速全局扫描5. 模型选型与部署的隐藏成本在YOLO系列模型对比测试中我们发现两个意外现象YOLOv5s在测试集上mAP最高但实际部署后漏检率比YOLOv7-tiny高15%模型量化到INT8后某些类别的AP值不降反升可能与裂缝的灰度特征有关最终部署方案采用了混合推理策略第一级YOLOv7-tiny快速扫描95%置信度的直接输出第二级可疑区域送入YOLOv5s二次检测这套系统在Jetson AGX Orin上达到了27FPS的实时性能比原定KPI提升了35%。但最大的收获不是技术指标而是那些教科书上不会写的实战经验标注团队需要每周做视力检查连续标注会导致视觉疲劳暴雨天气后采集的数据质量提升明显潮湿表面使裂缝更显眼模型在上午的误报率比下午低2-3%可能与光照色温变化有关项目上线半年后回访养护部门反馈检测准确率稳定在92%以上。最让他们满意的不是技术先进性而是我们提供的裂缝生长趋势分析增值功能——这个需求在最初的需求文档中只字未提。这或许就是工业AI项目的真谛用技术解决用户没说出口的痛点。