098.硬件感知的神经架构搜索（NAS）简介：从一次深夜调优说起

凌晨两点，盯着 Jetson Nano 上跑不动的 YOLOv5s，风扇狂转，帧率却卡在 8 FPS 不动。客户要求边缘端实时检测，现有模型哪怕剪枝量化后依然吃力。那一刻突然意识到：我们总在训好的模型上做减法，为什么不在设计时就让它“生来适合硬件”？这就是硬件感知神经架构搜索（Hardware-aware NAS）要解决的问题。一、NAS 的进化：从“刷榜”到“落地”早期的 NAS 纯粹为精度而生。搜个模型，动辄几千 GPU 天，出来个奇形怪状的网络，在 Titan V 上跑出 SOTA，放到树莓派上直接趴窝。问题出在搜索目标上——只优化准确率，完全忽略延迟、功耗、内存占用。硬件感知 NAS 把硬件指标直接作为搜索约束。比如我们要在 ARM Cortex-A53 上部署，搜索时不仅看 mAP，还要实时估算每一层在目标芯片上的推理时间，让搜索过程“看见硬件”。二、核心机制：把硬件指标写进损失函数传统 NAS 的损失函数大概长这样：loss=CrossEntropy(predictions,labels)# 只关心精度