2025_NIPS_EvoPrompting: Language Models for Code-Level Neural Architecture Search

文章主要内容总结本文提出EVOPROMPTING方法，将预训练语言模型（LM）与进化算法结合，用于代码级神经架构搜索（NAS）。该方法以进化搜索优化上下文提示，结合软提示调优，让LM作为自适应变异和交叉算子，生成多样化、高性能的神经网络架构。在MNIST-1D数据集上，其设计的卷积架构在精度和模型大小上优于人类专家设计和朴素少样本提示；在CLRS算法推理基准上，新发现的图神经网络（GNN）在30个任务中的21个超越当前最优模型，且保持模型大小相当。核心创新点提出EVOPROMPTING框架：融合进化搜索与提示调优，迭代优化LM的上下文示例，无需手动设计离散搜索空间，适配依赖上下文学习或提示调优的各类LM任务。首次将LM应用于代码级NAS：证明朴素少样本提示无法完成有效架构设计，而EVOPROMPTING能让LM生成超越人类专家的架构。发现新型高性能GNN架构：在CLRS基准上，新架构（如QUADNODEMINMAX、CONCATREP等）在多数任务中提升精度，部分同时减小模型大小。翻译部分（Markdown格式）Abstract鉴于语言模型（LM）在代码生成领域近期取得的令人瞩目的成就，我们探索将LM用作进化神经架构搜索（NAS）算法中的通用自适应变异和交叉算子。尽管仅通过提示仍难以让LM完成NAS这一复杂任务，但我们发现，将进化提示工程与软提示调优相结合的方法（我们称之为EV