Meta Llama：开源大语言模型的基础设施

文章目录Meta Llama开源大语言模型的基础设施1、这项目是干嘛的2、模型规格3、怎么跑起来4、需要注意的事5、适合哪些人用Meta Llama开源大语言模型的基础设施llama 在 GitHub 上已经拿到 59,445 个 Star 了。这是 Meta 开源的大语言模型仓库提供了从 7B 到 70B 参数规模的预训练和微调模型权重以及运行推理的基础代码。1、这项目是干嘛的就做一件事让你能在本地跑起 Llama 系列模型。仓库里包含了模型加载和推理的最小化示例代码支持 chat 对话和文本补全两种模式。不同规模的模型对应不同的并行配置7B 模型单卡就能跑13B 需要 2 张卡并行70B 则需要 8 张。2、模型规格这次开源的模型覆盖 7B、13B、70B 三个参数级别每个级别都提供预训练版本和微调对话版本。所有模型支持最长 4096 tokens 的上下文长度。预训练模型适合文本生成和续写任务微调版本则针对对话场景做了优化需要使用特定的 prompt 格式包括 INST 和 SYS 标签以及 BOS、EOS 标记。3、怎么跑起来下载模型需要先上 Meta 官网申请许可通过后会收到一个带签名的下载链接24 小时内有效。拿到链接后运行仓库里的 download.sh 脚本即可。环境准备pipinstall-e.下载完模型权重用 torchrun 启动推理torchrun--nproc_per_node1example_chat_completion.py\--ckpt_dirllama-2-7b-chat/\--tokenizer_pathtokenizer.model\--max_seq_len512--max_batch_size6nproc_per_node 的值要跟模型对应的 MP 值匹配。max_seq_len 和 max_batch_size 按自己的显存调整。4、需要注意的事Meta 在 Llama 3.1 发布时已经把这个仓库标记为废弃后续开发请移步新的专用仓库包括模型权重、工具链、Agent 系统和社区示例都拆到了独立的项目里。5、适合哪些人用需要本地部署开源大模型做研究或产品的开发者想理解大规模语言模型推理流程的工程师在做模型微调或安全对齐实验的研究人员这个仓库的价值不在于代码有多复杂而在于它提供了一套经过验证的、可直接运行的开源模型基线。后续生态里的 Hugging Face 集成、量化部署、 fine-tuning 框架很多都从这里延伸出去。续生态里的 Hugging Face 集成、量化部署、 fine-tuning 框架很多都从这里延伸出去。