未来已来Inkling-mlx-4bit如何推动苹果芯片成为AI研究新基建【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bitInkling-mlx-4bit是一个基于MLX框架的4位量化模型它将Thinking Machines的Inkling模型总计9750亿参数/410亿激活MoE的文本主干部分直接从BF16检查点进行量化实现了在Apple Silicon上的原生运行。这一创新突破为AI研究领域带来了新的可能性让苹果芯片在AI研究中发挥更大作用。什么是Inkling-mlx-4bitInkling-mlx-4bit是一个专为Apple Silicon优化的AI模型它采用了先进的4位量化技术直接从BF16检查点进行转换避免了NVFP4-INT4的二次量化步骤因此在质量上可能略高于从NVFP4源转换的同类模型。该模型的核心特点包括高效量化采用MLX affine 4位量化方案组大小64专为Apple Silicon设计通过mlx-lm框架实现原生运行大规模参数基于拥有9750亿总参数的Inkling模型文本主干专注目前仅包含文本解码器部分视觉和音频编码器暂未包含Inkling-mlx-4bit的技术规格根据config.json文件Inkling-mlx-4bit具有以下关键技术规格隐藏层大小6144隐藏层数66词汇表大小201024注意力头数64键值头数8模型最大长度1048576专家数量256个路由专家2个共享专家每个token的专家数6这些规格表明Inkling-mlx-4bit是一个大规模的AI模型能够处理超长文本序列为复杂的自然语言处理任务提供强大支持。为什么选择Inkling-mlx-4bit对于AI研究人员和开发者来说Inkling-mlx-4bit提供了几个显著优势1. 苹果芯片优化Inkling-mlx-4bit专为Apple Silicon设计充分利用了苹果芯片的性能优势。这意味着研究人员可以在自己的Mac设备上运行大规模AI模型而不必依赖昂贵的专业AI硬件。2. 高质量量化与其他需要经过NVFP4-INT4二次量化的模型不同Inkling-mlx-4bit直接从BF16检查点进行量化这有助于保持更高的模型质量和性能。3. 创新架构Inkling-mlx-4bit采用了混合专家模型MoE架构拥有256个路由专家和2个共享专家。这种架构使模型能够在保持高性能的同时更有效地利用计算资源。如何开始使用Inkling-mlx-4bit要开始使用Inkling-mlx-4bit首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit虽然目前完整的加载器尚未正式发布但一旦可用基本使用方法如下from mlx_lm import load, generate model, tokenizer load(mlx-community/Inkling-mlx-4bit) print(generate(model, tokenizer, promptThe capital of France is, max_tokens64))注意自定义模型类位于转换仓库的models/inkling_mlx.py中。在mlx-lm正式注册该模型之前需要通过该模块的load()函数进行加载。注意事项和限制在使用Inkling-mlx-4bit时需要注意以下几点内存要求该模型在磁盘上约占用560GB空间加载时需要大致相当的统一内存。这超出了目前任何单台Mac的最大内存512GB因此实际上需要分布式/多设备MLX设置。从这个角度看Inkling-mlx-4bit更多是一个研究成果展示了在Apple Silicon上运行超大规模模型的可能性。尚未完全验证Inkling的自定义前向传播分解注意力短卷积sigmoid MoE是基于参考的重新实现其输出尚未与原始模型进行核对。因此在使用过程中可能会遇到一些未预料到的问题。功能范围目前版本仅包含文本解码器视觉图像/视频和音频编码器未包含在内。结语Inkling-mlx-4bit代表了AI模型在苹果芯片上部署的重要一步。尽管目前还存在一些限制但它展示了将超大规模AI模型带到个人设备的可能性为AI研究和应用开辟了新的方向。随着技术的不断进步和硬件的持续发展我们有理由相信苹果芯片将在未来的AI研究中扮演越来越重要的角色而Inkling-mlx-4bit正是这一趋势的先锋。对于希望在苹果设备上探索大规模AI模型的研究人员和开发者来说Inkling-mlx-4bit无疑提供了一个令人兴奋的起点。我们期待看到社区如何利用这一工具推动AI研究的边界创造出更多创新的应用和解决方案。了解更多关于Inkling模型设计的信息请参考博客https://huckiyang.github.io/blog/inkling-audio-design.html【免费下载链接】Inkling-mlx-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-mlx-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考