Cosmos3-Nano性能评测在推理、视觉-音频生成和动作预测方面的表现【免费下载链接】Cosmos3-Nano项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-NanoCosmos3-Nano是NVIDIA推出的全能模态世界模型具备强大的推理能力、视觉-音频生成能力和动作预测能力为物理AI应用开发提供了高效解决方案。该模型基于混合Transformer架构能够处理文本、图像、视频、音频和动作轨迹等多种输入生成高质量的多模态输出。模型概述Cosmos3-Nano的核心能力Cosmos3-Nano是一个16B参数的全能模态世界模型能够基于文本、图像、视频、音频和动作轨迹等多种输入生成连贯的文本、图像、视频、音频和动作输出。它采用混合TransformerMoT架构包含自回归Transformer和扩散Transformer两个互补的塔结构分别用于离散令牌生成和连续多模态生成。该模型专为物理AI应用设计涵盖机器人技术、自动驾驶和智能空间环境等领域包括工业和工厂规模的应用。它可以用于世界理解、世界生成、模拟和具身策略学习等广泛任务。整体性能表现Cosmos3-Nano在各项基准测试中表现出色展现了其在多模态理解和生成任务上的强大能力。推理能力评测Cosmos3-Nano的推理能力在多个基准测试中得到验证。它支持长上下文输入最多可达256K令牌能够处理复杂的视觉推理任务。推理输出不仅包括文本还可以包含结构化的思维链、2D/3D点定位以及基于视觉任务的边界框坐标。在机器人规划任务中Cosmos3-Nano能够根据图像输入和文本指令生成合理的行动计划。例如给定将花放入红色瓶子的任务模型能够生成清晰的步骤移动手臂到花的位置。抓住花。移动手臂到红色瓶子。将花放入红色瓶子。视觉-音频生成能力评测图像到视频生成Cosmos3-Nano能够基于单张输入图像和文本指令生成时间上连贯的视频序列。它支持多种分辨率包括256p、480p和720p以及多种宽高比如16:9、4:3、1:1等。生成的视频默认持续189帧约7.875秒帧率为24fps。使用vLLM-Omni或Diffusers库开发者可以轻松实现图像到视频的生成。例如通过简单的Python代码即可将一张静态图像转换为动态视频。文本到视频生成除了图像输入Cosmos3-Nano还支持纯文本输入生成视频。通过JSON格式的提示词模型能够理解详细的场景描述并生成相应的视频内容。文本提示词可以包含场景、对象、动作、环境等多种元素使生成的视频更加丰富和精确。音频生成Cosmos3-Nano还具备音频生成能力。在生成视频时可以同时生成与视频内容匹配的音频采样率为48kHz立体声编码为AAC格式并与视频文件合并。这为创建完整的视听体验提供了便利。动作预测能力评测Cosmos3-Nano在动作预测方面表现出色支持正向动力学和逆向动力学两种模式。正向动力学在正向动力学模式下模型能够基于初始图像和动作轨迹生成后续的视频序列。这对于机器人控制和模拟非常有用。例如给定一个初始帧和一系列动作指令模型可以预测并生成机器人执行这些动作的视频。逆向动力学逆向动力学则相反模型能够基于输入视频预测出相应的动作轨迹。这对于从观察中学习动作模式非常有价值。例如通过分析自动驾驶汽车的视频模型可以预测出汽车的转向、加速和刹车等动作参数。Cosmos3-Nano支持多种机器人和自动驾驶平台的动作预测包括Agibot、Franka Panda机械臂、UR机器人等以及自动驾驶汽车的控制参数预测。部署与性能优化Cosmos3-Nano可以通过vLLM-Omni、vLLM或Hugging Face Diffusers等框架进行部署。为了获得最佳性能建议在NVIDIA GPU加速系统上运行如Ampere、Blackwell或Hopper架构的GPU。使用vLLM-Omni部署时可以通过设置--ulysses-degree启用上下文并行或使用--tensor-parallel-size切换到张量并行以利用多GPU加速推理。对于内存有限的GPU设置--enable-layerwise-offload可以帮助减少内存使用。总结Cosmos3-Nano作为一款全能模态世界模型在推理、视觉-音频生成和动作预测方面展现了卓越的性能。其混合Transformer架构使其能够高效处理多种模态的输入和输出为物理AI应用开发提供了强大的工具。无论是机器人控制、自动驾驶还是智能空间环境Cosmos3-Nano都能提供高质量的多模态生成和推理能力推动物理AI领域的创新和发展。要开始使用Cosmos3-Nano只需克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano然后按照README中的说明进行部署和运行。【免费下载链接】Cosmos3-Nano项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos3-Nano创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考