ImagnA Consulting
新闻资讯/What's NEW
NVIDIA Cosmos与Omniverse：集成的世界建模和合成数据生成
核心在于利用两个平台的优势，高效地生成大规模、多样化且可控的合成数据，用于训练物理 AI 模型。其工作流程大致如下：
场景构建与模拟 (Omniverse)：开发者首先在 Omniverse 中构建或导入 3D 场景。这可以是一个特定的驾驶环境、一个包含机器人的仓库布局，或其他任何需要进行物理 AI 训练的场景 。充分利用 Omniverse 在世界构建、基于 OpenUSD 的数据聚合、物理模拟和传感器模拟方面的能力 。结构化数据输出 (Omniverse)： Omniverse 对构建的场景进行模拟，并输出代表该场景的结构化数据。这些数据可以是渲染的图像或视频，也可以是更深层次的信息，如分割图、深度图、LiDAR 点云数据、物体轨迹等。
数据输入与条件化 (Cosmos)：从 Omniverse 输出的结构化数据，有时结合文本提示（Text Prompts），被输入到 Cosmos 的 WFM 中，特别是 Cosmos Transfer 模型 。
合成数据生成与倍增 (Cosmos)：Cosmos Transfer 模型利用接收到的结构化输入作为“控制信号”，生成大量符合这些控制条件、但又具有多样性的照片般逼真的视频序列。例如，模型可以在保持 Omniverse 场景基本结构（如道路布局、物体位置）的同时，生成具有不同外观、天气条件、光照变化等的视频变体 。通过这种方式，一个在 Omniverse 中定义的场景可以被“倍增”成包含成千上万种变化的庞大数据集。
|
|