Nvidia ставит на физический ИИ: роботы, дроны и цифровые двойники получат новые ИИ-инструменты

Nvidia, гигант в мире чипов и ИИ, продолжает экспансию, на этот раз делая ставку на "физический ИИ" (Physical AI). По данным СМИ, компания анонсировала комплекс новых открытых инструментов и готовых "навыков" для ИИ-агентов. Эти решения призваны упростить и удешевить разработку роботов, беспилотного транспорта, промышленных цифровых двойников и систем компьютерного зрения.

Основная идея Nvidia заключается в том, чтобы автоматизировать ключевые этапы создания физических ИИ-систем: от генерации данных и моделирования до обучения, оценки и развертывания моделей. Все это доступно в рамках Nvidia Agent Toolkit. Как заявил Дженсен Хуанг, после революции в программном обеспечении, ИИ-агенты начинают менять и физический мир.

Ключевым элементом новой экосистемы стала модель Cosmos 3, которую Nvidia называет "фундаментальной моделью для физического ИИ". Она способна анализировать видео и текст, понимать происходящие события, прогнозировать развитие ситуации и генерировать действия для автономных систем.

Кроме того, компания представила набор готовых "навыков" (skills). Эти навыки превращают сложные процессы разработки в понятные для ИИ-агентов инструкции, указывая, какие инструменты использовать, какие результаты ожидать и как их проверять. Для безопасного запуска таких систем предлагается связка NemoClaw и OpenShell, обеспечивающая контроль политик безопасности и конфиденциальности как в облаке, так и локально.

Nvidia активно адаптирует свои библиотеки, модели и фреймворки, чтобы ИИ-агенты могли использовать их напрямую, минимизируя участие человека. Особое внимание уделяется генерации синтетических данных, что критически важно для обучения роботов и беспилотников. Среди новых инструментов — системы реконструкции сцен, видео-аугментации и генерации изображений производственных дефектов.

Промышленные компании уже ощутили эффект. Pegatron, например, сократила время обучения и внедрения моделей визуального контроля качества на 67% благодаря синтетическим данным. Delta Electronics улучшила обнаружение дефектов пайки на 17%, а Inventec снизила затраты на сбор данных для контроля качества корпусов ноутбуков примерно на 30%. Среди пользователей новой платформы значатся 1X Technologies, Agility Robotics, Agile Robots, Field AI, NEURA Robotics, Universal Robots и Skild AI.

Nvidia также усиливает свое присутствие в медицинской робототехнике. Foxconn и Compal используют платформу Isaac for Healthcare для разработки больничных роботов. Foxconn масштабирует систему Nurabot для ухода за пациентами и представила робота Scrub Nurse Collaborative Robot, призванного помогать медицинскому персоналу в операционных.Значительная часть анонсов была посвящена автономному транспорту. Компании Li Auto, DeepRoute.ai и Afari используют технологии Nvidia Omniverse для реконструкции дорожных сцен и моделирования поведения автомобилей. По данным Nvidia, их системы ежедневно создают более тысячи цифровых реконструкций и свыше 300 тысяч симуляций. Foxconn, VinFast, Uber и HUMAIN присоединились к экосистеме NVIDIA DRIVE Hyperion для разработки роботакси уровня SAE Level 4.Самым заметным аппаратным анонсом стала Nvidia Isaac GR00T Reference Humanoid Robot — эталонная платформа человекоподобного робота. Она построена на вычислительном модуле Jetson Thor и программной платформе Isaac GR00T. Nvidia считает, что высокая стоимость создания собственных аппаратных платформ — одна из главных проблем отрасли. Новый референсный робот призван предоставить исследователям и компаниям готовую основу для разработки гуманоидов без необходимости заново проектировать всю инфраструктуру. Платформа включает системы восприятия окружающей среды, манипуляции объектами, управления движением и встроенные вычисления на базе ИИ. Архитектура модульная, позволяя разработчикам использовать как весь комплекс, так и отдельные компоненты. Исследовательские группы из Ai2, ETH Zurich, Stanford Robotics Center и лаборатории Advanced Robotics and Controls Laboratory Калифорнийского университета в Сан-Диего уже планируют использовать новую платформу.

По сути, Nvidia делает ставку не только на модели искусственного интеллекта, но и на инфраструктуру для их применения в реальном мире. Компания стремится занять ту же роль в робототехнике и автономных системах, которую ранее заняла на рынке генеративного ИИ — поставщика базовой платформы, вокруг которой строится вся экосистема. Если эта стратегия окажется успешной, то новые инструменты смогут ускорить разработку промышленных роботов, беспилотного транспорта и гуманоидных систем, одновременно укрепляя позиции Nvidia в одном из самых перспективных сегментов рынка искусственного интеллекта.