Google DeepMind представляет SIMA 2: ИИ-агент, способный играть, рассуждать и учиться в трёхмерных виртуальных мирах

Подразделение искусственного интеллекта технологической компании Google, Google DeepMind представила SIMA 2, последнюю версию своего масштабируемого инструктируемого многомирового агента, ознаменовав тем самым переход к более функциональным и универсальным агентам ИИ. 

Система, созданная на основе расширенных возможностей рассуждений моделей Gemini, выходит за рамки простого следования инструкциям в виртуальных средах и теперь функционирует как интерактивный компаньон, который может интерпретировать цели, общаться с пользователями и совершенствовать свою работу с течением времени. 

Первая модель SIMA обучилась сотням языковых действий в коммерческих видеоиграх, наблюдая за вводом с экрана и работая с виртуальными элементами управления, а не с интегрированной игровой механикой. 

SIMA 2 развивает этот подход, используя Gemini в качестве ядра, что позволяет агенту осуществлять целенаправленные рассуждения, объяснять свои предполагаемые действия и выполнять более сложные задачи в играх. Обученный на сочетании человеческих демонстраций и аннотаций, сгенерированных Gemini, агент был протестирован в более широком наборе игр благодаря сотрудничеству с несколькими разработчиками. Это обновление представляет собой значительный шаг в развитии воплощённого ИИ, объединяющего восприятие, рассуждения и действия в динамических трёхмерных средах.

Интеграция Gemini усилила способность SIMA 2 к обобщению и надежной работе в незнакомых условиях. Теперь агент может интерпретировать более подробные и тонкие инструкции и успешно выполнять их даже в играх, с которыми он ранее не сталкивался, например, в игре ASKA, посвященной викингам, или MineDojo, исследовательской версии Minecraft. 

Его способность применять изученные концепции в различных средах — например, распространять идею «добычи полезных ископаемых» из одной игры на «сбор урожая» в другой — является ключевым компонентом широкого обобщения и приближает его эффективность к эффективности игрока-человека. 

Для оценки этих возможностей SIMA 2 также тестировалась в процедурно сгенерированных трёхмерных мирах, созданных Genie 3, который создаёт новые среды на основе текстовых или графических подсказок. В этих незнакомых условиях агент по-прежнему мог эффективно ориентироваться, интерпретировать инструкции и работать в соответствии с пользовательскими запросами.defiпоставленных целей, демонстрируя уровень адаптивности, ранее не наблюдавшийся в подобных системах.

SIMA 2 развивает самосовершенствующийся ИИ с новыми возможностями обобщения и автономного обучения

Согласно Компания Одним из наиболее примечательных достижений SIMA 2 является его развивающаяся способность к самосовершенствованию. В ходе обучения агент продемонстрировал, что способен решать всё более сложные задачи, используя метод проб и ошибок в сочетании с обратной связью от Gemini. После первоначального обучения на демонстрационных примерах, SIMA 2 может продолжать развиваться в новых играх, играя автономно, приобретая навыки в незнакомых условиях без необходимости использования дополнительных данных от человека. Этот опыт может быть использован для обучения последующих, более эффективных версий SIMA 2. Агент ИИ , и тот же процесс самосовершенствования успешно применён в средах, созданных Genie, что знаменует собой значительный прогресс в обучении агентов общего назначения в разнообразных синтетических мирах. Этот цикл непрерывного совершенствования способствует достижению долгосрочной цели — дать агентам возможность обучаться с минимальным участием человека.

Работа SIMA 2 в широком спектре игровых сред предоставляет важную испытательную площадку для развития общего интеллекта, позволяя ему приобретать навыки, практиковать рассуждения и непрерывно обучаться посредством самостоятельных действий. Хотя система представляет собой значительный шаг к универсальному, интерактивному, воплощенному интеллекту, она сохраняет явные ограничения, присущие этапу исследований. Агент продолжает испытывать трудности со сложными задачами с длительным горизонтом, требующими расширенных рассуждений или многократной проверки целей, а его память остаётся короткой из-за необходимости взаимодействия с малой задержкой в ​​ограниченном контекстном окне. Точность выполнения детальных действий и визуальное понимание сложных трёхмерных сцен также остаются более широкой проблемой в этой области.

Проект демонстрирует потенциал подхода к ИИ, ориентированного на действия, в котором широкий спектр компетенций подкрепляется разнообразными данными обучения и развитыми способностями к рассуждению. SIMA 2 показывает, что эти элементы могут быть объединены в одном универсальном агенте, а не изолированы в отдельных специализированных системах, и открывает многообещающий путь к будущим приложениям в робототехнике, поскольку многие навыки, освоенные в виртуальной среде, такие как навигация, использование инструментов и совместное выполнение задач, трансформируются в фундаментальные компоненты для воплощенного ИИ.

SIMA 2 разработана как интерактивный исследовательский инструмент, ориентированный на человека, и её разработка чётко ориентирована на ответственные практики, особенно в отношении механизмов самосовершенствования. Команда сотрудничала со специалистами по ответственным инновациям на протяжении всего проекта и выпускает SIMA 2 в формате ограниченной ознакомительной исследовательской версии, предоставляя ранний доступ избранным учёным и разработчикам игр. Поэтапный подход обеспечивает непрерывное изучение, обратную связь и междисциплинарную оценку по мере дальнейшего изучения технологии и её потенциальных возможностей.