Google DeepMind stellt SIMA 2 vor: KI-Agent, der in virtuellen 3D-Welten spielen, argumentieren und lernen kann

KI-Abteilung des Technologieunternehmens Google, Google DeepMind stellte SIMA 2 vor, die neueste Version seines Scalable Instructable Multiworld Agent, und unterstrich damit den Schritt hin zu leistungsfähigeren und vielseitigeren KI-Agenten. 

Das System baut auf den fortschrittlichen Denkfähigkeiten der Gemini-Modelle auf und geht über das einfache Befolgen von Anweisungen in virtuellen Umgebungen hinaus. Es fungiert nun als interaktiver Begleiter, der Ziele interpretieren, mit Benutzern kommunizieren und seine Leistung im Laufe der Zeit verbessern kann. 

Das erste SIMA-Modell lernte Hunderte von sprachgesteuerten Aktionen in kommerziellen Videospielen, indem es die Bildschirmeingaben beobachtete und mit virtuellen Steuerelementen anstatt mit integrierten Spielmechaniken arbeitete. 

SIMA 2 erweitert diesen Ansatz durch die Integration von Gemini als Kerntechnologie. Dadurch kann der Agent zielgerichtetes Denken anwenden, seine beabsichtigten Aktionen erklären und komplexere Aufgaben in Spielen ausführen. Der Agent wurde anhand von menschlichen Demonstrationen und von Gemini generierten Annotationen trainiert und in Zusammenarbeit mit verschiedenen Entwicklern in einer breiteren Palette von Spielen getestet. Dieses Update stellt einen bedeutenden Schritt für verkörperte KI dar und vereint Wahrnehmung, Denken und Handeln in dynamischen 3D-Umgebungen.

Die Integration von Gemini hat die Generalisierungsfähigkeit von SIMA 2 und dessen zuverlässiges Funktionieren in unbekannten Kontexten deutlich verbessert. Der Agent kann nun detailliertere und differenziertere Anweisungen interpretieren und diese auch in ihm unbekannten Spielen wie dem Wikinger-Titel ASKA oder MineDojo, einer Forschungsversion von Minecraft, erfolgreich ausführen. 

Die Fähigkeit, erlernte Konzepte in verschiedenen Umgebungen anzuwenden – beispielsweise die Idee des „Abbaus“ von einem Spiel auf das „Ernten“ in einem anderen zu übertragen – ist ein wichtiger Bestandteil der breiten Generalisierung und bringt die Leistung näher an die eines menschlichen Spielers heran. 

Um diese Fähigkeiten zu evaluieren, wurde SIMA 2 auch in prozedural generierten 3D-Welten getestet, die von Genie 3 erstellt wurden. Dieses Programm erzeugt neue Umgebungen anhand von Text- oder Bildvorgaben. In diesen ungewohnten Umgebungen konnte der Agent weiterhin effektiv navigieren, Anweisungen interpretieren und auf die Wünsche des Nutzers eingehen.defined Ziele, was ein Maß an Anpassungsfähigkeit zeigt, das in ähnlichen Systemen bisher nicht beobachtet wurde.

SIMA 2 verbessert die selbstlernende KI durch neue Fähigkeiten in den Bereichen Generalisierung und autonomes Lernen.

Nach Angaben der US-Organisation Unternehmen Eine der bemerkenswertesten Entwicklungen von SIMA 2 ist seine Fähigkeit, die eigene Leistung selbstständig zu verbessern. Während des Trainings hat der Agent gezeigt, dass er durch iteratives Ausprobieren und Feedback von Gemini zunehmend komplexere Aufgaben bewältigen kann. Nachdem SIMA 2 zunächst durch menschliche Demonstrationen gelernt hat, kann er in neuen Spielen durch autonomes Spielen Fortschritte erzielen und in unbekannten Umgebungen Fähigkeiten erwerben, ohne dass zusätzliche menschliche Daten erforderlich sind. Diese Erfahrung kann dann genutzt werden, um nachfolgende, leistungsfähigere Versionen von SIMA 2 zu trainieren. KI-Agent Derselbe Selbstverbesserungsprozess wurde erfolgreich in von Genie generierten Umgebungen angewendet und stellt einen bedeutenden Fortschritt beim Training allgemeiner Agenten in vielfältigen, synthetischen Welten dar. Dieser Zyklus kontinuierlicher Optimierung unterstützt das langfristige Ziel, Agenten das Lernen mit minimaler menschlicher Anleitung zu ermöglichen.

Der Einsatz von SIMA 2 in verschiedensten Spielumgebungen bietet ein wichtiges Testfeld für allgemeine Intelligenz. So kann das System Fähigkeiten erwerben, logisches Denken üben und durch selbstgesteuertes Handeln kontinuierlich lernen. Obwohl das System einen bedeutenden Schritt hin zu generalistischer, interaktiver und verkörperter Intelligenz darstellt, weist es noch deutliche Einschränkungen im Forschungsstadium auf. Der Agent hat weiterhin Schwierigkeiten mit komplexen, langfristigen Aufgaben, die umfangreiches logisches Denken oder wiederholte Zielüberprüfung erfordern. Sein Gedächtnis ist aufgrund der Notwendigkeit latenzarmer Interaktionen in einem begrenzten Kontextfenster weiterhin eingeschränkt. Präzision bei fein abgestimmten Aktionen und das visuelle Verständnis komplexer 3D-Szenen stellen nach wie vor eine Herausforderung für das gesamte Forschungsfeld dar.

Das Projekt demonstriert das Potenzial eines handlungsorientierten KI-Ansatzes, bei dem umfassende Kompetenzen durch vielfältige Trainingsdaten und ausgeprägte Denkfähigkeiten unterstützt werden. SIMA 2 zeigt, dass diese Elemente in einem einzigen Generalistenagenten vereint werden können, anstatt in separaten spezialisierten Systemen isoliert zu sein. Es bietet einen vielversprechenden Weg für zukünftige Anwendungen in der Robotik, da viele der in virtuellen Umgebungen erlernten Fähigkeiten – wie Navigation, Werkzeugnutzung und kollaborative Aufgabenbearbeitung – sich in grundlegende Komponenten für verkörperte KI übertragen lassen.

SIMA 2 ist als interaktiver, nutzerzentrierter Forschungsagent konzipiert. Bei seiner Entwicklung wurde besonderer Wert auf verantwortungsvolle Praktiken gelegt, insbesondere hinsichtlich der Mechanismen zur Selbstverbesserung. Das Team hat während des gesamten Projekts mit Experten für verantwortungsvolle Innovation zusammengearbeitet und veröffentlicht SIMA 2 zunächst als begrenzte Forschungsvorschau, die ausgewählten Wissenschaftlern und Spieleentwicklern frühzeitigen Zugang gewährt. Dieser stufenweise Ansatz ermöglicht eine kontinuierliche Überprüfung, Feedback und interdisziplinäre Evaluation, während die Technologie und ihre potenziellen Auswirkungen weiter erforscht werden.