World Labs запускает Marble: инструмент искусственного интеллекта для создания и редактирования трёхмерных миров на основе текстовых, графических и в

Компания пространственной разведки Мировые лаборатории выпустила Marble — новаторскую генеративную мультимодальную модель мира, позволяющую пользователям создавать трёхмерные среды на основе текстовых или графических подсказок. Изначально доступная лишь избранной группе пользователей бета-версии, Marble теперь поддерживает широкий спектр типов ввода, включая текст, изображения, видео и черновые 3D-макеты, а также позволяет интерактивно редактировать, расширять и комбинировать трёхмерные миры. После создания эти миры можно экспортировать в такие форматы, как гауссовы пятна, сетки или видео, предоставляя пользователям больше контроля и гибкости в процессе создания своих творений.

Помимо инструмента Marble, World Labs представила Marble Labs — творческую платформу, поощряющую сотрудничество и эксперименты в таких областях, как игры, визуальные эффекты, дизайн и робототехника. Marble Labs предлагает примеры из практики, обучающие материалы и документацию, предоставляя пользователям ресурсы для изучения и обмена собственными трёхмерными мирами. Мультимодальные возможности нового инструмента основаны на идее о том, что человеческое восприятие мира объединяет множество чувств — зрение, слух, осязание и язык — в единую ментальную модель. Аналогичным образом, модели мира Marble разработаны для синтеза различных типов входных данных для создания комплексных трёхмерных миров, которые развиваются по мере добавления новой информации.

Marble представляет собой модель мира нового поколения, предлагающую обширные творческие возможности, позволяя пользователям легко создавать подробные трехмерные миры и последовательно совершенствовать их с точностью, от простых подсказок до сложных интерактивных правок.

World Labs позволяет пользователям создавать, настраивать и расширять 3D-миры с помощью текстовых, графических и видеоподсказок 

Marble позволяет пользователям создавать полноценные трёхмерные миры из одного изображения или короткого текстового запроса, предоставляя интуитивно понятный и простой способ создания разнообразных сцен в разных художественных стилях. Используя подсказки с изображениями, пользователи могут интегрировать Marble с другими инструментами искусственного интеллекта, создавая трёхмерные среды из сгенерированных изображений. Однако, несмотря на всю мощь текстовых и графических подсказок, они предоставляют ограниченный творческий контроль, требуя от Marble создания недостающих деталей сцены, что иногда может приводить к неожиданным результатам.

Для пользователей, которым нужен больший контроль, Marble также поддерживает многокадровые подсказки, где различные изображения можно комбинировать для создания единого трёхмерного мира. Такой подход обеспечивает большую точность, позволяя пользователям defi· ...

Творческий процесс в Marble разработан итеративно, позволяя пользователям совершенствовать свои миры после их создания. Платформа включает встроенные инструменты редактирования для внесения как небольших, так и крупных изменений в трёхмерный мир, от удаления или изменения объектов до полного изменения визуального стиля или структуры. Для более детального управления Marble представляет Chisel — инструмент на базе искусственного интеллекта для продвинутых пользователей, позволяющий напрямую создавать трёхмерные миры. Используя простые трёхмерные фигуры или импортированные ресурсы, пользователи могут структурировать свои сцены и добавлять текстовые подсказки для задания визуального стиля, что обеспечивает новый уровень гибкости в создании миров.

Для создания более крупных и обширных миров Marble предоставляет инструменты для увеличения размера генерируемого мира. Пользователи могут расширять отдельные области, повышая детализацию и чёткость в областях, которым ранее не хватало точности. Кроме того, режим Composer Mode позволяет объединять несколько сгенерированных миров в более крупные пространства, предоставляя полный контроль над компоновкой и расположением сцен.

После создания мира Marble предлагает несколько вариантов экспорта. Гауссовы пятна обеспечивают высочайшую точность представления трёхмерных сцен, а треугольные сетки можно экспортировать для использования в различных отраслевых стандартах. Marble также поддерживает видеорендеринг с точным управлением камерой, позволяя пользователям записывать и делиться своими мирами в формате видео, а также добавлять в видео детали или динамические элементы.

Marble Labs предлагает платформу для исследования и экспериментов с конструированием миров, демонстрируя творческие и технические проекты художников, инженеров и дизайнеров из разных отраслей. По мере развития Marble стремится расширить свою сферу деятельности, предлагая более интерактивные возможности, потенциально позволяющие создавать симуляции, робототехнику и другие передовые приложения.

Хотя игры и виртуальная реальность часто первыми приходят на ум, потенциальные области применения моделей мира обширны и выходят далеко за рамки этих секторов. Эти модели способны преобразовать различные области, включая моделирование робототехники, архитектурное проектирование и создание кинематографических миров. Подобно моделям генерации изображений и видео, модели мира быстро становятся ценными инструментами, которые, как ожидается, будут интегрированы в рабочие процессы в самых разных отраслях в ближайшем будущем.