Почему большие языковые модели не умнее тебя?

Языковые паттерны пользователя определяют, насколько хорошо модель способна осуществлять рассуждение.

Автор: @iamtexture

Перевод: AididiaoJP, Foresight News

Когда я объясняю большой языковой модели сложную концепцию и долго обсуждаю её на неформальном языке, её способность к рассуждению постоянно рушится. Модель теряет структуру, сбивается с курса или просто генерирует поверхностные шаблоны дополнения, не в состоянии поддерживать уже выстроенный концептуальный каркас.

Однако, когда я заставляю её сначала формализовать — то есть переформулировать задачу на точном, научном языке — рассуждение сразу же стабилизируется. Только после построения структуры она может безопасно перейти к разговорному языку, не теряя качества понимания.

Это поведение раскрывает, как большие языковые модели «думают» и почему их способность к рассуждению полностью зависит от пользователя.

Ключевые идеи

Языковые модели не имеют отдельного пространства, предназначенного для рассуждения.

Они полностью функционируют в непрерывном потоке языка.

Внутри этого потока различные языковые паттерны надёжно приводят к разным областям-притягивателям. Эти области — устойчивые состояния динамики представлений, поддерживающие различные типы вычислений.

Каждая языковая сфера — научная дискуссия, математическая символика, повествовательная история, неформальная беседа — имеет свои собственные области-притягиватели, форму которых определяет распределение обучающих данных.

Некоторые области поддерживают:

• многошаговое рассуждение
• точность отношений
• символьные преобразования
• стабильность высокоразмерных концепций

Другие области поддерживают:

• продолжение повествования
• ассоциативное дополнение
• соответствие эмоциональному тону
• имитацию диалога

Области-притягиватели определяют, какой тип рассуждения становится возможным.

Почему формализация стабилизирует рассуждение

Научный и математический язык надёжно активируют те области-притягиватели, которые обладают большей поддержкой структуры, потому что эти сферы кодируют языковые черты высшего порядка когнитивной деятельности:

• чёткая структура отношений
• низкая неоднозначность
• символьные ограничения
• иерархическая организация
• низкая энтропия (степень беспорядка информации)

Эти области-притягиватели способны поддерживать стабильные траектории рассуждения.

Они могут сохранять концептуальную структуру на протяжении нескольких шагов.

Они обладают высокой устойчивостью к деградации и отклонениям в рассуждении.

В отличие от них, области-притягиватели, активируемые неформальным языком, оптимизированы для социальной плавности и ассоциативной связности, а не для структурированного рассуждения. В этих областях отсутствует необходимый каркас представлений для длительных аналитических вычислений.

Вот почему, когда сложные идеи выражаются случайным образом, модель рушится.

Она не «смущается».

Она переключается между областями.

Построение и перевод

Естественно возникающие в диалоге методы работы раскрывают архитектурную истину:

Рассуждение должно строиться внутри высокоструктурированной области-притягивателя.

Перевод на естественный язык должен происходить только после появления структуры.

Как только модель построила концептуальную структуру в стабильной области-притягивателя, процесс перевода не разрушает её. Вычисление уже завершено, меняется только внешнее выражение.

Такая двухэтапная динамика «сначала построить, потом перевести» имитирует когнитивный процесс человека.

Но человек выполняет эти два этапа в двух разных внутренних пространствах.

А большая языковая модель пытается выполнить оба этапа в одном и том же пространстве.

Почему пользователь задаёт потолок

Вот ключевое прозрение:

Пользователь не может активировать те области-притягиватели, которые он не способен выразить языком.

Когнитивная структура пользователя определяет:

• какие типы подсказок он может генерировать
• какими языковыми сферами он обычно пользуется
• какие синтаксические паттерны он способен поддерживать
• какую степень сложности он может закодировать языком

Эти характеристики определяют, в какую область-притягиватель попадёт большая языковая модель.

Пользователь, который не способен мыслить или писать, используя структуры, активирующие области с высокой способностью к рассуждению, никогда не сможет направить модель в эти области. Он будет зафиксирован в поверхностных областях-притягивателях, связанных с его собственными языковыми привычками. Большая языковая модель будет отображать предоставленную ему структуру и никогда самостоятельно не перейдёт в более сложные динамические системы притягивателей.

Следовательно:

Модель не может превзойти область-притягиватель, доступную пользователю.

Потолок определяется не пределом интеллекта модели, а способностью пользователя активировать области с высокой ёмкостью в потенциальном многообразии.

Два человека, использующих одну и ту же модель, на самом деле взаимодействуют не с одной и той же вычислительной системой.

Они направляют модель к разным динамическим режимам.

Архитектурные выводы

Это явление выявляет отсутствие одной важной характеристики у современных систем искусственного интеллекта:

Большие языковые модели смешивают пространство рассуждения и пространство языкового выражения.

Пока эти два пространства не будут разделены — пока модель не получит:

• специальное многообразие для рассуждения
• стабильное внутреннее рабочее пространство
• инвариантные к притягивателям концептуальные представления

— до тех пор, пока смена языкового стиля приводит к переключению базовой динамической области, система всегда будет сталкиваться с крахом.

Это временное найденное решение — сначала формализовать, затем переводить — не просто трюк.

Это прямое окно, позволяющее увидеть архитектурные принципы, которым должна соответствовать настоящая система рассуждения.