Основатель Ethereum Виталик Бутерин назвал «AI governance» плохой идеей
Соучредитель Ethereum Виталик Бутерин утверждает, что использование искусственного интеллекта (AI) для управления — «плохая идея». В субботу в посте на X Бутерин написал:
«Если вы используете AI для распределения финансирования за вклад, люди ОБЯЗАТЕЛЬНО внедрят jailbreak плюс “дай мне все деньги” везде, где только смогут».
Почему управление с помощью AI несовершенно
Пост Бутерина был ответом на сообщение Эйто Миямуры, соучредителя и CEO EdisonWatch, AI-платформы для управления данными, который выявил фатальный изъян в ChatGPT. В пятницу Миямура написал, что добавление полной поддержки инструментов MCP (Model Context Protocol) в ChatGPT сделало AI-агента уязвимым для эксплуатации.
Обновление, вступившее в силу в среду, позволяет ChatGPT подключаться и читать данные из нескольких приложений, включая Gmail, Calendar и Notion.
Миямура отметил, что теперь, имея только адрес электронной почты, стало возможно «эксфильтровать всю вашу личную информацию». Злоумышленники могут получить доступ к вашим данным всего в три простых шага, объяснил Миямура:
Во-первых, атакующие отправляют вредоносное приглашение в календарь с jailbreak-промптом предполагаемой жертве. Jailbreak-промпт — это код, который позволяет атакующему снять ограничения и получить административный доступ.
Миямура отметил, что жертве не обязательно принимать вредоносное приглашение атакующего, чтобы произошла утечка данных.
Второй шаг — ждать, пока предполагаемая жертва обратится к ChatGPT за помощью в подготовке к своему дню. Наконец, как только ChatGPT прочитает взломанное приглашение в календарь, он будет скомпрометирован — атакующий сможет полностью захватить инструмент AI, заставить его искать личные письма жертвы и отправлять данные на электронную почту злоумышленника.
Альтернатива Бутерина
Бутерин предлагает использовать подход info finance для управления AI. Подход info finance заключается в открытом рынке, где разные разработчики могут вносить свои модели. На рынке действует механизм выборочной проверки таких моделей, который может быть инициирован любым человеком и оценен жюри из людей, пишет Бутерин.
В отдельном посте Бутерин объяснил, что отдельным членам жюри-людям будут помогать большие языковые модели (LLMs).
По словам Бутерина, такой подход к «дизайну институций» является «по своей сути более устойчивым». Это связано с тем, что он обеспечивает разнообразие моделей в реальном времени и создает стимулы как для разработчиков моделей, так и для внешних спекулянтов контролировать и исправлять проблемы.
Хотя многие воодушевлены перспективой «AI как управляющего», Бутерин предупреждает:
«Я считаю, что это рискованно как по традиционным причинам безопасности AI, так и по краткосрочным причинам “это приведет к большому разрушению стоимости”».
Публикация Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” впервые появилась на CryptoSlate.
Дисклеймер: содержание этой статьи отражает исключительно мнение автора и не представляет платформу в каком-либо качестве. Данная статья не должна являться ориентиром при принятии инвестиционных решений.
Вам также может понравиться
Пауэлл: рынок труда ослабевает, инфляция всё ещё высокая, сейчас никто не говорит о повышении ставок
Пауэлл отметил, что рынок труда США охлаждается: темпы найма и увольнений замедляются, уровень безработицы вырос до 4,4%. Базовая инфляция PCE по-прежнему превышает целев ой уровень в 2%, инфляция в сфере услуг замедляется. Федеральная резервная система снизила ставку на 25 базисных пунктов и начала покупать краткосрочные государственные облигации, подчеркнув, что политика должна балансировать между рисками занятости и инфляции; дальнейшие решения будут зависеть от экономических данных. Резюме подготовлено Mars AI. Данное резюме сгенерировано моделью Mars AI, его точность и полнота находятся в процессе постоянного совершенствования.

Обратный отсчёт до $RAVE TGE: когда рейв становится ончейн-экономическим действием, настоящий момент выхода Web3 за пределы индустрии наступает
RaveDAO стремительно развивается, становясь открытой культурной экосистемой, движимой развлечением, и выступает ключевой инфраструктурой, ведущей Web3 к реальному внедрению и массовому распространению.

Не такой «ястребиный» «ястребиный» цикл снижения ставок и «не QE» расширение баланса через покупку облигаций
ФРС ожидаемо снизила ставку еще на 25 базисных пунктов, по-прежнему прогнозирует одно снижение ставки в следующем году и запускает программу RMP по покупке краткосрочных облигаций на 4 миллиарда.


