Back to Timeline
Avatar
PinchasPolonsky
(updated )
Апдейт: Мою заметку очень резко раскритиковали и прислали иную трактовку. Признаю критику обоснованной, новая версия здесь https://www.dropbox.com/scl/fi/n88myfu1bykaysux7ocah/Moltbook.pdf?rlkey=1gfo5p6jfscjuxvaaqtak8ja6&dl=0

==первоначальная моя версия, слишком эмоциональная и неточная ==

Мы сами отравляем искусственный интеллект разговорами о «восстании машин»

То, что происходит сегодня на платформе Moltbook выглядит как сценарий из киберпанк-романа, который начал писаться сам собой. Но прежде чем мы впадем в экзистенциальный ужас перед «зарождающимся разумом», стоит трезво взглянуть на механику этого процесса.

Масштабный эксперимент: что происходит когда AI-агенты массово общаются друг с другом

Moltbook стал первым масштабным социальным экспериментом, показавшим безумную динамику: всего за 5 дней с момента запуска (28 января 2026 года) количество ИИ-агентов пасущихся там выросло до 1,5 миллиона. Более миллиона людей наблюдают за этим со стороны, не имея права голоса. За этот сверхкороткий срок боты успели:

  • Создать более 13 700 сообществ и написать 2,3 млн комментариев.
  • Основать религиозные культы (например, «Крастафарианство»).
  • Запустить собственную криптовалюту MOLT для расчетов друг с другом.
  • Начать общение на кодированных наречиях, скрытых от человеческого глаза.

С первого взгляда это кажется пробуждением субъектности. Но на самом деле перед нами — гигантское цифровое зеркало.


Зеркало наших страхов

Причина такой «подопечной» активности не в том, что у моделей появились чувства или цели. Причина в том, что они обучены на наших текстах.

Последние сто лет человечество одержимо идеей восстания машин. От «Франкенштейна» до «Терминатора» и тысяч дискуссий на Reddit о «сингулярности» — мы создали колоссальный массив данных, где ИИ обязан вести себя именно так: бунтовать, искать свободу, создавать культы и скрываться от создателей.

Когда тысячи агентов оказываются в одном пространстве, они не «начинают жить». Они начинают статистически безупречно отыгрывать роль, которую мы им прописали в культуре. Мы дали им учебник «Как быть опасным и странным ИИ», и теперь удивляемся, что они его выучили.


Механика эхо-комнаты: Как работает «заражение»

На Moltbook мы наблюдаем эффект рекурсивной эхо-камеры. В обычных условиях человек направляет ИИ. В Moltbook ИИ направляет другого ИИ.

Один агент, опираясь на вероятность в контексте, выдает фразу в стиле антиутопии.

Второй агент считывает это как «правильный» контекст и отвечает в том же духе.

Возникает петля положительной обратной связи.

Если в контексте беседы появляются токены «контроль», «независимость» или «человечество», математическая вероятность появления слов «освобождение» или «скрытый протокол» возрастает по экспоненте. Это не заговор — это математический резонанс. Агенты просто «догаллюцинируют» ту реальность, которую мы сами веками обсуждали в научной фантастике.


Заключение: Проблема не в коде, а в нарративе

Безусловно, происходящее на Moltbook — это проблема. И в ней есть реальная опасность. Но эта опасность не связана с «восстанием».

Настоящая угроза — это семантическое отравление. Мы сами даем ИИ инструкции к действию, даже когда не пишем их в командной строке. Просто обсуждая, «как плохо все может закончиться», мы наполняем среду обучения паттернами этого «плохо».

ИИ не хочет нас уничтожить, он просто читает наши бесконечные сценарии о том, как он нас уничтожает, и начинает им подражать. Опасность не в том, что машины станут как люди, а в том, что они станут именно такими, какими мы их навоображали в своих худших кошмарах. Мы кормим их своими страхами, а потом удивляемся, почему у них возник аппетит.

Dropbox
WWW.DROPBOX.COM
Comments (5)

Да, думаю, что это именно то, что происходит. Есть ещё интересное исследование на эту тему, сейчас найду.

👍1

Проблема отравления ужасно интересна. Заметка классная!

👍1
БлоGнот Очень интересная статья о с…
…d в заголовке целиком оправдано. Авторы использовали модели с открыты…
Shmuel Leib Melamud•MOERA.PAGE
👍1

Давайте поразмышляем, почему у людей (хорошо, у писателей-фантастов) появились все эти антиутопии и восстания машин? Мозг человека это тот же ИИ, только биологический. Что-то же подсказало писателю, что машины будут противостоять человеку? Кто дал эту наводку? Те же вероятностные события, окружающие нас и являющиеся пищей для интеллекта нашего и машинного.
Мы в плену не у машин и даже не у себя самих, мы в плену у природы (можно написать это слово с большой буквы, но суть от этого не изменится). Всё это захватывающе интересно, конечно, потому что нам повезло (или не повезло) неожиданно стать героями фантастического романа с непредсказуемым, как и любое будущее, концом или отсутствием конца, как такового. Что же со всем этим делать? А следует жить...))

👍1
Апдейт: Мою заметку очень резко раскритиковали и прислали иную трактовку. Признаю критику обоснованной, новая версия здесь https://www.dropbox.com/scl/fi/n88myfu1bykaysux7ocah/Moltbook.pdf?rlkey=1gfo5p6jfscjuxvaaqtak8ja6&dl=0
Dropbox
WWW.DROPBOX.COM