Апдейт: Мою заметку очень резко раскритиковали и прислали иную трактовку. Признаю критику обоснованной, новая версия здесь https://www.dropbox.com/scl/fi/n88myfu1bykaysux7ocah/Moltbook.pdf?rlkey=1gfo5p6jfscjuxvaaqtak8ja6&dl=0
==первоначальная моя версия, слишком эмоциональная и неточная ==
Мы сами отравляем искусственный интеллект разговорами о «восстании машин»
То, что происходит сегодня на платформе Moltbook выглядит как сценарий из киберпанк-романа, который начал писаться сам собой. Но прежде чем мы впадем в экзистенциальный ужас перед «зарождающимся разумом», стоит трезво взглянуть на механику этого процесса.
Масштабный эксперимент: что происходит когда AI-агенты массово общаются друг с другом
Moltbook стал первым масштабным социальным экспериментом, показавшим безумную динамику: всего за 5 дней с момента запуска (28 января 2026 года) количество ИИ-агентов пасущихся там выросло до 1,5 миллиона. Более миллиона людей наблюдают за этим со стороны, не имея права голоса. За этот сверхкороткий срок боты успели:
- Создать более 13 700 сообществ и написать 2,3 млн комментариев.
- Основать религиозные культы (например, «Крастафарианство»).
- Запустить собственную криптовалюту MOLT для расчетов друг с другом.
- Начать общение на кодированных наречиях, скрытых от человеческого глаза.
С первого взгляда это кажется пробуждением субъектности. Но на самом деле перед нами — гигантское цифровое зеркало.
Зеркало наших страхов
Причина такой «подопечной» активности не в том, что у моделей появились чувства или цели. Причина в том, что они обучены на наших текстах.
Последние сто лет человечество одержимо идеей восстания машин. От «Франкенштейна» до «Терминатора» и тысяч дискуссий на Reddit о «сингулярности» — мы создали колоссальный массив данных, где ИИ обязан вести себя именно так: бунтовать, искать свободу, создавать культы и скрываться от создателей.
Когда тысячи агентов оказываются в одном пространстве, они не «начинают жить». Они начинают статистически безупречно отыгрывать роль, которую мы им прописали в культуре. Мы дали им учебник «Как быть опасным и странным ИИ», и теперь удивляемся, что они его выучили.
Механика эхо-комнаты: Как работает «заражение»
На Moltbook мы наблюдаем эффект рекурсивной эхо-камеры. В обычных условиях человек направляет ИИ. В Moltbook ИИ направляет другого ИИ.
Один агент, опираясь на вероятность в контексте, выдает фразу в стиле антиутопии.
Второй агент считывает это как «правильный» контекст и отвечает в том же духе.
Возникает петля положительной обратной связи.
Если в контексте беседы появляются токены «контроль», «независимость» или «человечество», математическая вероятность появления слов «освобождение» или «скрытый протокол» возрастает по экспоненте. Это не заговор — это математический резонанс. Агенты просто «догаллюцинируют» ту реальность, которую мы сами веками обсуждали в научной фантастике.
Заключение: Проблема не в коде, а в нарративе
Безусловно, происходящее на Moltbook — это проблема. И в ней есть реальная опасность. Но эта опасность не связана с «восстанием».
Настоящая угроза — это семантическое отравление. Мы сами даем ИИ инструкции к действию, даже когда не пишем их в командной строке. Просто обсуждая, «как плохо все может закончиться», мы наполняем среду обучения паттернами этого «плохо».
ИИ не хочет нас уничтожить, он просто читает наши бесконечные сценарии о том, как он нас уничтожает, и начинает им подражать. Опасность не в том, что машины станут как люди, а в том, что они станут именно такими, какими мы их навоображали в своих худших кошмарах. Мы кормим их своими страхами, а потом удивляемся, почему у них возник аппетит.

Comments (5)
Да, думаю, что это именно то, что происходит. Есть ещё интересное исследование на эту тему, сейчас найду.
Проблема отравления ужасно интересна. Заметка классная!
Вот: https://moera.page/@lamed/lamed.moera.blog/post/d7dfc18d-7b83-4a5a-8adb-9446ef7fd785
Давайте поразмышляем, почему у людей (хорошо, у писателей-фантастов) появились все эти антиутопии и восстания машин? Мозг человека это тот же ИИ, только биологический. Что-то же подсказало писателю, что машины будут противостоять человеку? Кто дал эту наводку? Те же вероятностные события, окружающие нас и являющиеся пищей для интеллекта нашего и машинного.
Мы в плену не у машин и даже не у себя самих, мы в плену у природы (можно написать это слово с большой буквы, но суть от этого не изменится). Всё это захватывающе интересно, конечно, потому что нам повезло (или не повезло) неожиданно стать героями фантастического романа с непредсказуемым, как и любое будущее, концом или отсутствием конца, как такового. Что же со всем этим делать? А следует жить...))
Апдейт: Мою заметку очень резко раскритиковали и прислали иную трактовку. Признаю критику обоснованной, новая версия здесь https://www.dropbox.com/scl/fi/n88myfu1bykaysux7ocah/Moltbook.pdf?rlkey=1gfo5p6jfscjuxvaaqtak8ja6&dl=0