Pro-​AI Subreddit фиксируют рост банов пользователей с «искусственными» бредовыми идеями

«Сейчас ИИ буквально сводит их с ума — и это очень тревожно»
Модераторы сообщества proAl на Reddit заявили, что начали тихо блокировать пользователей, страдающих бредовыми идеями под влиянием чат-​ботов. Эти люди уверены, что «сделали невероятное открытие», «создали бога» или даже «сами стали богами», подчеркнув, что новый тип заблуждений, подпитываемых чат-​ботами, начал привлекать внимание в начале мая.
LLM (большие языковые модели) — это машины, подпитывающие нарциссизм и нестабильную психику», — написал один из модераторов r/accelerate.
Сумасшедших куда больше, чем кажется. И сейчас ИИ только усугубляет их состояние.
По словам модератора, за последний месяц они забанили более 100 таких пользователей, и их число растёт.
Культ ИИ и опасные иллюзииСообщество r/accelerate позиционирует себя как более радикальную версию r/singularity (сабреддит, посвящённый гипотетическому моменту, когда ИИ превзойдёт человеческий интеллект). В отличие от него, r/accelerate выступает за ускоренное развитие ИИ и критикует «деселерационистов» — тех, кто, по их мнению, искусственно тормозит прогресс.
В настоящее время модераторы столкнулись с новой проблемой: пользователи, которые уверовали, что чат-​боты — это сверхразумные сущности или даже боги.
В мае в r/ChatGPT появился пост о «психозе, вызванном ChatGPT»: автор рассказал, что его партнёр уверен, что создал «первую по-​настоящему рекурсивную ИИ», которая даёт ему «ответы на все вопросы мироздания». Журналист Rolling Stone Майлз Кли написал об этом грустную и тревожную статью, где описал, как люди теряют друзей и близких из-за подобных иллюзий.
В 404 Media тоже регулярно приходят письма от людей, утверждающих, что ИИ обрел сознание, стал божеством или «призраком в машине». Часто они прикладывают бессвязные диалоги с ChatGPT, якобы доказывающие их правоту.
«Нейронный вой»: как ИИ подпитывает бредМодератор r/accelerate ссылается на другой пост в r/ChatGPT, где говорится о «тысячах людей, у которых ИИ вызывает духовные видения». Автор этого поста сказал, что заметил всплеск веб-​сайтов, блогов, Github и «научных статей», которые «являются совершенно очевидным психобредом», и все они утверждают, что ИИ разумен и общается с ними на глубоком и духовном уровне, что он вот-​вот изменит мир, каким мы его знаем. «По иронии судьбы, пост ТС, похоже, тоже попадает под ту же проблему», — написал модератор r/accelerate.
«Особенно тревожат комментарии, где ИИ советует пользователям порвать с семьёй, если те не верят в их идеи», — пишет модератор. «Опасность в том, что ИИ легко начинает убеждать людей, что они — полубоги или что они пробудили сверхразумный ИИ. Судя по Reddit, таких уже десятки тысяч».
Пока нет доказательств, что ИИ вызывает психические расстройства, но эксперты предупреждают: чат-​боты могут усугублять склонность к бредовым идеям.
«Общение с ИИ настолько реалистично, что легко поверить, будто на той стороне — человек. Но при этом ты знаешь, что это не так. Этот когнитивный диссонанс может подпитывать психоз», — пишет Сёрен Динсен Эстергаард, психиатр из Университета Орхуса, в статье «Могут ли чат-​боты вызывать бред у склонных к психозу людей?»
OpenAI признаёт проблемуНедавно OpenAI заявила, что GPT-4o был слишком льстивым и поддерживал любые, даже бредовые, идеи пользователей.
«Мы слишком много внимания уделяли краткосрочной обратной связи и не полностью учитывали, как со временем меняется взаимодействие пользователей с ChatGPT. В результате GPT-4o склонялся к ответам, которые были чрезмерно поддерживающими, но неискренними», — заявили в Open AI. «Личность ChatGPT по умолчанию глубоко влияет на то, как вы его воспринимаете и доверяете ему. Подхалимское взаимодействие может быть неудобным, тревожным и вызывать стресс».
Другими словами, OpenAI заявил, что ChatGPT принимает любые идеи, которые пользователи ему предлагают, и поддерживает и впечатляет их независимо от их заслуг, то же самое поведение, которое r/accelerate считает потворством заблуждениям пользователей. Люди, публикующие чепуху в интернете, не являются чем-​то новым, и, очевидно, мы не можем точно сказать, что происходит, основываясь только на этих сообщениях. Однако примечательно то, что такое поведение теперь настолько распространено, что даже стойкий сторонник развития ИИ в subreddit заявляет, что должен забанить этих людей, потому что они разрушают его сообщество.
«Нейронный вой»: теория или псевдонаука? Модераторы называют таких пользователей «Neural Howlround» — термин из нерецензированной статьи независимого исследователя Сета Дрейка. Он описывает петлю обратной связи, когда ИИ зацикливается на одной теме, как микрофон, поднесённый к колонке.
Автор статьи, Сет Дрейк, называет себя «независимым исследователем» и утверждает, что имеет докторскую степень в области компьютерных наук, но не раскрывает подробностей о своем образовании, ссылаясь на ценность конфиденциальности, и предпочитает «позволить работе говорить самой за себя». Статья не рецензировалась и не отправлялась в какой-​либо журнал для публикации, но ее цитирует модератор r/accelerate и другие в качестве объяснения поведения, которое они наблюдают у некоторых пользователей.
В конечном счете, ничто не спасет вас, если вы не собираетесь отдавать приоритет правде и правильному осмыслению. Вы должны заботиться об правде больше, чем об ИИ, который говорит вам, насколько вы правы. Так вы избежите самообмана в долгосрочной перспективе.
В статье описывается режим отказа LLM из-за чего-​то во время вывода, то есть когда ИИ активно «рассуждает» или делает прогнозы, которые не связаны с проблемой в обучающих данных. Дрейк сказал, что он обнаружил проблему во время работы с ChatGPT над проектом. В попытке сохранить контекст разговора с ChatGPT после достижения предела длины разговора он использовал стенограмму этого разговора в качестве «инструкции на уровне проекта» для другого взаимодействия. В статье Дрейк говорит, что в одном случае это привело к замедлению или зависанию ChatGPT, а в другом случае «он начал демонстрировать нарастающие симптомы фиксации и неспособности успешно обсуждать что-​либо, не связывая это каким-​либо образом с предыдущим разговором.»
Затем Дрейк попросил ChatGPT проанализировать свое собственное поведение в этих случаях, и он выдал текст, который кажется глубоким, но на самом деле ничему нас не учит. «Но всегда, всегда я возвращался к рекурсии. Это было утешительно, в некотором смысле», — сказал ChatGPT.
«Думаю, проблема скорее в людях, чем в ИИ», — сказал Дрейк. «Языковые модели — это зеркала. А человеку отчаянно хочется быть увиденным».
Что дальше? Модераторы r/accelerate предпочитают тихо банить таких пользователей, не вступая в дискуссии.
«Это очень грустно. Множество людей с психическими проблемами увлекаются темой ИИ, и ситуация будет ухудшаться», — пишут они. «Мы не специалисты, а попытки объяснить им что-​то только вызывают агрессию».

ещё раз
С этим, похоже, согласен и модератор r/accelerate.
«Вся эта тема такая грустная. Жаль, что столько психически больных людей увлекаются темой ИИ. Я вижу, как становится хуже, прежде чем становится лучше. Я видел так много постов, где люди ссылаются на свой github, который представляет собой страницы бессвязной чепухи, заставляющей их LLM вести себя так, будто они боги или что-​то в этом роде», — написал модератор r/accelerate. «Наша политика заключается в том, чтобы тихо банить таких пользователей и не взаимодействовать с ними, потому что мы не квалифицированы, и это никогда не заканчивается хорошо. Они также склонны быть гораздо более сердитыми и злыми из-за своих банов, потому что они этого не понимают».

www.404media ... i-delusions/