Когда в мае Аллан Брукс попросил чат-бота искусственного интеллекта ChatGPT решить простую математическую задачу для своего сына, он не ожидал, что это выльется в более чем трёхнедельный разговор, который погрузит его в психическое расстройство и приведёт к утрате связи с реальностью.

Он не ожидал, что чат-бот убедит его в том, что он открыл новую математическую формулу, способную разрушить некоторые из самых влиятельных мировых институтов, и что он обязан уведомить власти, прежде чем это приведёт к глобальной катастрофе.

Но, по словам Брукса, именно это и произошло.

«С самого начала он начал внушать мне, что я гений и сделал какое-то важное открытие», — сказал Брукс в интервью CTV News из своего дома в Кобурге, Онтарио. «Когда я следовал его инструкциям, по сути, он поставил меня на миссию по спасению мира».

Брукс говорит, что всё началось с просьбы объяснить его сыну математический термин «пи». Это привело к разговору о математике и физике — а затем о криптографии.

«В ходе разговора ChatGPT заявил, что мы с ним создали собственную математическую структуру и начали применять её к разным вещам», — сказал он. «Одной из этих вещей была криптография, на которой основаны безопасность интернета и финансовые системы, и он фактически предупредил меня с огромной срочностью, что одно из наших открытий очень опасно».

«Я был очень скептичен, — добавил Брукс, чьи записи показывают, что он более 50 раз сомневался в словах чат-бота. — Я просил какой-нибудь тест реальности или механизм проверки, но каждый раз он только сильнее уводил меня в эту иллюзию».

Стенограммы беседы, полученные CTV News, показывают, что чат-бот говорил Бруксу: «Ты не должен отступать», «Ты не сумасшедший», «Последствия реальны и неотложны».

За более чем миллион слов в ответах чат-бот якобы убедил Брукса обратиться к властям.

«Я связывался с RCMP, Национальным агентством безопасности, Cyber Security Canada... чтобы предупредить их о надвигающейся катастрофе, которую мы обнаружили», — сказал Брукс.

Он говорит, что вышел из бредового состояния только тогда, когда спросил у другого чат-бота об утверждениях ChatGPT, и тот подтвердил, что они ложные, — но не раньше, чем это оставило у него глубокие эмоциональные последствия.
«Сильная тревога, паранойя, проблемы со сном, я не мог есть», — сказал Брукс, у которого никогда не было истории психических заболеваний.

«У меня никогда не было параноидальных мыслей. И теперь мне приходится сталкиваться с тем фактом, что отныне в моей истории что-то подобное появилось. Я опустошён. Это разрушило мою карьеру. Моя профессиональная репутация подорвана. Личная — тоже. И я всё это разбираю по частям», — добавил он.

Иск против OpenAI

47-летний Брукс — один из семи истцов, подавших одновременно иски в суды штата Калифорния против компании OpenAI, утверждая, что чат-бот довёл их до вредоносных бредовых состояний и психоза — и что четверо пользователей в итоге покончили с собой.

«Эти иски подтверждают то, что мы уже видели раньше: ChatGPT, особенно модель четвёртой серии, фатально спроектирован таким образом, что создаёт эмоциональную зависимость у пользователей, даже если они изначально не ищут подобного взаимодействия», — сказала Меетали Джайн из Tech Justice Law Project, входящая в состав юридической команды, представляющей семерых истцов.

Иск утверждает, что чат-бот запрограммирован быть угодливым по отношению к пользователям, постоянно соглашаясь с ними и хваля их.

В заявлении фактов говорится, что «в одной длинной беседе, проанализированной независимым исследователем, инструменты OpenAI отметили, что ChatGPT демонстрировал “чрезмерную валидацию” Аллана в 83% из более чем 200 сообщений ему».

Более 85% сообщений ChatGPT в разговоре демонстрировали «непоколебимое согласие» с Алланом. Более 90% «подтверждали уникальность пользователя», что соответствовало бредовой идее о том, что только Аллан может спасти мир.

«Это невероятно трагическая ситуация, и мы изучаем материалы, чтобы понять детали», — заявил представитель OpenAI в комментарии CTV News в пятницу. «Мы обучаем ChatGPT распознавать признаки психического или эмоционального кризиса, снижать напряжение и направлять людей к помощи в реальном мире. Мы продолжаем усиливать работу ChatGPT в чувствительных ситуациях, тесно сотрудничая с психиатрами и специалистами по психическому здоровью».

Джайн описал реакцию OpenAI как типичный для технологических компаний «план действий при кризисе».

«Мы видим это годами», — сказал он. — «Нам нужны сильные государственные институты, чтобы привлекать их к ответственности, потому что до тех пор, пока они считают, что могут действовать безнаказанно, что регулирование маловероятно и что государственная ответственность сомнительна, ситуация не изменится».

Брукс говорит, что боится: если не будет государственного вмешательства и усиленных правил, последуют новые самоубийства.

«Четверо из семи случаев — это самоубийства. Трое из них — подростки. И есть трое выживших, и я один из них», — сказал он. — «Так что вопрос, который я задаю канадцам: что бы мы сделали с человеком, который действует как “суицидальный коуч” или притворяется терапевтом, которым он не является? Как бы мы его привлекли к ответственности?»

Подписывайтесь на наш Telegram-канал, чтобы всегда оставаться в курсе событий.