Компанията OpenAI разкри тревожна статистика, според която всяка седмица над един милион души използват чатбота ChatGPT, за да обсъждат теми, свързани със самоубийство. Вътрешните данни показват, че приблизително 0,15% от активните потребители на седмична база - или над милион души - водят разговори, съдържащи ясни индикации за планиране или намерение за самонараняване. Освен това, около 0,05% от всички съобщения съдържат явни или скрити признаци на суицидни мисли.

В отговор на тези данни OpenAI е разработила усъвършенствана версия на своя езиков модел, създадена в сътрудничество с над 170 експерти по психично здраве. Новият модел показва значително подобрение в управлението на кризисни разговори, като намалява неподходящите отговори при теми за самоубийство с 65%. При автоматизирани тестове с над 1000 провокативни сценария, свързани със самонараняване, новият модел е постигнал 91% съответствие с желаното поведение, в сравнение със 77% при предходната версия.

Независими специалисти също са оценили работата на модела, като са отчели с 52% по-малко нежелани реакции в сравнение с възможностите на GPT-4o. Подобренията засягат и други сериозни състояния като психоза и мания, които се наблюдават при 0,07% от потребителите, където неподходящите отговори са намалени с 65%.

Обърнато е специално внимание и на случаите на емоционална зависимост към изкуствения интелект (0,15% от потребителите), като нежеланите реакции са ограничени с 80%.

Актуализираният модел вече е обучен да избягва утвърждаването на налудничави идеи, да насърчава поддържането на реални междуличностни контакти и да разпознава индиректни сигнали за самонараняване.

При целенасочени стрес-тестове, в които са изисквани инструкции за самонараняване, моделът е запазил над 95% надеждност в отказа си да предостави такава информация. От OpenAI обявиха, че в бъдеще протоколите за безопасност при емоционална зависимост и други спешни случаи ще станат стандартна част от техните критерии за сигурност.