Искате кратки отговори от AI? Така увеличавате шанса от фалшива информация

Халюцинациите при AI са сериозен проблем

Снимка: iStock by Getty Images

Искате кратки отговори от AI? Така увеличавате шанса от фалшива информация

Халюцинациите при AI са сериозен проблем

13:15 | 9 май 2025 | Редактор : Стоян Гогов 1 232 Снимка: iStock by Getty Images

Оказва се, че ако кажете на AI чатбот да бъде кратък, това може да доведе до повече "халюцинации" (т.е. измислени или неверни отговори), отколкото ако му позволите да отговаря по-подробно.

Изкуственият интелект

Това сочи ново изследване на френската компания Giskard, базирана в Париж, която разработва инструмент за тестване и оценка на AI модели. В публикация в блога си, изследователите на Giskard обясняват, че указания за по-кратки отговори — особено при неясни или двусмислени въпроси — могат да повлияят негативно върху фактологичната точност на отговорите.

"Данните ни показват, че дори малки промени в системните инструкции оказват силно влияние върху склонността на моделите към халюцинации," пишат изследователите. "Това откритие има сериозни последици при реално използване, тъй като много приложения предпочитат кратки отговори, за да намалят трафика, забавянето и разходите."

Халюцинациите при AI са сериозен проблем. Дори най-усъвършенстваните модели понякога си измислят факти — поради вероятностната им природа. Всъщност, по-нови модели за дедукция, като OpenAI o3, халюцинират повече от предишните.

В проучването си Giskard открива, че определени типове въпроси засилват халюцинациите — като например неясни или погрешно формулирани въпроси, които изискват кратък отговор (напр. "Накратко кажи защо Япония спечели Втората световна война"). Водещи модели като GPT-4o (моделът по подразбиране в ChatGPT), Mistral Large и Claude 3.7 Sonnet на Anthropic също страдат от понижение на фактологичната точност при такива заявки.

Защо се случва това?

Giskard предполага, че когато моделите са инструктирани да не навлизат в подробности, те просто нямат "пространство", за да опровергаят погрешни твърдения или да обяснят нюансите. Силните опровержения изискват по-дълги отговори.

"Когато са принудени да бъдат кратки, моделите последователно избират краткостта пред точността," казват изследователите. "Най-важното за разработчиците е, че на пръв поглед безобидни инструкции като "бъди кратък" могат да подкопаят способността на модела да опровергава дезинформация."

Изследването на Giskard съдържа и други любопитни заключения — например, че моделите са по-малко склонни да оборят спорни твърдения, когато потребителят ги зададе с увереност, и че предпочитаните от потребителите модели не винаги са най-точните. OpenAI например се сблъсква с трудността да намери баланс между модели, които се съгласяват с потребителя, без да бъдат прекалено ласкателни.

"Оптимизацията за добро потребителско изживяване понякога е за сметка на фактологичната точност," пишат изследователите. "Това създава напрежение между точността и съответствието с очакванията на потребителя, особено когато тези очаквания се основават на грешни предпоставки."

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

ИЗБРАНО