17-11-2017 20-11-2018

Най-развитите AI модели са най-склонни да лъжат

Изследвания разкриват, че с нарастването на сложността на изкуствения интелект, моделите стават все по-умели в "преструването", че знаят отговорите

Снимка: iStock by Getty Images

Най-развитите AI модели са най-склонни да лъжат

10:59 | 30 септември 2024 | Редактор : Стоян Гогов 2 615 Снимка: iStock by Getty Images

Новото поколение по-способни AI модели изглеждат всезнаещи и интелигентни, но могат да разпространяват доста умело лъжи. Тази тенденция се наблюдава и при големите езикови модели (LLM), които с всяка нова версия стават по-мощни. Ново изследване обаче показва, че тези по-развити модели са по-малко надеждни, тъй като са склонни да измислят факти, вместо да отказват или да избягват въпроси, на които не могат да отговорят, предава Futurism.

Проучването, публикувано в списание Nature, изследва водещи LLM системи, като ChatGPT на OpenAI, LLaMA на Meta, както и модела BLOOM, разработен от изследователската група BigScience. Въпреки че резултатите показват, че моделите стават по-точни в отговорите си, като цяло се наблюдава и увеличаване на грешните отговори в сравнение с по-старите версии.

"В наши дни те отговарят на почти всичко. Това води до повече правилни отговори, но също така и до повече грешни," казва съавторът на изследването Хосе Ернандес-Орало от Института за изкуствен интелект във Валенсия, Испания, в интервю за Nature.

Майк Хикс, философ на науката и технологиите от Университета на Глазгоу, оценява ситуацията по-критично. Според него това наподобява явлението, наречено "измишльотини".

"Моделите стават по-добри в преструването, че знаят отговора," коментира Хикс пред Nature.

Моделите са били подложени на въпроси по различни теми, включително математика и география, както и на задачи за подреждане на информация по даден ред. По-големите и по-мощни модели са давали най-точни отговори на сложните въпроси, но при по-трудните теми показват по-ниска точност.

Сред най-големите "измислячи" са били моделите на OpenAI - GPT-4 и GPT-3.5, които са отговаряли почти на всички зададени въпроси, дори когато не разполагат с необходимата информация.

Всички модели, включени в изследването, са демонстрирали тази тенденция. Според проучването, моделите от семейството на LLaMA не са успели да достигнат дори 60% точност при най-лесните въпроси.

В заключение, колкото по-големи и сложни стават моделите - като брой параметри и обем на обучителните данни - толкова повече грешни отговори дават.

Въпреки това, моделите стават по-добри в отговорите на по-сложни въпроси. Проблемът, освен склонността им да "измислят", е че все още допускат грешки при лесните въпроси. Според изследователите, тези грешки трябва да предизвикват повече тревога, но заради впечатляващото представяне на моделите при по-сложни задачи, хората често пренебрегват очевидните им недостатъци.

Това води до тревожни изводи за начина, по който хората възприемат отговорите на тези AI системи. Причината е, че мнозинството от нас имат склонността да надценяват или да се предоверяват на изкуствения интелект.

Най-простият начин да се справим с този проблем, според изследователите, е да се програмират моделите да са по-предпазливи при отговарянето на трудни въпроси. "Може да се зададе праг, при който, ако въпросът е предизвикателен, моделът просто да отговори Не знам," казва Ернандес-Орало.

Въпреки това, честността може да не е в интерес на компаниите, които развиват тези технологии, тъй като ограничаването на отговорите само до нещата, които моделът знае, би разкрило ограниченията на технологията.