Учени: AI агентите не могат да бъдат напълно надеждни
И има конкретни математически доказателства за това
Агентите с изкуствен интелект, базирани на големи езикови модели, имат вградени математически ограничения, които им пречат да изпълняват надеждно сложни функционални задачи. Това твърди научна разработка, цитирана от списание Wired, която до момента е останала сравнително незабелязана.
Проучването е дело на Вишал Сика - бивш главен технологичен директор на германския софтуерен гигант SAP - и неговия син Варин Сика. Макар трудът все още да не е преминал през рецензиране, авторите твърдят, че са доказали математически, че големите езикови модели не могат да изпълняват изчислителни и агентни задачи над определено ниво на сложност, като това ниво според тях е изненадващо ниско.
Вишал Сика е добре позната фигура в сферата на изкуствения интелект. Той е учил при Джон Маккарти - носител на наградата "Тюринг" и е ученият, който поставя основите на AI като научна дисциплина и въвежда самия термин "изкуствен интелект".
В интервю за Wired Сика заявява категорично, че езиковите модели не могат да бъдат напълно надеждни, което поставя под съмнение амбициозни сценарии като автономното управление на критична инфраструктура, включително атомни електроцентрали.
Авторите призовават вниманието да бъде насочено не към маркетинговите послания на технологичните компании, а към реалните изводи на техните изследователи. Самата AI индустрия вече признава съществуването на фундаментални ограничения. През септември учени от OpenAI например заявиха, че т.нар. "халюцинации" - ситуации, в които моделите уверено измислят неверни факти - остават широко разпространен проблем и че точността на тези системи никога няма да достигне 100 процента.
Това подкопава идеята за масово използване на AI агенти - автономни системи, предназначени да изпълняват задачи без човешка намеса, които през последната година бяха представяни като следващия голям пробив в индустрията. Някои компании, които са заложили на подобни агенти с цел съкращаване на персонал, впоследствие са установили, че системите не са способни да заместят хората, тъй като допускат твърде много грешки и не успяват да изпълнят дори базови задачи.
Водещи фигури в сектора твърдят, че проблемът с халюцинациите може да бъде овладян чрез допълнителни защитни механизми извън самите модели. В същото време, въпреки твърденията, че езиковите модели могат да се въздържат от отговор при несигурност, на практика повечето популярни чатботи не правят това, вероятно за да не изглеждат по-малко убедителни и ангажиращи за потребителите.
Въпреки критичните си изводи, Вишал Сика признава, че езиковите модели могат да бъдат полезни, ако се използват в комбинация с допълнителни компоненти. Според него ограниченията са присъщи на "чистите" LLM системи, но внимателно изградени архитектури около тях могат частично да компенсират тези слабости.