Генерирането на код с AI е силно надценено
Резултатите не оправдават очакванията, сочи новият доклад
Индустрията на изкуствения интелект даде големи обещания, че технологиите ѝ ще повишат продуктивността на разработчиците, позволявайки им да генерират огромни количества код само с текстови команди.
Но, както съобщава The Register, тези твърдения изглеждат силно преувеличени. Изследователи установяват, че подобренията в продуктивността са в най-добрия случай скромни — а в най-лошия случай AI дори може да забавя програмистите.
В нов доклад на консултантската компания Bain & Company се казва, че въпреки че програмирането е "една от първите области, в които се внедри генеративен AI", "спестяванията са незначителни".
"Генеративният AI се появи с огромни очаквания и много компании побързаха да стартират пилотни проекти," пише в доклада. "Но резултатите не оправдаха надеждите."
На първо място, "приемането от страна на разработчиците е ниско" дори в компаниите, които вече са въвели AI инструменти.
Още по-лошо, докато някои асистенти дават "10-15% повишаване на продуктивността", в повечето случаи тези спестявания "не водят до положителна възвръщаемост".
Това е поредното предупреждение, че дори в една от най-обещаващите области индустрията на AI се бори да оправдае огромния шум около себе си — въпреки че в разработването ѝ се наливат милиарди, а анализаторите вече се тревожат за потенциален "AI балон".
През юли едно остро изследване на неправителствената организация Model Evaluation & Threat Research установи, че AI инструментите за програмиране не само че не постигат очакваните резултати, но и могат да забавят разработчиците.
"Изненадващо е, че когато програмистите използват AI инструменти, те работят с 19% по-бавно, отколкото без тях — AI ги забавя," пишат авторите. Причината са т.нар. халюцинации, които принуждават програмистите да отделят допълнително време за почистване и проверка на кода. Инструментите се представят още по-зле при големи и сложни хранилища с код, често неразбирайки контекста.
През тази година и Stack Overflow отчете в свое проучване, че доверието на разработчиците в AI инструментите рязко е спаднало — въпреки че все повече хора ги използват. Много от тях посочват, че решенията, които AI предлага, са "почти верни, но не съвсем".
"Една от най-изненадващите констатации беше значителната промяна в нагласите към AI спрямо предишни години: повечето разработчици го използват, но го харесват по-малко и му се доверяват по-малко," каза Ерин Йепис, старши анализатор в Stack Overflow, пред VentureBeat през юли.
"Това е изненадващо, защото при толкова инвестиции и внимание в новините, очаквах доверието да расте с подобряването на технологията," добавя тя.
Остава да се види дали новото поколение "агентни AI", създадени да изпълняват поредица от задачи самостоятелно, ще промени ситуацията.
"Agentic AI вече преобразява бизнеса и само тези, които действат решително — като преосмислят архитектурата, екипите и начините на работа — ще отключат пълната му стойност," пише още в доклада.
Освен че забавят програмистите, експерти предупреждават, че AI асистентите за код могат да доведат и до сериозни проблеми със сигурността. Според скорошен доклад на фирмата Apiiro, разработчици, които използват AI, произвеждат десет пъти повече уязвимости в кода в сравнение с колегите си, които не го използват.
Остава и проблемът с липсата на общоприета методика за измерване на продуктивността — сериозен пропуск, като се има предвид, че в AI вече са инвестирани милиарди долари.
Според Bain & Company компаниите трябва да се ангажират изцяло, ако искат да реализират обещаните ползи.
"Истинската стойност идва от прилагането на генеративен AI в целия жизнен цикъл на разработката на софтуер, не само в кодирането," гласи докладът. "Почти всеки етап може да се възползва — от ранното проучване и събиране на изисквания, през планиране и дизайн, до тестване, внедряване и поддръжка."
"Широкото внедряване обаче изисква промени в процесите," добавят консултантите. "Ако AI ускорява кодирането, тогава и прегледът на кода, интеграцията и пускането трябва да се ускорят, за да се избегнат задръствания."