Националният институт по стандартизация и технологии (NIST), част от Министерството на търговията на САЩ, който разработва и тества технологии за правителството на САЩ, компаниите и обществеността, представи актуализирана тестова база Dioptra. Тя е предназначена за оценка на това как злонамерените атаки, включително тези, насочени към "отравяне" на езиковите модели за големи данни, използвани за обучение, влияят върху влошаването на производителността на системите за изкуствен интелект.

Първата версия на модулния уеб-базиран инструмент с отворен код Dioptra беше представена през 2022 година. Актуализираният софтуер трябва да помогне на разработчиците на модели на AI и на хората, които използват тези алгоритми, да оценяват, анализират и наблюдават рисковете, свързани с AI. NIST заяви, че Dioptra може да се използва за сравнителен анализ и изследване на модели на изкуствен интелект, както и като обща платформа за симулиране на въздействието върху моделите на различни видове заплахи.

"Тестването на въздействието на атаките на противници върху моделите за машинно обучение е една от целите на Dioptra. Софтуерът с отворен код е достъпен за безплатно изтегляне и може да помогне на общността, включително на правителствени агенции, малки и средни компании, при провеждането на оценки за проверка на твърденията на разработчиците на AI за производителността на техните системи", се казва в съобщението на NIST.

Заедно с Dioptra разработчиците са публикували поредица от документи, очертаващи начини за намаляване на рисковете, свързани с моделите на AI. Софтуерът е създаден като част от инициативата, подкрепена от президента на САЩ Джо Байдън, която насочва NIST, наред с други неща, да подкрепя тестването на системи за AI. Инициативата установява и редица стандарти за сигурност за AI, включително изисквания към компаниите, разработващи алгоритми за AI, да уведомяват федералното правителство и да съобщават резултатите от оценките на риска за сигурността, преди AI да бъде предоставен на широката общественост.

Сравнителният анализ на AI е предизвикателство, отчасти защото сложните алгоритми към момента са черни кутии, чиято инфраструктура, данни за обучение и други ключови подробности се пазят в тайна от разработчиците. Някои експерти са склонни да смятат, че само оценките не са достатъчни, за да се определи доколко безопасен е AI в реалния свят, отчасти защото разработчиците имат възможност да избират кои тестове ще бъдат проведени за оценка на техните модели на AI.

NIST не твърди, че Dioptra ще може да елиминира всички рискове за системите с AI. Въпреки това разработчиците на този инструмент са уверени, че той може да хвърли светлина върху това какви видове атаки могат да направят дадена AI система по-малко ефективна, както и да оцени негативното въздействие върху работата на алгоритъма. Имайте предвид, че Dioptra може да работи само с модели, които могат да бъдат изтеглени на устройство и използвани локално.

ИЗБРАНО
От форум в НДК: Обявиха национален протест на 31 май в защита на лева Днес
От форум в НДК: Обявиха национален протест на 31 май в защита на лева
40072
Нана Гладуиш: Много е тежко да осъзнаеш, че не си могла да помогнеш на собствената си сестра Лайф
Нана Гладуиш: Много е тежко да осъзнаеш, че не си могла да помогнеш на собствената си сестра
20983
В официално становище: МОК призна Весела Лечева за председател на БОК Корнер
В официално становище: МОК призна Весела Лечева за председател на БОК
8388
GFCC приветства България като нов партньор в глобалната мрежа за икономически растеж Бизнес
GFCC приветства България като нов партньор в глобалната мрежа за икономически растеж
2732
Монументален релеф на последния асирийски владетел беше открит в древна Ниневия Impressio
Монументален релеф на последния асирийски владетел беше открит в древна Ниневия
1441
Как загубихме улицата и как можем да си я върнем URBN
Как загубихме улицата и как можем да си я върнем
2246
500 дни в мрака: Тайният живот в Пещерата на свещеника - убежище от Холокоста в една от най-дългите пещери в света Trip
500 дни в мрака: Тайният живот в Пещерата на свещеника - убежище от Холокоста в една от най-дългите ...
1490
Дегустирането - не просто опитване, а изкуството да познаваш вкусовете Вкусотии
Дегустирането - не просто опитване, а изкуството да познаваш вкусовете
108