Anthropic изгражда система за прогнозиране на протести
Компанията използва външни услуги за ранно предупреждение и иска да премине към прогнозиране на "потенциални заплахи"
Anthropic изгражда система за прогнозиране на потенциални протести и други заплахи около свои служители и ръководители. Според разследване на American Prospect компанията използва данни от външни доставчици и планира да премине от реактивно към "проактивно" управление на сигурността, предава Futurism.
Системата следи за протести в близост до офисите на Anthropic и други потенциални прояви на обществено недоволство. American Prospect описва подхода като подобен на концепцията за "предотвратяване на престъпления", при която информацията се използва не само за реагиране на вече възникнала ситуация, но и за прогнозиране на бъдещи събития.
Според публикацията данните за системата са събрани идват от разговори с ръководители на отдела по сигурността на Anthropic и анализ на обяви за работа на компанията. Един от примерите е свързан с пътуване на ръководител на Anthropic до голям американски град. Компанията получила информация от Samdesk - фирма, която предоставя услуги за откриване и оценка на рискове.
"Миналата година имахме ръководител, който пътуваше до голям град, когато получихме информация от Samdesk за планиран протест", разказва Кион Елисън, ръководител на операциите по сигурността в Anthropic.
По-късно протестът бил преместен с един час по-рано заради проблем с разрешителните от полицията. Според Елисън Samdesk уведомила Anthropic около 60 минути предварително за промяната.
"Този допълнителен час беше от критично значение", казва той. По думите му без предупреждението ръководителите на компанията можели да излязат от срещите си точно когато протестиращите се събират.
Anthropic представя подобни системи като инструмент за защита на високопоставени ръководители и важни служители. Компанията обаче иска да разшири употребата им.
"Целта би била да преминем от реактивно събиране на информация към проактивно, прогнозно и превантивно управление на заплахите", казва служител на отдела по сигурността на Anthropic пред American Prospect.
Случаите не се ограничават до физически протести. Anthropic вече е подавала информация до полицията за разговори на потребители с нейния чатбот Claude.
През август компанията е подала сигнал до полицията в Сан Франциско за мъж, който е написал на Claude, че държи пушка и че изпълнителният директор на Anthropic Дарио Амодей е "на прицел". Според San Francisco Standard компанията е отказала да предостави на полицията самите чатове. Това означава, че сигналът е бил подаден без предоставяне на пълния разговор като доказателство за твърдението.
Случаят поставя допълнителни въпроси за границата между безопасността на AI системите, наблюдението и поверителността на потребителите. Според American Prospect крайната цел на Anthropic е да разполага с информация предварително и да може да прогнозира потенциални инциденти, вместо да реагира едва след възникването им. Получаването на повече информация би повишило точността на системата, но би довело и до разпростиране на система за масово наблюдение на гражданите.
Концепцията за прогнозиране на възникване на протести и потенциални заплахи напомня на антиутопичния екшън с Том Круз "Специален доклад" (Minority Report). В него човек можеше да бъде съден за престъпление, което все още не е извършил, но би могъл да го направи в бъдеще. Филмът е базиран на научнофантастичен разказ на Филип Дик от 1956 г. В историята специален отдел на полицията залавя и затваря хора за престъпления, които те все още не са извършили, но чието бъдещо осъществяване е предсказано с помощта на мутанти с паранормални способности. Мутантите обаче не винаги са единодушни и в прогнозите им може да има разминаване. Въпреки това системата крие възможните разминавания. Разказът поставя въпроса справедливо ли е да се наказва намерение или мисъл за бъдещо действие, при положение че човек може и да не го извърши. Зародишът на подобна идея може да се открие и в антиутопичната класика "1984" на Джордж Оруел. В романа "Полицията на мисълта" приравнява възникването на определени мисли с извършването на тежко престъпление.
Anthropic обаче не е първата компания, която планира да използва AI за предсказване на заплахи. Преди почти 10 години британския "Гардиън" написа, че компанията на Питър Тийл Palantir има подобна технология. Тя използва голямо количество данни, за да открива модели на поведение и да съобщава разузнаването и органите на реда по най-бързия начин за действията на наблюдаваните - в някои случай преди предприемането им. В действителност обаче се знаят много малко конкретни данни за възможностите на технологията.
Това, което се знае е, че Palantir предлага платформата Gotham на компании, държавни институции и правоохранителни органи. Тя обединява информация от различни източници, за да открива скрити зависимости и връзки между отделни набори от данни.
Сред обработваната информация могат да бъдат публикации в социалните мрежи, адреси, регистрационни номера на автомобили и данни за лични взаимоотношения. Gotham представя резултатите чрез графики и визуализации, които улесняват анализа на сложни взаимовръзки.
Много по-вероятно е технологиите на Palantir, а и на Anthropic, да оценя риска за случването на определено събитие, а не буквално да предсказват престъпления. Въпреки това за функционирането си те разчитат на наблюдението на хора, които не са извършили престъпление. Има опасност и от тяхното набелязване и поставяне в списък.
През 2018 година The Verge съобщи, че Palantir искал да използва Ню Орлианс като тестова площадка за предсказване на престъпления. Колаборацията между компанията и органите на реда в града продължила от 2012 до 2018. Според публикацията дори местните власти не били напълно наясно какво точно може технологията. Тогава от Palantir отказали коментар.