17-11-2017 20-11-2018

Специалист по безопасността в OpenAI напусна компанията поради "загуба на доверие"

Компанията на Сам Алтман не действа с достатъчна сериозност относно рисковете от един по-умен от човека изкуствен интелект

Снимка: iStock by Getty Images

Специалист по безопасността в OpenAI напусна компанията поради "загуба на доверие"

10:56 | 14 май 2024 | Редактор : Стоян Гогов 0 1076 Снимка: iStock by Getty Images

Специалист по безопасността на OpenAI напусна работата си, твърдейки в онлайн форум, че е загубил увереност, че компанията ще "се държи отговорно след създаването на изкуствен общ интелект (AGI)". Терминът AGI означава изкуствен интелект с равни на човека или по-големи способности. Към днешно време алгоритмите са твърде тясно специализирани и ограничени.

Както съобщава Business Insider, изследователят Даниел Кокотайло, докторант по философия, който е работил в екипа за управление на OpenAI, напусна компанията миналия месец.

В няколко последващи публикации във форума LessWrong, Кокотайло обясни своето "разочарование", довело до напускането му.

OpenAI игнорирали растящия брой призиви изследванията свързани с AGI да бъдат временно поставени на пауза.

Експертите отдавна предупреждават за потенциалните опасности от AI, който надхвърля когнитивните способности на хората.

Миналата година над 1100 експерти по изкуствен интелект, изпълнителни директори и изследователи - включително шефът на SpaceX Илон Мъск - подписаха отворено писмо, призоваващо за шестмесечен мораториум върху "експериментите с изкуствен интелект".

"Мисля, че повечето хора, които настояват за пауза, се опитват да се борят срещу въвеждането на "селективна пауза". Те искат действителна пауза, която би се приложила към големите лаборатории, които са в челните редици на AI-прогреса", пише Кокотайло.

Въвеждането на "селективна пауза" би оставила вратичка за заобикалянето ѝ от големите корпорации, а последните се "нуждаят най-много от пауза", пише Кокотайло.

"Разочарованието ми от това е част от причината, поради която напуснах OpenAI", заключи той.

Кокотайло напусна около два месеца след като инженерът изследовател Уилям Сондърс също напусна компанията.

Екипът на Superalignment, част от който Сондърс беше в OpenAI в продължение на три години, включваше още бившия главен учен на OpenAI Иля Суцкевер и неговия колега Ян Лейке.

Основната задача на екипа бе да гарантира, че "системите с изкуствен интелект, много по-умни от хората, следват човешките намерения".

"Суперинтелектът ще бъде най-въздействащата технология, която човечеството някога е измисляло, и може да ни помогне да разрешим много от най-важните проблеми в света", се казва в описанието на екипа на компанията. "Но огромната сила на суперинтелигентността също може да бъде много опасна и може да доведе до обезвластяване на човечеството или дори до изчезване на човека."

Вместо да има "решение за управление или контролиране на потенциално суперинтелигентен AI и предотвратяването му да стане измамник", компанията се надява, че "научните и технически пробиви" могат да доведат до също толкова свръхчовешки инструмент за "изравняване", който може да поддържа системи, които са "много по-умни от нас" в шах.

Но като се има предвид напускането на Сондърс, изглежда, че не всички в екипа на Superalignment са съгласни със способността на компанията да контролира евентуален AGI.

За да бъде ясно, всичко това все още е изцяло теоретична дискусия. Въпреки множеството прогнози на експерти, че AGI е само въпрос на години, няма гаранция, че някога ще достигнем точка, в която AI да надмине хората. Притесненията на специалистите обаче са основателни.

ИЗБРАНО