Nvidia обучава хуманоидни роботи с помощта на очилата Apple Vision Pro

Снимка: БТА/АР

Nvidia обучава хуманоидни роботи с помощта на очилата Apple Vision Pro

Разработчиците симулират данните в NVIDIA Isaac Sim

16:50 | 6 август 2024 | Редактор : Кристиан Антонов 0 214 Снимка: БТА/АР

Компанията Nvidia използва очила за добавена реалност Apple Vision Pro, за да разработи хуманоиден робот, пише 9to5Mac. Разработчиците обучават модела за изкуствен интелект Project GR00T за хуманоидния робот, като използват реални и синтетични данни, което им позволява да спестят време и да намалят разходите.

Обучението на основни модели на ИИ за хуманоидни роботи изисква огромно количество данни. Един от начините за улавяне (дигитализиране) на човешките движения е телеоперацията - управление на робот с цел копиране на човешките движения - което е все по-скъп и отнемащ време процес, отбелязват от Nvidia.

На конференцията за компютърна графика SIGGRAPH миналия месец Nvidia представи еталонна работна програма за телеоперация с помощта на Nvidia AI и Nvidia Omniverse, която позволява на изследователите и разработчиците на изкуствен интелект да генерират огромни количества синтетични данни за движение и възприятие от минимално количество дистанционно заснети човешки движения.

За улавяне на човешки движения се използват очилата за добавена реалност Apple Vision Pro. След като записват малък брой демонстрации на телеуправляеми движения с Apple Vision Pro, разработчиците симулират данните в NVIDIA Isaac Sim, референтно приложение за проектиране, моделиране, тестване и обучение на роботи, базирани на изкуствен интелект, и използват микроуслугата MimicGen NIM, за да генерират синтетични набори от данни от записите. Това означава, че те разширяват базата данни с реални демонстрации на движение със синтетични набори от данни.

Използвайки получената база данни, се обучава моделът на хуманоидния робот Project GR00T. След това разработчиците използват микроуслугата Robocasa NIM в Isaac Lab, рамка за обучение на роботи, за да генерират опит за повторно обучение на робота.

ИЗБРАНО