Двама изследователи от Калифорнийския университет в Бъркли и Швейцарския федерален технологичен институт в Цюрих разработиха метод за използване на големия езиков модел GPT-4o на OpenAI за контролиране на роботизирана ръка, която може да почиства разливи.

Целта на проекта е да демонстрира възможностите на езиковите модели в сфери, изискващи физическо взаимодействие, които на пръв поглед нямат връзка с езиковата обработка.

Екипът успява само за четири дни да обучи ръката, снабдена с обикновена гъба, да идентифицира и почиства разливи върху повърхности. В публикувано видео от Яник Гротхусен, един от изследователите, се показва как роботът получава инструкции, като първоначално описва наблюдаваното, например "Виждам гъба и малък разлив върху повърхността", а след това обяснява стъпките, които ще следва за почистване на масата.

Роботизираната ръка е обучена на база около 100 демонстрации на движения, като проектът използва контекстно-осъзната мултимодална платформа LangChain, която преобразува текстовите входове и изходи на езиковия модел в реални действия на робота с помощта на обучение чрез подсилване.

Гротхусен представя този проект като доказателство за концепция за контролирана от робот архитектура, която включва визуален езиков модел за взаимодействие между човек и робот, логическа обработка и координация на действията. Той отбелязва, че използването на изцяло отворен код, както за хардуера, така и за обучителния алгоритъм, също така подчертава възможността за демократизиране на роботиката чрез достъпни решения за персонална употреба.

Въпреки постигнатите резултати, дали концепцията ще прерасне в реален робот за домашно почистване остава несигурно.