Як навчити робота-дворецького для кота за допомогою ШІ: майбутнє робототехніки
· Азія
Новітні ШІ-моделі кардинально спрощують навчання роботів, дозволяючи за кілька годин створити складні алгоритми для домашніх помічників.
Ось проект, над яким я зараз працюю за допомогою штучного інтелекту: «робот-дворецький», завдання якого — пригощати мого улюбленого кота.
В основі цього проекту лежить «Microduck» — чарівний двоногий робот, створений стартапом з розробки робототехніки Pollen Robotics та платформою відкритого ШІ Hugging Face. Використовуючи модель OpenAI «GPT-6 Sol», я навчив Microduck пересуватися кімнатою в симуляції та знаходити мого бенгальського кота, що перебуває десь поруч.
На відео вище можна побачити, як віртуальний робот шкутильгає до своєї мети — кота. У правому верхньому куті відображається картинка, яку бачить сам робот.
Я терпляче чекаю, коли мені доставлять справжнього Microduck. Благаю, відправте його швидше! Проте, оскільки рухи, реалізовані в симуляції, відносно прості, я впевнений, що зможу відтворити їх і на фізичному пристрої.
Я планую оснастити цього робота функцією автоматичного видавання ласощів моєму бенгальському коту Леоні. Наприклад, механізм працюватиме так: коли робот вклоняється, з 3D-друкованого контейнера, закріпленого на його голові, випадає порція корму.
Що вражає, так це те, що на програмування та навчання цього віртуального робота у мене пішло лише кілька годин. Раніше на те, щоб просто зрозуміти, як підступитися до подібного завдання, могли піти тижні.
Це стало можливим завдяки тому, що новітні моделі OpenAI надзвичайно вправно розуміють і маніпулюють віртуальними середовищами, які відтворюють реальний світ у 3D. Вони здатні ефективно використовувати цю інформацію для генерації практичного коду, автономних дій агентів ШІ та навчання роботів.
Як ШІ змінює методи навчання роботів
Насправді, експерти з робототехніки вже досягають вражаючих результатів за допомогою новітніх моделей. У вересні, коли OpenAI представила «Astra», професор Каліфорнійського університету в Берклі Кен Голдберг та його студенти побачили демо, яке демонструвало здатність моделі генерувати 3D-зображення. Тоді вони замислилися: чи можна використати цю модель для симуляцій, необхідних для тренування різних типів роботів?
Однак, щоб складні дії — як-от танці гуманоїда чи захоплення предметів роботизованою рукою — можна було відтворити в реальному світі з такою ж точністю, як у симуляції, сама симуляція має бути надзвичайно деталізованою та точною.
Один із дослідників лабораторії Голдберга надав Astra доступ до симуляційного рушія NVIDIA «Newton». Потім він показав ШІ відеокліп, на якому рухається справжній робот, і дав завдання створити симуляцію цієї сцени.
«Ми всі були шоковані. Менш ніж за годину модель згенерувала 3D-симуляцію, у якій було налаштовано всі необхідні параметри: від положення камери та освітлення до фону та матеріалів об'єктів», — розповідає Голдберг.
За словами Голдберга, Astra може автоматизувати багато нудних завдань, пов'язаних із навчанням роботів у симуляційному середовищі, беручи на себе як проведення експериментів, так і перевірку результатів.
Я відчув те саме під час тренування віртуальної версії Microduck. У моєму випадку, окрім GPT-6 Sol, я використовував платформу для запуску агентів «Hermes» від розробників ШІ з відкритим кодом Nous Research, а також ПК з потужним ШІ-чипом — «NVIDIA DGX Spark».
Раніше я вже писав статті про те, як використовувати ШІ-агентів та моделі для кодування, щоб налаштовувати, програмувати та налагоджувати справжніх роботів. Зазвичай для цього потрібні глибокі спеціальні знання, але з сучасними моделями це стає простіше, ніж поснідати.
Проте можливості новітньої моделі OpenAI, яку я використав, виходять далеко за межі простого написання коду. Модель використовувала симуляційне програмне забезпечення NVIDIA «Isaac Sim», щоб надавати вказівки моделі керування віртуальним роботом, оцінювати його рухи на основі записаних відео та навіть пропонувати способи коригування навчання.
Так я зміг навчити Microduck ходити, не падаючи. Спочатку я намагався змусити GPT-6 Sol навчити робота «місячній ході». Я завантажив GIF-анімацію Майкла Джексона, що ковзає сценою, і намагався змусити робота наслідувати цей рух. Але після годин спроб і помилок усе, що вдалося отримати — це досить спритний біг задом наперед. Схоже, до того моменту, коли роботи повністю перевершать людей, ще далеко.
Настання епохи «вібробототехніки»
Джим Фан, дослідник NVIDIA, який співпрацює з Голдбергом, зазначає, що методи керування роботами за допомогою ШІ дуже схожі на принципи роботи програмних агентів. Так само як великі мовні моделі (LLM) отримують доступ до різноманітного програмного забезпечення на комп'ютері, вони можуть використовувати «візуально-мовні поведінкові моделі» (VLA), навчені керувати фізичними діями.
Команда дослідників на чолі з Фаном та Голдбергом представила фреймворк «Aspire» з відкритим кодом, який дозволяє роботам самостійно відкривати та використовувати нові навички. Як приклад, вони навели випадок, коли «GPT-6 Astra» за допомогою двох роботизованих рук самостійно навчилася збирати кубик Рубіка.
«Спочатку робот намагається підняти кубик і повернути його, але кути не збігаються, — каже Фан. — Потім він дуже довго "розмірковує", але в процесі поступово опановує необхідні навички і врешті-решт справляється із завданням».
У листопаді на міжнародній конференції з навчання роботів (CoRL) в Остіні, штат Техас, Фан виступив із ключовою доповіддю, в якій розповів про дивовижне відкриття: ШІ-моделі здатні автоматизувати багато етапів, необхідних для виконання роботами складних завдань. У демонстрації Фан доручив Astra керувати роботизованою рукою, щоб намалювати міст «Золоті ворота». Astra керувала рукою, використовуючи фарби та пензель, і блискуче впоралася із завданням.
Звісно, ефективне керування роботами залишається надзвичайно складним завданням, яке вимагає глибоких інженерних знань. Моя власна візуальна система для Microduck ще не досягла тієї точності, яка потрібна для реального продукту.
Проте, якщо завдяки ШІ роботів можна буде тренувати легко і швидко, це може суттєво змінити сферу виробництва та електронної комерції вже найближчим часом. За словами Голдберга, низка компаній, що займаються промисловою робототехнікою та автоматизацією, уже виявляють інтерес до цього підходу.
Так само, як кілька років тому поширився «вайб-кодинг» (vibe coding), захоплення інженерів та любителів роботів легкістю програмування та навчання роботів може призвести до прориву в галузі «вібробототехніки». І якщо мені вдасться закінчити цього робота-дворецького, мій кіт Леона більше ніколи не залишиться без смаколиків.
Оригінал: wired.jp