Браслет дозволяє носіям контролювати роботизовану руку своїми рухами

· Майбутнє

Браслет дозволяє носіям контролювати роботизовану руку своїми рухами

MIT створив браслет, що дозволяє носіям контролювати роботизовану руку, імітуючи власні рухи.

Випускник Діан Лі працює з роботизованою рукою. Автор: Мелані Гонік.

Наступного разу, коли ви будете пролистувати телефон, зупиніться на хвилинку, щоб оцінити цю майстерність: здавалося б, повсякденний акт можливий завдяки координації 34 м’язів, 27 суглобів і понад 100 сухожиль та зв’язок у вашій руці. Справді, наші руки є 가장 спритними частинами нашого тіла. Відтворення їх багатьох нюансованих жестів завжди було тривалим викликом у робототехніці та віртуальній реальності.

Тепер інженери MIT розробили ультразвуковий браслет, який точно відстежує рухи руки носія в реальному часі. Браслет генерує ультразвукові зображення м’язів, сухожиль та зв’язок зап’ястя, поки рука рухається, і поєднаний з алгоритмом штучного інтелекту, який постійно перекладає зображення в відповідні позиції п’яти пальців і долоні.

Дослідники можуть навчити браслет вивчати рухи руки носія, які девайс може повідомляти в реальному часі роботу або віртуальному середовищу.

На демонстраціях команда показала, що людина, що носить браслет, може бездротово контролювати роботизовану руку. Коли людина жестикулює або вказує, робот робить те ж саме. У своєрідній бездротовій взаємодії з маріонетками, носій може маніпулювати роботом, щоб зіграти просту мелодію на піаніно та закинути маленький м’яч у настільну корзину. За допомогою того самого браслета, носій також може маніпулювати об’єктами на комп'ютерному екрані, наприклад, стискаючи пальці, щоб збільшити або зменшити віртуальний об’єкт.

Команда використовує браслет, щоб зібрати дані про рухи руки від багатьох користувачів з різними розмірами рук, формами пальців і жестами. Вони планують створити велику базу даних рухів рук, яку можна використовувати, наприклад, для навчання гуманоїдних роботів у спритних завданнях, таких як виконання певних хірургічних процедур. Ультразвуковий браслет також може бути використаний для захоплення, маніпуляції та взаємодії з об’єктами у відеоіграх, дизайнерських застосунках або інших віртуальних налаштуваннях.

"Ми вважаємо, що ця робота має безпосередній вплив на можливу заміну технологій відстеження рук на носимі ультразвукові браслети у віртуальній та доповненій реальності," говорить Сюанхе Чжао, професор механічної інженерії в MIT. "Це також може забезпечити величезні обсяги навчальних даних для спритних гуманоїдних роботів."

Чжао, Генксі Лу та їх колеги представляють новий дизайн браслета в статті, яка з'явилася в Nature Electronics. Їхні співавтори з MIT — колишні постдоки Сяоюй Чен, Шуконг Лі та Болей Дэнг; аспіранти СеонгХьон Кім та Діан Лі; постдоки Шу Ван і Жунцзе Лі; і Ананха ЧандракаSan, провост MIT та професор електротехніки та комп'ютерних наук. Інші співавтери — аспіранти Юшун Чжен і Цзюньханг Чжан, Баоціан Лю, Чень Гонг та професор Цюфа Чжоу з Університету Південної Каліфорнії.


Бачачи нитки

На даний момент існує кілька підходів до захоплення та відтворення спритності людської руки в роботах. Деякі підходи використовують камери для запису рухів людини, оскільки вона маніпулює об’єктами або виконує завдання. Інші передбачають, що людина носить рукавичку з датчиками, яка записує рухи руки та передає дані до отримуючого робота. Але створення складної камери для різних застосувань є непрактичним і схильним до візуальних перешкод. А рукавички, наповнені датчиками, можуть обмежити природні рухи і відчуття руки.

Третій підхід використовує електричні сигнали з м’язів зап’ястя чи передпліччя, які вчені потім корелюють зі специфічними рухами руки. Дослідники досягли значних успіхів у цьому підході, однак ці сигнали легко піддаються впливу шуму в навколишньому середовищі. Вони також не є достатньо чутливими, щоб розрізнити тонкі зміни у рухах. Наприклад, вони можуть визначити, чи схрещені разом великий палець та вказівний палець, чи розведені, але не можуть визначити багато з проміжного шляху.

Команда Чжао задумалася, чи може ультразвукове зображення захопити більш спритні та безперервні рухи руки. Його група розробляє різні форми ультразвукових наклейок — мініатюрні версії перетворювачів, які використовуються в лікарнях, що поєднуються з гідрогелевим матеріалом, який може безпечно приклеюватись до шкіри.

У новому дослідженні команда інтегрувала дизайн ультразвукової наклейки в носимий браслет для безперервного зображення м’язів та сухожиль зап’ястя.

"Сухожилля та м’язи у вашому зап’ясті — це як нитки, що тягнуть маріонетки, якими є ваші пальці," говорить Лу. "Отже, ідея полягає в тому, що кожного разу, коли ви робите знімок стану ниток, ви будете знати стан руки."


Картографування маніпуляцій

Команда спроектувала браслет з ультразвуковою наклейкою, яка за розміром нагадує смарт-годинник, і додала вбудовану електроніку, що приблизно такої ж розміру, як мобільний телефон. Вони прикріпили браслет до зап’ястя волонтера і підтвердили, що девайс виробляє чіткі та безперервні зображення зап’ястя, поки волонтер рухав пальцями в різних жестах.

Тоді виникла проблема — як співвіднести чорно-білі ультразвукові зображення зап’ястя зі специфічними позиціями руки. Виявилося, що пальці та великий палець здатні на 22 ступені свободи, або різні способи розширення або нахилу. Дослідники знайшли, що вони можуть визначити конкретні області в своїх ультразвукових зображеннях зап’ястя, які корелюють з кожним з цих 22 ступенів свободи. Наприклад, зміни в одній області стосуються розширення великого пальця, тоді як зміни в іншій області корелюють з рухами вказівного пальця.

Щоб встановити ці зв’язки, волонтер, що носить браслет, рухав рукою в різних положеннях, поки дослідники записували жести за допомогою кількох камер, що оточують волонтера. Співвідношуючи зміни в певних областях ультразвукових зображень зі зафіксованими положеннями рук камерами, команда могла маркувати області зображень зап’ястя відповідними ступенями свободи руки. Але зробити це постійно та в реальному часі було б неможливим завданням для людей.

Отже, команда звернулася до штучного інтелекту. Вони використали алгоритм штучного інтелекту, який можна навчити розпізнавати візерунки зображень та корелювати їх із конкретними етикетками і, у цьому випадку, різними ступенями свободи руки. Дослідники тренували алгоритм за допомогою ультразвукових зображень, які вони ретельно позначали, анотувавши регіони зображення, пов’язані зі специфічним ступенем свободи. Вони протестували алгоритм на новому наборі ультразвукових зображень і виявили, що він правильно передбачив відповідні жести руки.

Як тільки дослідники успішно поєднали алгоритм штучного інтелекту з браслетом, вони протестували пристрій на більшій кількості волонтерів. Для нового дослідження вісім волонтерів з різними розмірами рук і зап’ясть носили браслет під час виконання різних жестів і захватів, включаючи виконання знаків для всіх 26 літер американського жестової мови. Вони також тримали об'єкти, такі як тенісний м'яч, пластикова пляшка, пара ножиць і олівець. У кожному випадку браслет точно відстежував і передбачав позицію руки.

MIT інженери розробили ультразвуковий браслет, який точно відстежує рухи руки носія в реальному часі. Браслет виробляє ультразвукові зображення м’язів, сухожиль та зв’язок зап’ястя, поки рука рухається. Автор: Мелані Гонік.

Щоб продемонструвати потенційні застосування, команда розробила просту комп’ютерну програму, яку вони бездротово поєднали з браслетом. Коли носій виконував рухи стискання та захоплення, інформація відповідала збільшенню та зменшенню об’єкта на комп’ютерному екрані, а також віртуальному переміщенню та маніпуляції ним плавно та безперервно.

Дослідники також протестували браслет як бездротовий контролер простий комерційної роботизованої руки. Носіючи браслет, волонтер виконував рухи гри на клавіатурі. Робот, своєю чергою, імітував рухи в реальному часі, щоб зіграти просту мелодію на піаніно. Той самий робот також зміг імітувати дотики пальців людини для гри в настільну гру з баскетболу.

Чжао планує подальше зменшити розміри апаратного забезпечення браслета, а також навчити програмне забезпечення штучного інтелекту на багатьох інших жестах та рухах від волонтерів з різноманітнішими розмірами та формами рук. Врешті-решт, команда прагне створити носимий трекер для рук, який може носити будь-хто, щоб бездротово маніпулювати гуманоїдними роботами або віртуальними об’єктами з високою спритністю.

"Ми вважаємо, що це найсучасніший спосіб відстеження спритних рухів руки за допомогою носимого зображення зап’ястя," говорить Чжао. "Ми вважаємо, що ці носимі ультразвукові браслети можуть забезпечити інтуїтивно зрозумілі та універсальні елементи керування для віртуальної реальності та роботизованих рук."

Це дослідження було підтримано частково MIT, Національними установами охорони здоров'я США, Національним науковим фондом США, Міністерством оборони США та Національним фондом досліджень Сінгапуру через Альянс Сінгапур-MIT з досліджень та технологій.

Оригінал: robohub.org

Про Що? — новини науки, технологій і світу