Робота научили распознавать еду и кормить людей с вилки

Созданного американскими учеными робота, который умеет распознавать еду на тарелке, захватывать ее и подносить ко рту человека, можно крепить к инвалидному креслу — получается, как указано на офсайте Вашингтонского университета, отличный помощник для людей, у которых нарушена подвижность верхних конечностей.

Уникальная технология, которую можно оценить в действии на видео ниже, была продемонстрирована на мероприятии NeurIPS 2018.

"Мы использовали двухсекционный роботизированный манипулятор Kinova JACO, к которому прикрепили захват и камеру глубины. Установив манипулятор на инвалидное кресло, мы разместили в задней части кресла вычислительный блок и источник энергии, необходимые для работы устройства", — рассказывает Сиддхартха Сриниваса, ведущий автор технологии.

Благодаря нейросетям, на основе которых работает управляющий манипулятором алгоритм, робот умеет распознавать овощи и фрукты, расположенные на тарелке. То есть, если на тарелке, кроме еды, будет присутствовать что-то несъедобное, робот не станет пытаться скормить этот объект человеку.

При этом, робот придерживается специфического подхода, необходимого для оптимального взаимодействия с разными типами фруктов и овощей — банан, например, робот накалывает под углом, чтобы тот не соскользнул с вилки.

Затем этим самым бананом нужно попасть человеку не в глаз, а в рот — в дело, соответственно, вступают довольно сложные алгоритмы распознавания лица, при настройке которых ученым пришлось решить массу специфических проблем.