С самых ранних дней перфокарт, общение с компьютерами всегда было связано с трудностями. Является ли это клавиатурой и мышью, джойстиком или контроллером, вынимающим мысли из головы в машину, требуются многочисленные, неинтуитивные процессы. Но пока мы не начнем внедрять USB-порты в наши мозги и напрямую скачивать наши мысли, нам придется обойтись с нейронными сигнальными браслетами, разработанными CTRL-Labs.

«Когда ваш мозг хочет пойти и что-то сделать в этих виртуальных пространствах, он должен послать сигнал в вашу мышцу, которая должна переместить вашу руку, которая должна переместить устройство, которое должна получить система и превратить это в какое-то действие», - объяснил Майк Астольфи, глава интерактивного опыта в CTRL-Labs. «И мы думаем, что мы можем удалить не только мышь или контроллер из этого уравнения, но и почти вашу руку».

Устройство, пока еще неназванное, по сути, является браслетом EMG. Оно ощущает изменения электрического потенциала в мышцах рук пользователя, «сигнал, который посылают ваши двигательные нейроны ... импульсы, которые они собираются отправить в мышцы в руке, которые будут тянуть сухожилия и соединяться с вашими пальцами, - сказал Астольфи. Эта информация затем возвращается обратно в алгоритм машинного обучения, который позволяет системе восстанавливать то, что делает рука.

Измерение электрических импульсов через руку, а не скальп, как это делают при традиционной электроэнцефалографии, помогает повысить точность сигнала. «Когда вы кладете электроды на голову, вы имеете дело со всеми другими электрическими сигналами, которые ваш мозг выпускает. Статично из сознания и видения, и получая ощущения от тела», - объяснил Астольфи. «Когда вы опускаетесь ниже области, такой как рука, ваше тело уже выполнило всю фильтрацию для вас». То есть, сигналы, проходящие через рычаг, обозначают намеренное действие, «поэтому он на самом деле дает намного более чистый сигнал, а затем намного большую плотность сигнала, когда мы начинаем углубляться в более мелкое зерно, обнаруживающее всплески нейронов».

При использовании более чистого сигнала система не должна работать так, чтобы интерпретировать намерения пользователя, что, в свою очередь, помогает снизить кривую обучения, необходимую для акклиматизации ее использования. «Вы можете научиться делать это за 30 секунд до минуты», - сказал Астольфи. Возьмите виртуальную реальность, например. Большинство современных VR-систем (несмотря на Leap Motion) все еще полагаются на карманные контроллеры для тиражирования рук пользователя в виртуальном пространстве. Более того, эти контроллеры предлагают только от 3 до 6 степеней свободы, по сравнению с 48 человеческими руками.

В приложении VR «мы работаем над тем, чтобы пользователи могли подойти, одеть браслет, не заниматься какой-либо подготовкой, и быть в состоянии немедленно все свернуть», - сказал Астольфи. «Они могут начать использовать его с помощью обобщенной модели».

Визуализация того, что браслеты «видят» как жест рук пользователя

Браслеты позволят пользователям использовать свои руки как игровые контроллеры. «У нас есть возможность позволить пользователю на самом деле настроить сигнал, который они отправляют в устройство, - продолжил он. «Мы называем это адаптивным обучением. Идея заключалась бы в том, что устройство будет изучать любой жест, который делает пользователь, и использовать его для управления чем-то внутри игры».

Например, одна из ранних демонстраций CTRL-Labs использует ваши руки для прицеливания и стрельбы по цифровым снарядам на виртуальной цели. «Вы можете делать все, что захотите, чтобы создать это, - сказал он. «Пока вы согласны, система узнает об этом». Поскольку алгоритм учится с нуля, пользователь может запрограммировать любое движение или жест, который соответствует их потребностям или возможностям.

Такая система может стать благом для пользователей с проблемами ловкости или мобильности, поскольку, как только алгоритм определяет, какие сигналы мышц переводят в какие-либо экранные действия, нет необходимости держать контроллер или даже делать заметные движения рук.

«Поскольку мы на самом деле смотрим на сигналы мышц и не отслеживаем это фактическое движение пальцев, вы можете начать абстрагироваться от необходимости нажимать пальцами», - пояснил он. «Таким образом, в зависимости от того, что вы тренируетесь в системе, вы можете тренировать небольшое мышечное подергивание или фактически только начальный шип нейронного двигателя, фактически не приводя к физическому движению пальца».

Эта система может в конечном итоге привести к более гибкому протезированию, однако первоначально компания фокусируется на трех конкретных приложениях для браслета: VR-игры, навигации в 3D-средах, таких как погружные модели AutoCAD или Autodesk, и робототехника.

К сожалению, компания еще не установила дату выпуска браслета, хотя надеется начать выпуск своего dev-комплекта в следующем году. Всякий раз, когда технология достигла совершеннолетия, «мы считаем, что у этого есть потенциал, чтобы действительно стать доминирующим способом взаимодействия с компьютерами в будущем», - заключил Астольфи.