ПО МОЕМУ ХОТЕНЬЮ... БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС
Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).
Мысль может стать физической силой
Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром - это материализация их мысленных желаний.
Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа 1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов 2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).
Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал "восприятия", "мышления".
Как все начиналось
Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга. С тех пор многие исследователи неоднократно хотели научиться "читать мысли", пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных.
Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).
В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-компьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.
Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.
Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.
Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временны' е картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана. Процесс тренировки не прост, занимает много времени, но результат стоит того.
Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.
Берлинский НКИ
Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофера и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.
Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4-5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.
Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой - в области левого полушария. Было установлено, что заметное повышение потенциала происходит за 0,5-0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, то есть на некоторое время "успокоиться", а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды - за это время он достигает соответствующих мышц.
Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.
После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.
Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер "понимает" его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя - не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ - успевать обрабатывать и реализовывать сигналы, полученные от пользователя, в реальном времени.
В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75-90% за 0,2-0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.
Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд "влево", "вправо", "на месте" разбивается на две более простые: "движение", "покой" и "лево", "право". Формирование команды управления происходит по логическому правилу: если "движение", тогда "лево" или "право", иначе "покой".
Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.
От теории к практике
В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.
Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить "мысленную пишущую машинку" и "виртуальную руку".
На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу "бегущий крест". Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды "движение", а горизонтальная координата - при поступлении команды "право" или "лево". Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.
Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. "Машинка" позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.
В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.
С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.
Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре "теннис", первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).
Для реализации подобной игры вполне подходит БНКИ. Во время игры "мяч" движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается "ракетка", управляемая "силой мысли", так, чтобы в нужный момент перехватить "мяч". Разумеется, в такой "мысленный теннис" могут сражаться два игрока одновременно.
Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.
Другим приложением БНКИ стала игра "диггер". Курсор представляет собой путешественника (зеленый кружок с "носом", указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не "упрется" в стену. В местах ответвлений пользователь может дать одну из команд: "налево" или "направо".
Сценарий, аналогичный используемому в игре "диггер", можно применить к управлению инвалидной коляской. "Умная" коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: "поверни налево (направо) при следующей возможности", "двигайся вперед (назад) при отсутствии помех" и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.
Игра в "мысленный тетрис" требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).
Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. "Виртуальная рука", изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.
А кто исправит ошибку?
Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них - генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. "Недовольство" пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4-0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.
Что нас ждет впереди?
Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях - именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью "силы мысли".
Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей "поведения" соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными "картами" головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3-7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.
Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.
Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.
В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.
1 В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере.
2Об интерфейсах рассказывается в заметке, помещенной после статьи.
Иллюстрация "Общая модель нейро-компьютерного интерфейса".
Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.
Иллюстрация "Нейро-компьютерный интерфейс".
В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.
Иллюстрация "Еще один нейро-компьютерный интерфейс (НКИ)".
На кривых 27 каналов электроэнцефало-графа (F3-O1) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также электроокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим по-следующим действием (вершины треугольников).
Иллюстрация "Общая схема обработки данных в БНКИ".
Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими "рабочими", каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором - производятся выбор признаков, их классификация по типам (например, "есть движение - нет движения" или "движение вправо - движение влево") и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.
Читайте в любое время
