Достижение Meta: точность преобразования мозговых сигналов в текст — 61%, исходный код опубликован как open-source.

Meta на этой неделе выпустила Brain2Qwerty v2 — неинвазивную систему интерфейса мозг-компьютер, которая записывает нейронную активность с помощью шлемообразного MEG-сканера (магнитоэнцефалография) и напрямую декодирует целевой текст с помощью сквозной модели глубокого обучения. Средняя точность распознавания слов достигает 61%. Meta также открыла исходный код и набор данных в рамках своего Digital Brain Project и учредила фонд в размере 5 миллионов долларов.

Техническая архитектура Brain2Qwerty v2: масштаб обучения и метод сквозного декодирования

Система использует сквозную модель глубокого обучения, которая декодирует выходной текст напрямую из исходных MEG-сигналов мозга, без промежуточных этапов ручной обработки; большая языковая модель на последнем этапе корректирует ошибки, вызванные шумом, на основе семантического контекста.

Масштаб обучающих данных: около 22 000 предложений, 9 добровольцев, примерно по 10 часов записи на каждого. Meta отмечает, что точность будет продолжать расти по мере увеличения объёма обучающих данных. Для сравнения, в версии v1 уровень ошибок в символах (CER) при использовании MEG составлял около 32%; при замене на ЭЭГ (электроэнцефалографию) он возрастал до примерно 67%.

Технические преимущества MEG и ограничения существующего оборудования

MEG использует сверхпроводящие датчики для обнаружения чрезвычайно слабых магнитных полей, возникающих при активности нейронов. Проникающая способность магнитного поля лучше, чем у ЭЭГ, сигнал относительно чище; однако шлем MEG стоит несколько миллионов долларов и требует специальной среды для экранирования внешних магнитных полей, что долгое время ограничивало его использование нейронаучными лабораториями, без выхода на клиническое или потребительское применение.

Brain2Qwerty v2 достигает точности 61% при таких ограничениях оборудования, приближаясь к уровню, который ранее был доступен только имплантируемым интерфейсам (например, Neuralink). Meta выбрала неинвазивный подход, исходя из того, что хирургический порог имплантируемых интерфейсов делает их неприемлемыми для большинства потенциальных пользователей.

План Meta по открытому исходному коду: Digital Brain Project и фонд в 5 миллионов долларов

При выпуске Brain2Qwerty v2 Meta также опубликовала исходный код системы и набор обучающих данных как часть Digital Brain Project. Кроме того, Meta учредила фонд в 5 миллионов долларов, предназначенный для поддержки создания открытых нейронаучных наборов данных.

Meta отмечает, что одним из узких мест в исследованиях неинвазивных BCI является отсутствие открытых крупномасштабных нейронных наборов данных; в настоящее время разные исследовательские учреждения с крайне низкой эффективностью повторно собирают базовые данные. Этот фонд направлен на стимулирование сообщества к созданию эталонных баз данных.

Часто задаваемые вопросы

В чём ключевое техническое различие между неинвазивными и имплантируемыми интерфейсами мозг-компьютер?

Имплантируемые интерфейсы (например, Neuralink) вживляют электроды непосредственно в кору головного мозга, что даёт чистый сигнал, низкую задержку и высокую точность, но требует хирургического вмешательства. Основная проблема неинвазивных методов — соотношение сигнал/шум: череп и кожа головы сильно ослабляют сигнал, особенно при ЭЭГ; MEG имеет относительно лучшую проникающую способность, но стоимость оборудования и требования к среде ограничивают его распространение.

Какое техническое значение имеет «сквозная» модель Brain2Qwerty v2?

Сквозная модель декодирует выходной текст напрямую из исходных MEG-сигналов, без необходимости ручного введения исследователями промежуточных этапов (например, сначала идентификация определённых событий в ЭЭГ, затем поэтапное выведение букв). В процессе разработки Meta также систематически исследовала возможности оптимизации конвейера декодирования с помощью AI-агентов, и инженеры выбрали окончательную конфигурацию обучения.

Когда эта система может выйти на клинический или коммерческий рынок?

Brain2Qwerty v2 в настоящее время тестируется на лабораторном MEG-оборудовании и находится на стадии исследовательской системы; она ещё не прошла клинические испытания и не коммерциализирована. Meta заявляет, что точность ещё можно повысить, но сроки выхода на клинический или коммерческий уровень на момент публикации не объявлены.