Неврологи вчать комп'ютери читати слова прямо з мізків людей.
На цьому тижні Келлі Сервік повідомила про три статті, розміщені на сервері переддруку bioRxiv, в яких три різні команди дослідників продемонстрували, що вони можуть розшифровувати мовлення із записів нейронів. У кожному дослідженні електроди, розміщені безпосередньо на мозку, фіксували нейронну активність, тоді як пацієнти з операцією на мозку слухали мовлення або читали слова вголос. Потім дослідники намагалися з'ясувати, що пацієнти чують чи говорять. У кожному випадку дослідники змогли перетворити електричну активність мозку в принаймні дещо зрозумілі звукові файли.
Перший документ, опублікований в bioRxiv 10 жовтня 2018 року, описує експеримент, в якому дослідники відтворювали записи промови пацієнтів з епілепсією, які перебувають на середині операції на мозку. (Нейрові записи, взяті в експерименті, повинні були бути дуже деталізованими, щоб їх інтерпретувати. І цей рівень деталізації доступний лише в тих рідкісних обставинах, коли мозок потрапляє до повітря і електроди розміщуються на ньому безпосередньо, наприклад, в хірургії мозку .)
Коли пацієнти слухали звукові файли, дослідники фіксували стрільбу нейронів у частинах мозку пацієнтів, які обробляють звук. Вчені спробували декілька різних методів для перетворення даних нейронних стрільб у мовлення та виявили, що "глибоке навчання" - в якому комп'ютер намагається вирішити проблему більш-менш без нагляду - працює найкраще. Коли вони відтворювали результати за допомогою вокодера, який синтезує людські голоси, для групи з 11 слухачів ці люди змогли правильно інтерпретувати слова 75 відсотків часу.
Ви можете слухати аудіо з цього експерименту тут.
Другий документ, опублікований 27 листопада 2018 року, спирався на нейронні записи людей, які перенесли операцію з видалення пухлини мозку. Коли пацієнти читають односкладові слова вголос, дослідники записували як звуки, що виходили з рота учасників, так і нейрони, що стріляли в мовленнєвих областях мозку. Замість того, щоб навчати комп’ютери глибоко на кожному пацієнті, ці дослідники навчали штучну нейронну мережу для перетворення нейронних записів у аудіо, показуючи, що результати були принаймні розумно зрозумілими та схожими на записи, зроблені мікрофонами. (Звук цього експерименту є тут, але його потрібно завантажити як поштовий файл.)
Третя праця, опублікована 9 серпня 2018 року, спиралася на запис тієї частини мозку, яка перетворює конкретні слова, які людина вирішує говорити в рухи м’язів. Хоча запис із цього експерименту не доступний в Інтернеті, дослідники повідомили, що їм вдалося реконструювати цілі речення (також зафіксовані під час операції на мозку на пацієнтах з епілепсією) і що люди, які слухали речення, змогли правильно їх інтерпретувати за множинним вибором тест (з 10 варіантів) 83 відсотків часу. Цей метод експерименту спирався на виявлення закономірностей, пов'язаних із створенням окремих складів, а не цілих слів.
Мета всіх цих експериментів - це один день зробити можливим людям, які втратили здатність говорити (через аміотрофічний бічний склероз або подібні умови) говорити через інтерфейс комп'ютер-мозок. Однак науки про це застосування ще немає.
Інтерпретувати нейронні структури людини, яка просто уявляє мовлення, складніше, ніж інтерпретувати закономірності того, хто слухає або виробляє мовлення, повідомляє Science. (Однак, автори другого документу сказали, що інтерпретувати мозкову діяльність когось, хто уявляє мовлення, можливо.)
Також важливо пам’ятати, що це невеликі дослідження. Перший документ спирався на дані, взяті лише у п’яти пацієнтів, а другий - у шести пацієнтів, а в третьому - лише троє. І жоден з нейронних записів не тривав більше години.
І все-таки наука рухається вперед, і штучні мовленнєві пристрої, підключені безпосередньо до мозку, здаються реальною можливістю в якийсь момент вниз по дорозі.
