Вышла статья в Nature, посвященная "взлому мозга". Заявка следующая: "Теперь, сделав МРТ-снимок вашего мозга, можно понять о чем вы думайте".
Новизна исследования - в использовании нейросети - языковой модели для анализа сигналов мозга. Делать это пытались и раньше. Но сейчас получилось лучше, чем когда либо до этого.
Что именно сделали исследователи?
Внутренняя речь - она все равно речь. Она подчинена правилам грамматики языка, на котором вы думайте. Она происходит последовательно: слова "произносятся" одно за одним. Раз так, то можно попытаться "считать" сигналы, соответствующие этим словам из мозга по МРТ. Да, разобрать получится не все. Но за счет избыточности языка, многое можно будет "восстановить". При этом, по сути, происходит перевод сигналов, "заснятых" МРТ на человеческий язык. В качестве посредника выступала нейросеть GPT-1. Но поскольку нейросеть ничего не понимает, и, по большому счету, предназначена для создания пересказов, то и получается пересказ того, что заснято на МРТ. При этом, метафорически выражаясь, пересказ делает исполнительный, но непроходимо тупой исполнитель.
Поскольку мозги у всех разные, нейросеть перед считыванием информации нужно обучить. Происходит это так. Человек несколько десятков часов слушает какой-то текст, а GPT-1 сравнивает звучащий текст с тем, что происходит с мозгом.
Одна из проблем метода в том, что МРТ напрямую не измеряет быстрое возбуждение нейронов мозга, а лишь отслеживает медленные изменения в кровотоке, который снабжает эти нейроны кислородом. Это делает снимки МРТ "размытыми" во времени.
Интересны комментарии авторов работы, данные различным изданиям.
Джерри Танг, специалист по вычислительной нейробиологии из Техасского университета в Остине и ведущий автор исследования:
"В данных мозга содержится гораздо больше информации, чем мы первоначально думали. То, что мы сделали - доказательство концепции, согласно которой ресь может быть расшифрована на основе неинвазивных записей мозговой активности".
Александр Хут, специалист по вычислительной нейробиологии из Техасского университета в Остине и старший автор исследования:
"То, что мы получаем, по-прежнему является своего рода пересказом того, какой была первоначальная история. Вот пример.
Исходный текст: "Я встал с надувного матраса и прижался лицом к стеклу окна спальни, ожидая увидеть глаза, пристально смотрящие на меня, но вместо этого обнаружил только темноту".
Изучив снимки мозга человека, модель продолжила расшифровку: "Я просто продолжал подходить к окну и открывать стекло, я встал на цыпочки и выглянул наружу, я ничего не увидел, и снова посмотрел вверх, я ничего не увидел".
Хут также отметил, что больше всего был удивлен тем, что данный метод позволяет "распознавать" видео, которое смотрит человек.
"Я думаю, мы расшифровываем нечто более глубокое, чем язык", - сказал он на брифинге для прессы.
Здесь он очевидно не прав. Последнее время часто ссылаюсь на Поршнева; видимо неспроста; он говорил, что его исследования станут особенно актуальными в 20-х годах XXI века.
Б.Ф. Поршнев в своей книге о происхождении человека - "О начале человеческой истории" - делает очень большую ставку на то, что называется имагинальный мир (по-другому его можно назвать "мир воображения").
Среди прочего Поршнев ставит вопрос: что первично в этом имагинальном мире человека - речь или зрительные образы? Поршнев считает, что речь. (Собственно, в качестве эпиграфа к книге Поршнев использует слова Иоанна Богослова "В Начале было Слово" - "Эн архэ эн о Логос".)
Одна из иллюстраций Поршнева, свидетельствующая что слово первично - ссылка на эксперименты, в которых было показано, что сны формируются в два этапа. Вначале - внутренняя речь, а потом она "переводится" в визуальные образы которые мы видим во сне. Понятия не имею как это доказывали, надо бы разобраться.
Если это верно - то никаких вопросов возможность "расшифровки" видео через внутреннюю речь не возникает.
Интересное замечание к работе сделал Ромен Бретт, нейробиолог-теоретик из Института зрения в Париже (в работе участие не принимал). Бретт заявил:
"Принцип работы алгоритма заключается в том, что модель искусственного интеллекта составляет предложения на основе расплывчатой информации о семантическом поле предложений, полученных в результате сканирования мозга. Могут быть некоторые интересные варианты использования, например, для определения того, о чем вы мечтали, разумеется, на общем уровне. Но я скептически отношусь к тому, что мы действительно приближаемся к уровню, когда сможем читать мысли".
Комментарий
Работа с научной точки зрения интересная. Но есть ли принципиальная новизна? Я думаю, что прорывной новизны нет.
Уже давно (я не нейробиолог, точно сказать не могу, но судя по тому что я видел - лет 15 точно) ведутся исследования того, как именно происходит запись информации в мозг. Делают генно модифицированных мышек. Если такой мышке вколоть специальный укол и в первый раз показать кошку, то мышка испугается и запомнит кошку каким-то набором нейронов, которые станут флуоресцентными - за счет генной модификации и укола. Дальше у мышки достают мозг, режут на тонкие лоскутки и смотрят под микроскопом какие конкретно нейроны запомнили кошку.
Следующий уровень - все то же самое, но нейроны светятся в живой мышке (наблюдение идет через видеокамеру, приделанную к черепу - видео выше).
Следующий уровень - не генно модифицированная мышка без видеокамеры в черепе - дистанционные средства контроля. Отработав такое "неразрушающее" считывание информации на мышах, лет пять назад занялись человеком. Вроде как лидеры в этой области - американские исследователи, работающие на DARPA. Из Калифорнийского института, например.
Раньше уровень считывания был достаточным лишь для выполнения команд навроде "включи свет". Обсуждаемая выше работа - существенной продвижение относительного данного уровня. Существенное, но не принципиальное.
Мы не понимаем что такое разум. При этом разум человека пытаются взломать с помощью методов точных наук. Но когда делают так - то естественно, что кроме модифицированного арифмометра в мозгу ничего не найдешь. (Ранее писал по этому поводу например, здесь.)
Подбешивает уровень и мотивация людей, которые занимаются темой. Почему я, человек который ничем таким не занимается, знаю о существовании теории о том, что сон - вначале текст, а уже потом зрительный образ; а человек, который исследует внутреннюю речь мозга об этом не знает? Если занимаются темой такие люди, то на выходе можно ожидать любой пакости как в сферах ее применения ("ничего личного, только бизнес"), так и идеологии.
Что касается внутренней речи, языка и т.д. Можно "проецировать" человека на машину, редуцировать человека до машины. А можно исследовать самого человека. Гуманитарные науки - они потому и гуманитарные, что занимаются человеком. Исследуют кто вообще такой человек. Как он устроен. Как он меняется. Как он занимается самоопределением.
Что современные гуманитарии в массе своей не могут ничего сказать по этому поводу говорит лишь о том, что они плохие гуманитарии, просто отвратительные. Но не всегда было так.
Тот же Поршнев - вырос на очень сильно взрыхленной и удобренной почве. Вот, например, Илья Росляков в своем цикле статей о феминизме и т.д. обсуждает русский "серебряный век", как глубоко у него ушли корни вглубь
Если говорим о Слове - то были даже целые богословские направления, ему посвященные. Традиция не прервалась и в СССР. Лосев тот же, например.
А были и Лотман, и Бахтин и т.д.
Бахтин - совсем не нравится мне как человек и тем более как политик. Но это невероятно глубокий и тонкий исследователь. И про тот же внутренний диалог он сказал очень много. Причем свои открытия он делал без всяких там генных модификаций, томографов и нейросетей.
Вот влезут сейчас чуть глубже в мозг. И что дальше? Луначарский, обсуждая философию Спинозы, так объясняет проблему.
Человек говорит миру: "Ты - машина". Мир отвечает человеку: "Хорошо. Я - машина. Но тогда и ты - машина. Даже не мыслящий камыш, а просто механизм".
Луначарский цитирует Шиллера - Истукан Изиды:
Что ж увидал он там?.. У ног Изиды, в храме,
Поутру, недвижим, он поднят был жрецами.
И что он увидал? и что́ постигнул он?
Вопросы слышались ему со всех сторон.
Угрюмый юноша на них ответа не дал…
Но в жизни счастья он и радости не ведал.
В могилу раннюю тоска его свела,
И к людям речь его прощальная была:
«Кто к Истине идет стезею преступленья,
Тому и в Истине не ведать наслажденья!
Может, отчасти в этом и цель - довести человечество к этому состоянию машины?
Комментарии
Исследование, разумеется, интересное.
Но - несколько преувеличены надежды.
Явление Природы состоит в том, что не хватает разрешающей способности как по времени (это в статье упомянуто), так и по пространству (что в статье не упомянуто). Для определения того, какие именно нейроны (а не группы по кубическому сантиметру) возбуждены, надо (пока, по крайней мере) лезть внутрь.
И упования на технический прогресс тут слабовато смотрятся. Ограничения на разрешение при дистанционном считывании информации тут не технические (которые, разумеется, преодолимы со временем), а физические. Дистанционное зондирование возможно только через волны, проникающие сквозь череп. И пространственное разрешение ограничивается длиной волны.
иными словами, все как и раньше - если лезть в мозг, чтобы "посмотреть" как он работает, он .. перестает работать, если не лезть - ничего не видно
2010г
Стэнфордские нейробиологи потратили несколько лет, разрабатывая новый способ 3D-сканирования мозга. Они совместили объёмную компьютерную томографию (array tomography — техника «антенных решёток» из радиоастрономии) и специально разработанный софт, чтобы получить объёмную и реалистичную 3D-модель. Такую, по которой можно перемещаться, масштабировать и вращать её в разных измерениях.
Пока мы четко не проясним что мы ищем, а будем искать в человеческой голове - только наши представления о том что мы ищем (что-то совсем другое) - как мы сможем это найти?
Но искать надо. Потому что именно так мы и будем выявлять - шаг за шагом (непрямыми экспериментами) - а что собственно мы ищем? И вот когда мы наконец сможем сформулировать - что же мы ищем - найти это будет не так уж и сложно ..
В исследовании полностью исключена химическая составляющая, а процесс может быть гораздо сложнее - некоторая интерферренция процессов электрических и химических и .. ? Отбрасывая составляющие части, мы либо видим немое кино, либо слышим звук, доносящийся из кинотеатра. А на самом деле есть и запах, и сенсорные компоненты и ..
Давным давно, еще до ковида, читал о технологии просмотра сновидений, даже немного узнаваемые иногда у них получались картинки.
зы только там емнип была энцефалография.
1) статья не о том вообще, речь о целенаправленном использовании неинвазивного интерфейса вместо инвазивного
инвазивные неплохо работают, уже можно использовать вместо кнопок геймпада, но пока не в качестве крестовин и стиков
2) фМРТ так сильно дискредитировала себя в плане поиска функциональных зон, что я даже не знаю, почему ее используют, наверное только в попытках оправдать уже с нейросетями
Читал вот с помощью нейроинтерфейс https://www.emotiv.com/epoc-flex/ работают . Ам и программы есть для самостоятельной деятельности.
Интересно конечно, но, говорят, МРТ сверх допустимой дозы провоцирует рак. Исследования, конечно, можно вести, но видимо не долго.
Да там только от звуков, который создаёт МРТ через час-два исследования уже крыша взлетает. И никакие беруши не помогают.
Под воздействием магнитного резонанса мысли стираются.
Это если они конечно были...
Мальчик, отдай миелофон!
опередили ))
Нейросеть, про мысли и соврет - не дорого возьмет. А кто поверит?
Слова это как кочки на болоте, а вот что перемещается от одной к другой - дело темное. Может быть, и нет никакого "что", а есть просто "как".
Эммм. Это если намеренно артикулировать мысли. На определенном языке. А так (вапще) люди редко "думают словами". Иначе глухонемые не могли бы общаться.
Они у эстонцев под барбитуратами собрались мысли читать? МРТ занимает от 3-х до 90-та минут, в зависимости от зоны охвата. Типичный общий МРТ - 15 минут. Читать мысли таким методом - всё равно, что поставить фотоаппарат на сверхдлинную выдержку, а потом, по получившемуся одному кадру, восстанавливать поток произошедших событий.
Тю, вот то-то и оно. То есть в лабораторных условиях, когда испытуемый 15 минут будет думать одну мысль, оно-то может и сработает. А в реальных условиях? Мочёные в своём репертуаре.
Ответ на вопрос заголовка (если он там есть): нельзя. Потому что мысли человека - это не "мыслеречь", не чтение текста "про себя". Не замечали, что иногда бывает очень трудно выразить словами то, о чем думаешь?
Исследование показывает, что с помощью нейросетей можно с пока достаточно условной точностью расшифровать текст, который человек проговаривает "в уме".
По сути, это уже реализовано в спецоборудовании для тех, кто по каким-либо причинам лишен возможности разговаривать: человек смотрит на экранную клавиатуру и "силой мысли" осуществляет печать, которая потом может быть озвучена с помощью синтезатора речи.
Просто теперь с помощь обучаемых нейросетей можно существенно расширить возможности данных алгоритмов, считывая не отдельные буквы, а слова и предложения. Нейросеть "додумывает" - а-ля Т9 - недостающие буквы и слова. Пока неидеально, но прогресс налицо. Вопрос упирается в вычислительные мощности и энергообеспечение.
А до чтения мыслей нейросетям пока так же далеко, как до настоящего ИИ.
А чем не нравится идея определить человека, как аналоговую биомашину? Невероятно сложную, невероятно сложно познаваемую, но машину.
Ух ты, подобными методами можно измерять разумность озера. Читать ему Солженицина и измерять волновые процессы!
Можно даже ЛПЧ обнаружить внутре.
" Кто же на Плюке правду думает, родной? "
Я вот мыслю образами ( то есть зашифрованными сообщениями, значение которых понимаю только я) , они у каждого свои, если надо их артикулировать и передать другим, уходит довольно длительное время на подбор слов и не всегда получается хорошо. Даже если аппарат способен засечь вспышку молнии в мозгу, если он сможет выделить что-то в фейрверке таких молний , то это будет очень устаревшая информация, возможно , самим мозгом уже опровергнутая и списанная. А уж расшифровать, что за этой активностью стоит , без ключа шифра , который есть в мозгу, невозможно. А целенаправленные импульсы мозга уже им расшифрованные для окружающих и подчинённых и сейчас используются в протезах , например.
Теорий можно навыдумывать 100500 мульонов. Какие доказательства? Первое же возражение, которое приходит в голову - если существо не говорит, то оно не мыслит? Эдак недалеко до выводов, что у человека есть душа, а у остальных тварей нет и в рай они не попадут.
Висцеральная теория сна куда более правдоподобна и ... как тут лучше сказать, "технологична", что ли...
А чо, человек мыслит словами?
Так-то в исследовании измеряли реакцию нейрональных ансамблей на звуковые колебания. Поскольку при озвучивании текста звуковые колебания повторялись, то и реакции нейронов тоже повторялись.
Вы таки будете смеяццо, но когда появился рентген все боялись того же самого.
Ну надо же так изпорожниться!
А вообще вокруг любого направления как грибы-поганки появляются всякие псевдо-научные и откровенно ложные наросты. Функциональной магнитно-резонансной томографии (functional MRI, fMRI) уже лет 30 как. Это абсолютно тупиковая идея. Что мы видим в MRI реконструкции? Спиновую плотность которая соотносится с плотностью протонов. Притом усреднённую. Разрешение позволяет увидеть неоднородности с точностью в сотни микрон. То есть, гематому мы увидеть сможем. И прилив крови к участку мозга, но достаточно сильный.
Так, если у курсанта военного училища приливает кровь к определённому участку мозга, то в принципе можно сказать, что в этот момент он думает о женщине, но абсолютно нельзя сказатать о какой и в какой позе. Однако у него может приливать кровь к этому участку мозга даже когда он просто смотрит на кирпич ни о чём не думая. Сам этот факт не даёт нам никакого основания считать, что мы знаем о чём думает в данный момент курсант.
Алииииисааааа, МИЕЛАФОН!!!
Добрый день. Спасибо за статью. Но я добавлю комментарий свой. Я уже не первый год пришёл к выводу, что мы уже на данном этапе развития можем сделать считыватель мыслей. И неоднократно здесь на АШ в комментариях в статьях про маньяков и преступников. Давал идею, что можно считывать мысли про убийство или нанесение тесных увечий приводящих к инвалидности и тем самым предотвращаеть преступления. Нужны только датчики которые будут фиксировать эти "волны" по тому как мозг человека это приёмник и передатчик, также и глаза только они могу выступить заместо мыши на компьютере (не путать про датчики которые фиксируют движение зрачка). И вот наконец пошли подвижки в этом деле.
Хороший детектор лжи получится однако
Интересная статья. Особенно, в свете информации, что недавно открыли на порядок более точный метод МРТ (емнип).
Наверное, все-таки фМРТ, а не МРТ.
Да, если нейронка распознает речевые образы по акустическим сигналам, визуальные образы по кадрам с изображениями, то почему она не должна распознавать словесные образы в мышлении по сопутствующим сигналам мозга. Конечно, будет распознавать. Что, собственно и получилось. Она, кстати, и визуальные образы в мозге распознает неплохо, пробовали, получалось. Открытию, что мышление сопровождается сигнальной активностью, тоже сто лет в обед. В чем философский бэкграунд? Распознавание и мышление - разные вещи, муха вон тоже отлично дерьмо распознает, но научных изысканий не проводит и постановками аналитических задач не занимается.
На том, что можно автоматизировать и монетизировать - будут зарабатывать, но в целом просто уткнутся в факт, что осилили интересный слой знаний, но работа мозга по прежнему тайна великая.
Думаю, что сон - это не обязательно сначала текст. Ну или - что называть сном. Считается, что животные то же видят сны, а они, понятно, речью не владеют.
Бред. Создание ИИ своеобразного словаря Брайля (для слепых) в виде импульсов. Эти учёные реально думают, что каждый звук мозгом отображается как физический символ или цвет? Мозг просто средство, типа коммутатора нейронов в разных областях неокортекса. Посмотреть зоны можно, но считать информацию в виде электромагнитных изменений нельзя. Это, как по звуку выстрела определить паспортные данные стрелка с датой рождения и местом прописки.