ИИ в медицине. ИИ против 9 рентгенологов.

Аватар пользователя Бабай-сан

Интерпретация рентгенограммы грудной клетки имеет решающее значение для выявления торакальных заболеваний, включая туберкулез и рак легких, которые каждый год затрагивают миллионы людей во всем мире.

Эта трудоемкая задача обычно требует, чтобы квалифицированные радиологи читали изображения, что приводило к ошибкам диагностики на основе усталости или отсутствию возможности выполнить диагностику в районах мира, где радиологи недоступны.

В последнее время методы глубокого обучения нейронных сетей позволили ИИ достичь уровня экспертного уровня в задачах интерпретации медицинских изображений, основанных на больших сетевых архитектурах и подпитываемых появлением классифицированных/размеченных больших наборов данных.

Целью этого исследования является исследование эффективности алгоритма глубокого обучения обнаружению патологий в рентгенограммах грудной клетки по сравнению с практикующими радиологами.

Методы и выводы

Мы создали CheXNeXt, сверточную нейронную сеть, чтобы одновременно обнаруживать наличие 14 различных патологий, включая пневмонию, плевральный выпот, легочные массы и узлы (pneumonia, pleural effusion, pulmonary masses) во фронтальных рентгенограммах грудной клетки.

CheXNeXt был обучен и внутренне проверен на наборе данных ChestX-ray8 с набором заранее  классифицированных рентгенограм.

Исследование эффективности ИИ проводилось на валидационном наборе рентгенограмм состоящим из 420 изображений, которые были отобраны, чтобы содержать по меньшей мере 50 случаев каждой оригинальной патологии.

Этот валидационный набор данных готовился группой из 3 сертифицированных  кардиоторакальных специалистов радиологов. 

Команда соревнующихся с ИИ радиологов включала:

  • 6 сертифицированных радиологов (средний стаж 12 лет, от 4 до 28 лет)
  • и 3 старших рентгенолога из 3 академических учреждений.

Мы обнаружили, что CheXNeXt достигла уровня квалифицированного радиолога на 11 патологиях и не достигла уровня радиолога эксперта по 3 патологиям.

Радиологи достигли статистически значимо более высоких показателей AUC(area under Curve) при кардиомегалии, эмфиземе и гиаларальной грыже, с AUC 0,888 (95% доверительный интервал [CI] 0,863-0,910), 0,911 (95% ДИ 0,866-0,947) и 0,985 (95% ДИ 0,974-0,991) соответственно , тогда как AUC CheXNeXt составляли 0,831 (95% ДИ 0,790-0,870), 0,704 (95% ДИ 0,567-0,833) и 0,851 (95% ДИ 0,785-0,909) соответственно.

CheXNeXt проявил себя лучше, чем радиологи при обнаружении ателектаза, с AUC 0,862 (95% ДИ 0,825-0,895), статистически достоверно выше, чем AUC у радиологов 0,808 (95% ДИ 0,777-0,838). Не было статистически значимых различий в AUC для других 10 патологий.

Среднее время для интерпретации 420 изображений в наборе валидации было значительно дольше для радиологов (240 минут), чем для CheXNeXt (1,5 минуты).

Основные ограничения нашего исследования заключаются в том, что ни CheXNeXt, ни радиологам не разрешалось использовать историю болезни или пересматривать предшествующие обследования и что оценка ограничивалась набором данных из одного учреждения.

Выводы

В этом исследовании мы разработали и оценили ИИ на базе нейросети глубокого обучения, который классифицировал клинически важные отклонения в рентгенограммах грудной клетки на уровне эффективности, сопоставимом с практикующими радиологами.

После тестирования в клинических условиях алгоритм может иметь потенциал для расширения доступа пациентов к диагностике рентгенограммы грудной клетки.

Авторство: 
Авторская работа / переводика
Комментарий автора: 

 

Ссылка содержит полные материалы по исследованию методологию и ссылки.

Во избежание непониманию хочу сказать, что перевод на русский термина Artificial intelligence (AI), как искусственный интеллект(ИИ) не совсем удачен. 

AI дословно переводится, как искусственная способность поступать разумно. К разуму настоящему это, пока, не имеет никакого отношения. Но термин ИИ прижился и продолжает вводить в заблуждение.

П.С. Если напутал с медицинскими терминами прошу простить, не медик.

Комментарии

Аватар пользователя Kifer
Kifer(4 года 7 месяцев)

 

интересно.

и да - Хуршудова позовите.

про рак лёгких - он большой спец...

Аватар пользователя UristMcKerman
UristMcKerman(2 года 8 месяцев)

Сверточные нейронки рулят. Удивительно, что только недавно догадались их под это дело использовать.

Аватар пользователя neama
neama(3 года 9 месяцев)

не ресурсы появились крутить... гуглядь опятьже подсуетилась... 

Аватар пользователя neama
neama(3 года 9 месяцев)

это скоее не ИИ (искуственный антилект), а ЭС (экспертная система)...

вот не понимаю почему ЭС стало модным ИИ кликать...

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Что вы понимаете под ЭС? Ваше определение?

 

Аватар пользователя fav
fav(5 лет 11 месяцев)

Ну а кто вам обучающие выборки классифицировал? Не с неба же они вам упали. Они самые - эксперты

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Я строго формально смотрю. Человек эксперт на формальном языке описывает базовые правила и выводы. Хранит их в базе знаний. Строит новые выводы используя базу знаний.

В ИИ этого нет. Эксперт НЕ делает то что указано выше. И ещё есть ведь обучение без учителя. wink

Аватар пользователя Леший
Леший(9 лет 2 месяца)

И ещё есть ведь обучение без учителя.

Кто-то же должен определять результат - правильно распознали или нет.

Это как реализовано? Не экспертами? (на всякий случай - это просто вопрос, а не наездsmiley )

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Да все нормально, просто терминология не устоялась, все в развитии, вот и спорим.

А кто должен определять вопрос не ко мне. И это следущий вопрос к обществе, как эти системы использовать?

Требования уровню пользователя снижаются значительно. От радиолога эксперта к фельдшеру.  Есть шанс ошибки скажем в 5%. Надо предусмотреть процедуру отработки ошибки и передачи на диагночтику скажем высококлассному эксперту радиологу. На основании ошибки ИИ может быть доучен.

Аватар пользователя Леший
Леший(9 лет 2 месяца)

Да все нормально, просто терминология не устоялась

Это я знаю, поэтому интересно ваше мнение.

А кто должен определять вопрос не ко мне. И это следущий вопрос к обществе, как эти системы использовать?

Хм. По моему понятию, вопрос обратной связи в процессе обучения - вопрос как раз к разработчикам. И именно еще не использования, а разработки.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

И вопрос интересный, реально.

С другой стороны, пофантазируем, если у пациента в глубинке , в поселке, деревне,  есть выбор между 95% шансом получить правильный диагноз и немедля начать лечение или день ехать в райцентр, в областной город и там получить не факт то же самое от человека рентгенолога, то понятно что он выберет.

Я не знаю, но могу предположить, что высококвалифицированные рентгенологи в райцентре не задерживаются.

Можно отбросить другие человеческие факторы, как усталость, переработка, сонливость, недобросовестность, похмелье, невнимательность и прочие не.

ИИ может быть вообще один на страну и все время доучиваться, все время повышая качество диагностики.

Аватар пользователя fav
fav(5 лет 11 месяцев)

ИИ может быть вообще один на страну и все время доучиваться, все время повышая качество диагностики

Это ересь полная - то что вы называете ИИ не может продуцировать новое знание, он может лишь использовать существующее, а откуда будет браться новое знание если человеков посокращали? Если вы думаете что эксперты сами заводятся как мыши в амбаре, то это слегка не так. Для этого в любом случае нужно весьма значительное количество специалистов

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Это ересь полная - то что вы называете ИИ не может продуцировать новое знание, он может лишь использовать существующее, а откуда будет браться новое знание если человеков посокращали?

Очевидно вы не знакомы с тем как современный ИИ создаётся.

 есть цикл обучения и есть использование. На примере данной сетки, сначала обучается на размеченных снимках распознавать паталогии. Только потом после валидационном приступает к реальной работе.

Цикл обучения достаточно длителен, дни и недели.

В случае расширения базы размеченных снимков сеть дообучается.

То что ИИ не продуцирует новые знания , это не совсем так. Зависит от назначения ИИ.

Но даже формально, даже данная сетка продуцирует для конкретного человека новое знание, что у него есть такая то паталогии.

Или вы хотели от слабого ИИ теорию всего?

Аватар пользователя Леший
Леший(9 лет 2 месяца)

Если я правильно понял fav, он говорит несколько о другом - для того, чтобы было:

В случае расширения базы размеченных снимков сеть дообучается.

Для расширения базы, для разметки снимков - нужны эксперты. А эксперты выращиваются не на пустом месте - для того, чтобы получился эксперт, нужно сотни рентгенологов, работающих над проблемой.

Вопрос не технический - вопрос социальный. Это ИИ будет воздействовать на общество.

Аватар пользователя alex_midway
alex_midway(9 лет 2 месяца)

И ещё есть ведь обучение без учителя.

У нейросетей?

Кто делает конечный отбор по правильности результатов обучения? Неужто сама сеть?

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

У нейросетей?

Кто делает конечный отбор по правильности результатов обучения? Неужто сама сеть?

Да уунейросетей то же есть. Например сигнальный метод обучения Хебба, дифференциальный метод обучения Хеба, алгоритм Кохонена.

Имеется ввиду метод обучения нейросети без учителя.

Аватар пользователя alexsword
alexsword(9 лет 6 месяцев)

Комментарий автора на эту тему под статьей вполне правильный.

Аватар пользователя stil
stil(7 лет 10 месяцев)

Можно назвать это экспертной системой. Но опять же в свое время под ней подразумевали тоже не это. Тут как я понимаю использовались нейронные сети  для обучения и анализа. Правильнее наверное назвать:"Самообучающаяся экспертная система". Но просто ИИ проще.

Аватар пользователя vkunitki
vkunitki(6 лет 4 месяца)

AI - зонтичный термин. Обозначает слишком много всего. Т.е. сказать AI -значит не сказать ничего. Ai = НЕ ЧЕЛОВЕК.
Так-то слишком уж избитый термин и все стараются избегать его, но гуманитариям норм

Комментарий администрации:  
*** Украинская церковь станет более авторитетной, а РПЦ станет сектой! (с) ***
Аватар пользователя WM
WM(5 лет 8 месяцев)

вот не понимаю почему ЭС стало модным ИИ кликать...

Да просто потому что модно. И привлекательно для инвесторов! 

"ИИ" если и был когда-то техническим термином, то давно перестал им быть.

Аватар пользователя Мозговед
Мозговед(2 года 7 месяцев)

Совершенно верно! Сейчас почему-то все путают экспертные системы и ИИ. Так же как роботами называют телематику и автоматы.

Аватар пользователя djsantehnik
djsantehnik(8 лет 6 месяцев)

Пардоньте за дотошность, но ЭС таки отдельное направление ИИ

Аватар пользователя alpathfinder
alpathfinder(9 лет 2 месяца)

Извините, с каких это пор нейронные сети стали ЭС? Это две совершенно разные области.

Аватар пользователя AnGeL_Knight
AnGeL_Knight(5 лет 5 месяцев)

AI дословно переводится, как искусственная способность поступать разумно. К разуму настоящему это, пока, не имеет никакого отношения. Но термин ИИ прижился и продолжает вводить в заблуждение.

Вот по-этому было бы неплохо провести хотя-бы примерное разграничение различных классов законодательно.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Я это написал, что бы не поднимался холивар, что может ли этот ИИ думать. Не более.

В ЭС, насколько я помню, эксперт-человек базовые правила и выводы. В ИИ правила и выводы формируются самой системой. Ну если обобщенно. То есть нет предметного эксперта.

Аватар пользователя stil
stil(7 лет 10 месяцев)

Не совсем. Человек подготавливает данные и нужный результат. Так называемый учебник. Система должна научится сама из предложенных данных получить нужный результат. Причем не обязательно использовать нейронные сети. Просто с помощью сетей этот процесс ускоряется много кратно. Методом простого перебора к примеру будет обучатся год. С помощью нейронных сетей несколько часов.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Человек подготавливает данные и нужный результат. Так называемый учебник. Система должна научится сама из предложенных данных получить нужный результат.

Ну это и есть современный ИИ , отнюдь не ЭС.

Человек подготавливает данные и нужный результат.

Это называется обучение с учителем, supervised learning.

Далее неважно какой метод, логическая регрессия, дерево решений, наивная байсова функция,  метод опорных векторов, нейросеть.

Данными методами вычисляется функция для охрелиона переменных решающая нашу задачу.  Например как в тексте, выявление патологий на снимке.

Где здесь находится эксперт описывающий для компьютера, в логике  предикатов,  на снимке опухоль или туберкулёз?

Базы знаний тоже нет. Исчисления новых выводов на основе базы данных нет.

Назвать ИИ как ЭС можно наверно, только с большой натяжкой.

Аватар пользователя fav
fav(5 лет 11 месяцев)

В чем вы видите проблему с выявлением патологий на снимке в логике предикатов? Разве что в чрезмерной трудоемкости для одного эксперта. Поэтому делается хитрый ход, берется много экспертов, которые готовят много примеров, выстраиваем на этой основе фильтр.Теперь даже от намека на интеллектуальное поведение стоит избавится, поэтому кстати так стали модны нейронные сети И этот фильтр и есть ваша база знаний

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

С трудом представляю, как человек в логике предикатов опишет даже одно изображение. 

Действительно трудоёмко. Безумно трудоёмко. А ещё ЭТО надо отладить и верифицировать, а ещё проблемы масштабирования, поворота, качества изображения и .... Свят, свят, свят!

Хочу это развидеть! ))

 

 

Аватар пользователя Леший
Леший(9 лет 2 месяца)

С трудом представляю, как человек в логике предикатов опишет даже одно изображение. 

Тем не менее пытались. С указанным вами результатом.

Аватар пользователя fav
fav(5 лет 11 месяцев)

Вы видимо не программист wink Орешек знаний тверд, но мы не привыкли отступать...

Изображение говорите? Есть такое

https://studme.org/htm/img/39/2192/87.png

Насколько проблемно сие описать? Ну вот то-то

А насчет трудоемкости, вас ведь не смущает что ваши нейронные сетки это тривиальный набор машкодов дискретного процессора? Всего лишь вульгарная автоматизация рутинных процессов позволяет пользоваться высокоуровневыми абстракциями

Аватар пользователя Александр Мичуринский

> нейронные сетки это тривиальный набор машкодов дискретного процессора

Вы правы и не правы одновременно.

Да, собственно программный код нейронной сетки достаточно тривиален.

Проблема, как сформировать обучающую выборку и что делать, если на контрольной выборке сетка врёт ошибается с недопустимой вероятностью - какие коэффициенты и как изменить, чтоб добиться приемлемого результата. А вот это - весьма и весьма нетривиальная задача, над которой бьётся уже естественный интеллект.

 

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Изображение говорите? Есть такое

https://studme.org/htm/img/39/2192/87.png

Ну что вы право,  6*7 бит описать в предикатах  действительно просто.

Мне действительно любопытно, как вы будете описывать в предикатах флюрограмму в 3.7 миллиона бит или рентгенограмму от 9 до 13 миллионов бит. Причем вам паталогии описать надо в предикатах инвариантно, независимо от размера, масштаба, локации, поворота, контраста, формы, да фиг знает чего, я не рентгенолог.

Грубо можно предположить, что число строк кода будет равно числу бит. То есть миллионы строк, ну пусть миллион строк.

Но как я понимаю настоящие программисты трудностей не боятся. То есть работой вы себя до пенсии обеспечите.) До новой. 

А ещё такая мелочь остаётся отладить ЭТО все.

 

Аватар пользователя fav
fav(5 лет 11 месяцев)

Ну что вы право,  6*7 бит описать в предикатах  действительно просто

Ну гляжу еще не все потеряно 

Правда дальше маркетинговое "берешь сетку, хренак, хренак и в продакшен" все равно берет вверх Что тут думать - трясти надо! laugh

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Да нет, вы не так поняли  мою задумку. Ну тут моя вина, надо было пояснить.

Общая идея, что ИИ не искусственный разум и второе, у определенной части АШ представление прыгает от, "это все фигня и развод маркетологов", до ИИ "заменит человека, но как всегда истина где то посередине.

Как у любого инструмента ИИ имеет ограничения, но и как любой новый инструмент ИИ вносит изменения в человеческое общество.

Я перевел так сказать abstract статьи. Сами разработчики в полной статье, по ссылке прямо пишу, что их цель показать, что сетки достигли скорости и качества работы квалифицированного персонала используя для этого ограниченный набор патологий.

Несомненно, как всегда, при значительном масштабировании  задачи, типа увеличения числа распознаваемых паталогий,  следует ожидать буйства нелинейности, сложности всякого рода будут расти нелинейно, но когда это было по другому? 

Аватар пользователя fav
fav(5 лет 11 месяцев)

их цель показать, что сетки достигли скорости и качества работы квалифицированного персонала используя для этого ограниченный набор патологий

Я конечно рад за них, но вот у меня тут на полочке стоят советские еще книжки по экспертным системам, так вот там чуть не слово в слово Как в 70х "скорость и качество" на машинах за охренелион денег, так и сейчас

Хотя нет сейчас можно даже на полдня гпушку потрогать забесплатно, потому как со специалистами по прежнему дефицит

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Ну я не медик, вот комрады про туберкулёз и рак писали. Они наверно могут практически оценить насколько применима та сетка даже при 14 паталогий.

Кроме того, комрад ниже написал, как я его понял, что определение туберкулёз/не туберкулёз дало бы хорошую помощь при профосмотрах. Это 90% работы.

Так что я не думая что современные ИИ ждёт судьба ЭС. ЭС создавались на основе человеческого опыта/разума и потому имеют в своей основе ограничения его же.

В полной статье указано, что сетка обучилась за 20 часов и учитывает порядка 70 миллионов параметров выделив их на снимках, как существенные и позволяющие поставить диагноз. Сама программа опять таки не великой сложности, ну месяц работы.

Так что у ИИ есть проблемы роста, но он далеко обогнал ЭС в том понимании какими они создавались ранее и продолжает развиваться.

 

 

 

Скрытый комментарий Artem_01 (без обсуждения)
Аватар пользователя Artem_01
Artem_01(9 лет 1 месяц)

Автопилот - это экспертная система?

Аватар пользователя BQQ
BQQ(8 лет 4 недели)

Термины "нейронная сеть" и "экспертная система" - гвозди из разных стенок.

===================================================

ЭС - система, которая имитирует поведение человека-эксперта при работе со сложно устроенными разноприродными данными. Это - уровень содержательный, отвечает на вопрос "ЧТО делается?"

Нейросеть - система, имеющая определенную структуру. Это - уровень реализации, отвечает на вопрос "КАКделается?"

==============

То есть ЭС может быть реализована на нейросети, а может быть и иначе. А нейросеть может реализовывать не только ЭС, но и иные полезные вещи.

Аватар пользователя fav
fav(5 лет 11 месяцев)

ЭС - система, которая имитирует поведение человека-эксперта при работе со сложно устроенными разноприродными данными...

Нейросеть - система, имеющая определенную структуру...

Бинарная нейросеть немного портит вашу стройную классификацию wink

Аватар пользователя vkunitki
vkunitki(6 лет 4 месяца)

Слыхал, что голубей обучили рак распознавть на снимках.
Почему в сравнении нет голубей? У них и зрение покруче людей ;))

Комментарий администрации:  
*** Украинская церковь станет более авторитетной, а РПЦ станет сектой! (с) ***
Аватар пользователя Daemon
Daemon(4 года 3 дня)

Узбагойдезь. Для обывателя нет разницы между ИИ и экспертной системой, а ИИ - звучит внушительнее(да и пристроить "детище" так будет легче), но сути это не меняет - это инструмент, который может помочь профессионалам, выдавая начальный результат анализа, а также в случае отсутствия специалиста нужной квалификации, выдавать достаточно достоверный диагноз.

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Видетели, я привык к точным определениям и называть мягкое зелёным меня коробит.

 

Аватар пользователя Феофан Пургелин

Ой, да просто воспринимайте аббревиатуру ИИ как "имитация интеллекта", и всё будет хорошо

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Я вообще то про то, что не согласен что ИИ это экспертная система.

Аватар пользователя elfwired
elfwired(8 лет 7 месяцев)

В данном конкретном случае скорее не ИИ а система распознавания образов.

Надо сказать что многие статистические методы ребрендят уже второй раз - сначала их переименовали в машинное обучение, теперь в ИИ.

 

В целом конечно автоматизировать зрение - очень хорошо, это может удешевить диагностику, за счёт этого внедрить её массово и кого-то реально спасти.

Нужно только помнить, что это не интеллект а статистика распределения завитушек определённой формы по изображению и всё равно не даст окончательный диагноз без доктора.

 

Закину пожалуй сюда байку про то как исследователи обучали нейросеть отличать собак от волков и достигли неких измеримых успехов, только позже выяснилось, что всё чему их создание научилось - это определять снег на заднем фоне.

 

Аватар пользователя Бабай-сан
Бабай-сан(3 года 4 месяца)

Американский информатик Джон Маккарти, впервые употребив термин «искусственный интеллект» в 1956 году, понимал под этим компьютеры, способные выполнять характерные для человеческого интеллекта задачи: планирование, понимание языка, распознавание объектов и звуков, умение обучаться и решать задачи.

Различают сильный и слабый искусственный интеллект. Сильный обладает всеми свойствами человеческого интеллекта, упомянутыми выше. Слабый интеллект способен качественно выполнять только ограниченное количество действий. Компьютер, который распознаёт изображения, но больше ничего не умеет, — пример слабого ИИ.

В 1959 году Артур Сэмюэл придумал термин «машинное обучение» — способность компьютера учиться без участия человека. То есть искусственный интеллект возможен без машинного обучения, но для этого понадобится миллион строк кода со сложными правилами и условиями.

Другими словами, вместо прописывания подробных инструкций для каждой конкретной задачи используется алгоритм, который учится находить решения самостоятельно. Обрабатывая огромное количество данных в процессе машинного обучения, компьютер приспосабливается к условиям задачи и совершенствуется.

Машинное обучение — это процесс реализации искусственного интеллекта.

Аватар пользователя MIKHAIL YERMAKOV
MIKHAIL YERMAKOV(4 года 7 месяцев)

До сих пор помню это заклинание, которому учили на курсе рентгеналогии - ПОЧИФОРА ИНРИКОС (положение, число, форма, размеры, интенсивность, рисунок, контуры, структура).

Аватар пользователя Имперский шут
Имперский шут(6 лет 8 месяцев)

Интересно кому это нужно, если для флюрографии нужен аппарат, а где аппарат там и ренгенолог.

Аватар пользователя ogogost
ogogost(4 года 8 месяцев)

Сравните оклад рентгенолога и оператора который давит на кнопки и умножьте на количество рентгенов в стране, получите цену вопроса, а с ней и ответ, кому это нужно

Комментарий администрации:  
*** Унылое вангование, неинформативная политота, обсирание Кремля ***

Страницы