Исследователи сравнили, кто лучше справляется с диагностированием рака груди: нейросеть или 101 профессионал в радиологии. Нейросеть в среднем была более эффективна в определении рака груди, чем врачи. Однако система проигрывала наиболее опытным радиологам.
В рамках эксперимента нейросетью и экспертами из Radboud University Medical Centre были классифицированы более 28000 маммограмм. Нейросеть была обучена детектировать поражения мягких тканей и уплотнения. На вход система принимает изображение с маммограммой, а на выходе выдает степень уверенности в том, что пациент болен раком, от 1 до 10.
Тренировочная выборка изображений была получена из схожих клинических исследований. Маммограммы принадлежали пациенткам из 7 стран и были сделаны на различных маммографических аппаратах 4-х производителей. Каждый датасет включал в себя изображения, оценку вероятности заболевания от радиологов и фактический диагноз пациента. Всего изображений было 189000, 9 тыс. из которых были с положительным диагнозом.
Всего в рамках эксперимента было проанализировано 2652 случая, 653 из которых были с положительным диагнозом. Суммарное количество оценок составило 28296 от 101 радиолога. 53 специалиста были из США, равно представлены были эксперты, специализирующиеся в проведении маммографии, и радиологи. 48 специалистов были из Европы и все являлись экспертами по маммографии.
Сравнение работы модели и экспертов
Исследователи заявляют, что результаты работы нейросети статистически значимо не уступают результатам экспертов. В качестве метрики оценки ученые выбрали Area Under Curve (AUC). AUC для нейросети был равен 0.840, а у радиологов — 0.814. Нейросеть имела более высокий AUC, чем 62 эксперта. Несмотря на успехи нейросети, ее результаты были заметно ниже, чем у наиболее квалифицированных радиологов на всех датасетах. Исследователи предполагают, что у радиологов было преимущество в наличии предыдущих маммограмм пациенток в большинстве случаев.
AUC нейросети и радиологов (чем меньше площадь под кривой, тем результаты лучше)
Исследователи предлагают несколько применений системы в существующей процедуре осмотра. Первый — использование нейросети параллельно обследованию радиолога, как независимый ориентир. Второй — по аналогии с CAD, использование нейросети как одна из частей обследования радиологом.
Комментарии
Э-э... В первом абзаце "28.000 маммограм". При том, что каждой женщине делают 4-е снимка - по два прямых и по два косых. Итого 7.000 человек. Ок.
На фразе "всего изображений было 189.000" стал медитировать.
На фразе "было проанализировано 2.652 случая" уже махнул рукой...
Далее, профессор это не регалия, а всего навсего статус преподавателя, почему преподавателей привлекли к этому этому эксперименту не ведаю (1), запятую как разделитель разрядов в числе у нас не используют (2), маммограф с томосинтезом один единственный - растворившейся в небытие компании Fuji под названием Amulet (сборная солянка, в основном из Китая), даже если подтянуть ещё пару китайских моделей от американской GE (которые в подметки не годятся амулету и не могут быть рекомендованы для массового скрининга из-за недостаточной разрешающей способности), то я не понимаю, какая четвертая модель (3) при отсутствии системы здравоохранения, и отсутствия массового скрининга населения - о чем вообще идёт речь (4).
Перед нами - на скорую руку сляпанный пресс-релиз, по которому даже рука профессионала-маммолога не прошлась.
Понимаю, что "тапок не мой", но нельзя же так...
Запятые убрал, пардон муа, у меня на это глаз замылился.
Вот про "профессоров" я не понял, где вы увидело это.
Три замечания снимаются, по четвертому "не виноватая я".
В оригинале 4 фирмы производителя аппаратов. (Hologic; Siemens; General Electric, Waukesha, WI;
Philips, Eindhoven, the Netherlands)
Передо мной статья. Там нет Филипса (как и у Филипса нет рабочего маммографа, сканирующий MicroDose SL50 (модификация, купленной Филипсом шведской компании, MicroDose SL30) снят с производства и имеет крайне низкие показатели по разрешающей способности - в первую очередь из-за сканирующего режима).
Шведская сектора есть в датасете А, где есть Швеция. Четырех производителей я перечислил. Но у GE есть порядка 5-ти моделей. Относительно Сименса не скажу ничего - не ведаю за разнообразие модельного ряда. Поэтому, корректнее было бы написать на маммографах четырех производителей, а мой комментарий скрыть ;)
Сто и один радиолог, звучит как рекламная афиша.
Нет, именно так и написано в abstract оригинала статьи.
В оригинальной статье речь идёт не о 4-х моделях маммографов, а о 4-х производителях (Сименс - в основном китайский, GE - 100 процентно китайский, неведомая мне sectra, и Holologic). Кстати, у этой сектры вообще не обозначено количество снимков и она появляется в разделе Швеция, Мелкобритания вместе с китайским GE и скромным количеством в 129 исследований.
Картинки, иллюстрирующей это "торжество AI", в тексте статьи нет. Поэтому, томосинтез под вопросом ;)
А какие картинки имеете ввиду? Набор маммограм из дата сета? Или таблицу из оригинала статьи.
А вот по сути есть замечания? Чувствуется какой-то сарказм от профи. ))
Боковой снимок молочной железы, который сопровождает этот рекламный материал. Этого снимка (где 2d и 3d tomo) в статье нет.
Сарказм... Чтобы Вы понимали числа - за один день (две смены) в самой обычной поликлинике на самом обычном Амулете (или на аналоговом Маммо-3-МТ, с фотолабораторий и проявкой) делается минимум 40 исследований (это 160 снимков). Это нормы ДЗМ (департамента здравоохранения Москвы). А тут Швеция с целой Англией - 129 исследований. Выглядит очень забавно...
И ещё - искусство заголовков. Потому как в статье написано, что диагнозы 39 экспертов оказались точнее, чем AI. Среди привлеченных экспертов есть люди с опытом работы "аж более 1 года".
Да действительно, странно.
Могу предположить что они пытались охватить разные типы аппаратов, для аппарата с малым числом снимков и низким разрешением, ИИ вероятно будет гораздо хуже детектировать болезнь.
Но собственно все это упирается в создание корректного датасета, а это отдельная задача не связанная с созданием такого прикладного ИИ.
Кодовое слово для маммографов - разрешающая способность детектора. Например, у Амулета она от 16-ти пар линий на мм. У Филипса SL50 - до 8 пар линий на мм. Теперь понимаете почему я сказал, что данный аппарат не может использоваться для скрининга рака молочной железы?
У GE - распространены две модификации - и с разной разрешающей способностью. Поэтому, важно - на каких аппаратах выполнялось исследование.
И второе - опыт эксперта. Я неоднократно наблюдал ситуации, когда после снимка на каком-нибудь Giotto (с разрешающей способностью до 9-12 пар линий - в зависимости от состояния cr-кассет) либо делался снимок повторно, либо пациент отправлялся на более приемлемый аппарат.
Гм, вроде в камерах чем больше линий на мм - тем больше разрещающая способность и выше качество снимков (грубо говоря- больше пикселей на матрице на мм) .
Я правильно понял что Филипс полное г., а остальные два (Амулет и Гиотто) то-же не фонтан. Или я не правильно понял с линиями на мм.
Амулет от разорившейся Fuji - лучший маммограф на рынке, плюс функция томосинтеза. Он сближается по качеству с аналоговыми (пленочными) аппаратами. Я написал про Амулет, что разрешающая способность у него от 14-16 пар линий на мм. ОТ. Иногда бывают удачные и откалиброванный экземпляры с разрешающей способностью 18 пар линий.
У Филипса была аналоговая линейка, потом вместо того, чтобы внедрять детекторы, они купили шведского производителя, модернизировали их базовую модель, перенесли полностью производство в Китай, разогнали всех в Швеции и тут... обнаружили, что экономически модель получилась неудачной (из-за наличия сканирования - "горят" трубки, но горят во время гарантийного срока (1), разрешающая способность из-за режима сканирования крайне низкая - по направлению движения до 7 пар линий на мм (2) что в два раза ниже, чем у лидера). Ныне - нет у Филипса маммографа. Распродают остатки. Во всей Мск всего два аппарата стоит... И пару аппаратов Филипс аналоговых было (один списали год назад, полетел генератор, ныне не выпускается, а втором - не ведаю).
Giotto почему-то обожают покупать частники. Обычно используются не детекторы, а cr-кассеты (они дешевле при начальной закупке). И как с аналогом (пленкой), где качество зависит от множества факторов - срока годности пленки, состояния раствора, опытности рентгенолаборанта, то с cr-технологией зависит от "свежести" кассет, роняли ли на пол эти кассеты, чем протирают поверхность и т.д. но и в лучшем случае - от 10 пар линий на мм.
Спасибо за инфу. Т.е. с линиями я таки правильно понял - не правильно понял ваш коммент, показалось что вы написали что ВСЕХ отправляют на пересьемку кто на Амулете и прочих фоткался
Перспективный чат детектед! Сим повелеваю - внести запись в реестр самых обсуждаемых за последние 4 часа.
На самом деле - спасибо. Статью (оригинал Oxford) прочитал с интересом. Даже переслал коллегам ;)
)) пожалуйста!
Отличная новость, между прочим.
кстати, в РФ не радиологи, а спецы лучевой диагностики (рентгенологи), радиологи - спецы цы по лучевой терапии
Причем ни те ни другие не занимаются диагностикой рака молочной железы. Этим занимаются онкологи-маммологи. Которые используют заключение рентгенолога как один из показателей, причем ничуть не решающий. Статья или крайне криво переведена, либо (что более вероятно) попросту очередная рекламная лабуда...
Я не медик. Но мне так сдается в разнице медицинских подходов в РФ и Западе.
И это в РФ эту работу делают маммолог как вы сказали. А вот что делают радиологи на здесь.
То есть радиолог делает именно то что указано.
А насчёт того что это рекламная статья, как вы более уверены, так флаг вам руки, докажите. Оригинал на английском приведен. Нормальная научная статья. Если не нравится компиляция статьи, смотри оригинал.
Разницы подходов нет. Это вопрос классификаций. У нас нет чисто радиологов, все радиологи - это "врач рентгенолог-радиолог", то есть обладающие компетенциями во всём вышеуказанном. И кафедра называется "кафедра рентгенологии с курсом радиологии".
А должность - да, называется радиолог, но любой радиолог также и рентгенолог и снимки умеет смотреть. То есть, каждый радиолог у нас - это продвинутый рентгенолог.
А вот чисто рентгенологи есть - те, которые тупо вдохните-не дышите и сидят где-нибудь в сельской ЦРБ, или в травмпункте.
Вот именно.
Давать в руки врача, не обученного ставить диагнозы и лечить, а обученного проводить и интерпретировать диагностические процедуры, право ставить диагнозы - верх идиотизма. Это я вам как онколог-практик говорю...
Ну что вы право, там же дальше сказано
Я спрашивал своего доктора, она русскоговорящая, была врачом и в России и и стала в Канаде. Она сказала, что разница в подходах есть, ей пришлось переучиваться.
Но в принципе конечно вы правы, я согласен.
Ммм, а как интерпретировать результат без диагноза? Типа - есть какая-то хрень размером 2-3мм в этой области,
что это я не знаю - вы сами разбирайтесь. Вроде врач тогда и сам это должен видеть или это просто ему помогает быстрее найти (и не пропустить) места куда смотерть надо?
Ситуация, когда диагноза нет - вполне возможна, если исследование проводится в ходе мониторинга состояния здоровья ( в принципе того, что у нас называют диспансеризацией). В остальных случаях диагноз есть. Либо предварительный, тогда диагностическую процедуру проводят для того, чтобы разобраться, а что же там в самом деле. Либо окончательный, тогда диагностическую процедуру могут провести для его окончательного утверждения.
Это наш (российский) подход. Только обычно добавляют предварительный диагноз: похоже на новообразование или туберкулез (например). Дальше начинает уже разбираться тот доктор, которого учили ставить диагнозы и лечить (т.е клиницист или как его называют у нас - лечебник): он опрашивает больного, пытаясь выловить жалобы характерные (или не очень) для какого-то заболевания, смотрит его физический статус, назначает дополнительные обследования. И на основании всего этого ставит тот или иной диагноз.
Но западников такой подход не устраивает. Им нужно, чтобы выявив какую-то хрень на рентгенограмме, доктор-рентгенолог сразу же поставил диагноз и направил больного лечить к определенному специалисту. Держать диагностов, способных разобраться в том, что это за хрень на снимке, для них слишком дорого.
Сильно похоже на рекламную статью, либо - "новость" конторы для инвесторов( у нас всё нереально хорошо.. крч., деньги вы вложили не зря, а теперь - давайте ещё.. больше.. в честь того, насколько всё эмм радужно ).
По большому счёту, речь о классификации изображений и их частей, притом, не сильно сложных. Едва ли нормальный специалист окажется более слепым, чем нейросеть.
Но, для стран и районов, где со здравоохранением полная ***, и такой "электронный" специалист будет кстати, ведь, хоть что-то - лучше, чем совсем ничего, да ещё и без заморочек со всей огромной инфраструктурой минздрава, огромными расходами и денег и времени на получение годных специалистов.
Профи статью посмотрели и сказали спасибо.
Статья не рекламная, достаточно почитать оригинал.
Может все таки принять реальность, что специализированные ИИ существуют, они не миф и не реклама?. И эффективность их работы велика.
Вы мне прямо глаза открыли на, немного-нимало, реальность :)
Как только всё изображается слишком хорошо, это становится именно рекламой.
Когда-то примерно так же( в исключительно розовых и победоносных тонах )описывали любой чих на криптовалютном поприще, ранее - про т.н биодизель и водородные/спиртовые топливные элементы для любого барахла итд.
Работало ли оно ? Вполне. Было ли это "уже реальностью" ? Было. У всего перечисленного были даже рабочие прототипы, но, тем не менее.
По большому счёту, речь о классификации изображений. Нейросеть обучена на изображениях, оценённых людьми. Лучше, чем человек, она снимок разглядеть не может. С учётом гарантированного присутствия в нейросети доли ложных срабатываний, точность её не безгранична. Более того, не совсем понятен уровень опыта и квалификации персон, с которыми нейросети сравнивали..
Потому, если вопрос в том, может ли нейросеть классифицировать изображения, ответ будет ДА. Но вопрос о приемлемой точности( для стран без медицины, не проблема, для стран с норм. здравоохранением - вопрос очень серьёзный ) и ответственности за неверный результат, гораздо сложнее, чем кажется.
Как результат, максимум, на что она реально может тянуть сейчас в странах со здравоохранением - это подобие помощника соотв. специалиста, эдакая система, выделяющая "подозрительные" участки - мало ли чего соотв врач проглядел.
Смешно получается ))
природная нейросетка не может распознать существование искусственной нейросетки ввиду шумов генерируемых маркетологи ческими нейросетками)). Шутка!
Что касается реклама это или нет, и все кончалось на прототипах. Вы уже окружены нейро сетками. Например google, Алиса, Сири, google переводчик, это я только начал перечислять. Какие же это прототипы?
Ваше возражение сводится к трём пунктам. Первый пункт - это то что статья похожа на рекламную. Ключевое слово, похожа, чтобы убедиться что это не реклама достаточно прочитать оригинал, ссылка приведена.
Второй пункт - у вас есть сомнения в точности датасета и кто их описывал. Возрождение вполне корректно ,но опровергается тем что валидация проводилась на изображениях не использовавшихся в дата сете и с хорошим результатом. Методика проверки приведена в статье и показан статистический анализ достоверность результата.
Третий пункт это вопрос точности постановки диагноза, в статье ясно указано что точность постановки даже превышает точность постановки для среднего специалиста.
Вопросы внедрения - это отдельный юридический вопрос отнюдь не вопрос самой системы искусственного интеллекта.
Так что о чем вы спорите я так и не могу понять. Уточните пожалуйста.
ЗЫ: большую часть текста я надиктовал голосом, а вы говорите прототипы...
Специалист уже стал средним ?)
Вопрос в приемлемости ошибки. Особенно с учётом почти бесконечного многообразия вариантов, ограниченности выборки и фундаментальном наличии не_нулевой доли ошибки - доли, которую едва ли возможно прогнозировать для вариантов, не входящих в выборку.
Если вам так угодно
Выводы: оцененная система ИИ достигла точности обнаружения рака, сравнимой со средним рентгенологом молочной железы в
в данном ретроспективном наборе экспертов.
Экспертами они названы ранее в статье, это что бы вы не указывали что я поменял мнение.
Вам ещё не надоело?
Если это правда то хана всем специалистам в этои области. Аппарат дешевле. Специалистов натаскивать больше не будут. И не важно насколько более лучшие результаты покажут профи
Хана приходит специалистам в очень многих областях. Скажем, ретушёрам.
Всё, что связано с распознаванием и обработкой изображений, сетки делают уже неплохо.
Проблема в том что отсутствие ретушера пережить можно.
А отсутствии массы квалифицированных медиков в случае непредвиденных обстоятельств... Начиная от третьей мировой и кончая зомби апокалипсисом будет весьма плачевным
И это нормально: среди радиологов, как и в любой другой профессии, на "отлично" учится не более 5%. И именно они были экспертами при выборе правил диагностики рака для нейросети.
Более того: "чуйку" пока никто не отменял, но она есть только у опытных экспертов.
Будем интересно, когда нейросеть покажет рак, пациенту сделают операцию, а там...
Да у сеток есть процент ложно положительного срабатывания.
Но мне кажется, что комбинация радиолог+сетка даст отличный эффект, и нагрузка на врача будет меньше, и глаз не так замыливаться.
Вы плохо понимаете, как работает нейросеть. Собственно, радиологи никакими экспертами при выборе правил являться не могут.
Советую вернуться к живописанию удаления молочных зубов, это у Вас лучше получается.
Недавно как раз (на кэггле мельком читал несколько материалов) с этими нейросетевыми предсказаниями раков получился чудесный казус - там работали, правда, с раком кожи. Сетку настроили, датасет был серьёзный. Премии лучшим кэгглерам выплатили, сетку запустили в продакшен - и тут начались пропуски позитивов... Причём жуткие. Обнаружилось, что в датасете на картинках с подозрительным на опухоль пятном рядом, как правило, прикладывалась ...линеечка (ну, принято так). Вот её-то сетка и подхватывала, а в реале линеечек,конечно, не было
Так что не стоит слишком уповать на нейросети.
Да забавно.))
Так ведь и не сетка виновата, а кожаная прокладка. Между стулом и клавиатурой!))
Ох уж эти кожаные ублюдки!
это вполне логично: человек слишком универсален, чтобы все делать хорошо
поэтому любая специализированная машина рано или поздно сделает человека в любой области
другое дело, что построить машину, которая бы делала всё лучше любого человека - почти не реально, по крайней мере пока... да и, собственно зачем...?
а всяким скептикам и недовольным можно ответить так: новость вполне аналогична новости из конца 19 века "автомобиль оказался в среднем быстрее, чем 101 лошадь, но уступил некоторым породистым скакунам-рекордсменам"
В общем, ничего удивительного в этом нет. Распознавание по критериям - вещь достаточно простая, чтобы на неё повесить автомат, главное достоинство которого в том, что он не ошибается, потому что болел живот, сын получил двойку, или жена поцарапала новый авто.
Как по мне, радоваться надо, что у врачей появились новые рабочие (!) средства диагностики.
мечта всех капиталистов - каплю крови в аппарат сдал и сразу весь комплекс болезней тебе на распечатку вывели. Штатка и бюджет на персонал в поликлинике не нужны, расходники не нужны, больничные, отпуска - можно не париться. Сплошные плюсы от автоматизации, для капиталиста.