Медицина – одна из областей деятельности, в которой работа над ИИ и его применением ведется наиболее планомерно и целенаправленно. Этим, в том числе, обусловлены заявленные на круглом столе в рамках Глобальной недели здравоохранения в Абу-Даби первым заместителем министра здравоохранения РФ Владимиром Зеленским результаты:
"Внедрение систем с ИИ уже сегодня позволяет анализировать более 6 400 тыс. медицинских исследований в месяц, сократив время диагностики на 30-40% и повысив показатели выявления патологии на 15-20%.
В 2024 году мы внедрили скрининговую маммографию с использованием искусственного интеллекта в систему обязательного медицинского страхования.
Что важно - мы внедряем технологии искусственного интеллекта не только в качестве медицинских изделий, мы массово используем чат-боты для организации визитов к врачу, распознавания голоса и анализа неструктурированных текстов медицинских карт. Также мы развиваем чат-боты для поддержки здорового образа жизни".
Лидируя в области применения ИИ, отрасль задает определенные ориентиры для участников и заинтересантов развития ИИ в целом. Одним из важнейших элементов в этом стали сформулированные этические принципы применения ИИ в медицине, на которых остановимся более подробно.
Протоколом заочного голосования от 14.02.2025 № 90/18-0/117 Межведомственной рабочей группы при Министерстве здравоохранения Российской Федерации по вопросам создания, развития и внедрения в клиническую практику медицинских изделий и сервисов с использованием технологий искусственного интеллекта была утверждена версия 2.1 документа под названием «Кодекс этики применения искусственного интеллекта в сфере охраны здоровья». Документ размещен на портале оперативного взаимодействия участников Единой государственной системы в сфере здравоохранения (ЕГИСЗ).
Вводная часть документа задает общие ограничения в области применения, определяет цели и задачи.
Кодекс этики применения искусственного интеллекта в сфере охраны здоровья (далее – Кодекс) – это набор принципов и рекомендаций, предлагаемых Министерством здравоохранения Российской Федерации совместно с главными внештатными специалистами Минздрава России и направленных на определение этических норм использования искусственного интеллекта (далее – ИИ).
То есть речь идет о принципах и рекомендациях, предлагаемых Минздравом. То есть обязательность соблюдения - изначально документом не обозначена.
Положения настоящего Кодекса рассчитаны на системы искусственного интеллекта, применяемые исключительно в сфере охраны здоровья граждан при оказании медицинской помощи в части профилактики, диагностики, лечения и иных действий в сфере здравоохранения Российской Федерации.
Оговаривается область применения Кодекса – исключительно сфера охраны здоровья. При этом сделана оговорка о возможности дополнительного развития и конкретизации изложенных положений по мере развития технологий и по прочим причинам.
Целью Кодекса является этичное, безопасное и эффективное развитие и использование ИИ на благо общества, развитие здравоохранения, а также предотвращение применения ИИ во вред в настоящем и будущем, с гармонизацией Кодекса с международными соглашениями и международным правом.
Основными целями обозначены соблюдение этики и безопасности применения ИИ. Гармонизация с международными соглашениями и международным правом, вынесенные в цели – в современных условиях, на мой взгляд, несколько неуместно. Но авторы видят так.
Основными задачами Кодекса являются:
- Определение прав и обязанностей субъектов ИИ.
- Определение механизмов регулирования применения Кодекса.
То есть документ, в целом – о правах, обязанностях и механизмах регулирования (читай – контроля соблюдения) применения Кодекса.
В документе приводятся ряд определений, наиболее интересными из которых являются:
Искусственный интеллект - комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений.
[Указ Президента Российской Федерации от 10.10.19 N 490 "О развитии искусственного интеллекта в Российской Федерации"]
Система искусственного интеллекта (СИИ) (Artificial Intelligence System): техническая система обработки информации, обладающая искусственным интеллектом (например, см. ПНСТ 553-2021 (ISO/IEC DIS 22989, NEQ), ГОСТ Р 59276-2020). Программное обеспечение, в котором используются технологические решения искусственного интеллекта.
[ГОСТ Р 59921.6-2021, пункт 3.10]
Субъекты СИИ - Лица, принимающие участие в жизненном цикле СИИ при его реализации на территории Российской Федерации или лица, находящиеся на территории Российской Федерации, в отношении которых применяется СИИ, включая предоставление товаров и оказание услуг. К таким лицам относятся в том числе: разработчики, производители, уполномоченные представители производителей, заказчики, владельцы, операторы и поставщики данных, пользователи, лица, принимающие участие в регуляторном воздействии на сферу ИИ, в том числе разработчики нормативно-технических документов, руководств, различных регуляторных положений, требований и стандартов в области ИИ (регулятор), иные лица, действия которых потенциально могут повлиять на результаты действий СИИ или лиц, принимающих решения с использованием СИИ.
Два первых определения носят ссылочный характер (то есть – в Кодексе калька из Указа Президента РФ и из ГОСТ Р соответственно). А вот третье – наиболее интересно, поскольку именно оно вводит понятие «субъектов СИИ», обозначение прав и обязанностей которых – основная задача документа.
Для исключения недопонимания, авторы детализируют перечень субъектов.
В рамках настоящего Кодекса под Субъектами СИИ понимается круг лиц, принимающих участие в жизненном цикле СИИ при его реализации на территории Российской Федерации или лица, в отношении которых применяются СИИ, находящиеся на территории Российской Федерации, включая предоставление товаров и оказание услуг. Это могут быть физические лица и юридические лица, в том числе:
- физические лица, в том числе пациенты;
- некоммерческие организации и профильные профессиональные сообщества;
- медицинские организации всех форм собственности и подчиненности;
- образовательные учреждения, в том числе в сфере здравоохранения;
- компании разработчики, производители, уполномоченные представители производителей, операторы и владельцы ИИ;
- органы управления здравоохранением;
- независимые (локальные) этические комитеты.
Охват широкий, наиболее важные, на наш взгляд, выделены. Потому как – именно они являются носителями ключевых ролей в области применения СИИ, перечисляемых авторами документа.
- Разработчик - физическое или юридическое лицо, создающее, обучающее, тестирующее модели/системы ИИ и разрабатывающее, реализующее такие модели/системы, программные и/или аппаратные комплексы и принимающее на себя ответственность в отношении их конструкции;
Обратим внимание – на первом месте стоит разработчик. Важно, что в отличие от традиционного понимания функции разработчика, здесь сразу и явно обозначается его ответственность за создаваемую СИИ.
- Заказчик и/или Владелец - физическое или юридическое лицо или организация, получающие продукт или услугу (СИИ);
Тут пока – выглядит несколько странно. В части «получающие» - вроде как – не совсем удачное слово.
- Пользователь - физическое или юридическое лицо, на законном основании использующее СИИ по назначению и в соответствии с техническими характеристиками и непосредственно реализующее решение прикладных задач с использованием СИИ;
Всё стандартно, но дополнительный акцент на законность.
- Оператор - физическое или юридическое лицо, обеспечивающее работу СИИ в соответствии с заявленными параметрами;
Тоже стандартно. Кстати, здесь явное упоминание какой-либо ответственности отсутствует.
- Регулятор - юридическое лицо, принимающее участие в регуляторном воздействии на сферу ИИ, в том числе разработчики нормативно-технических документов, руководств, различных регуляторных положений, требований и стандартов в области применения СИИ в здравоохранении;
Стандартно. Явного упоминания ответственности нет.
- Иные лица, действия которых потенциально могут повлиять на результаты действий СИИ или лиц, принимающих решения с использованием СИИ.
Всё, что не вошло в перечисленные выше роли, но вдруг проявится.
Обобщенные требования к ролям – изложены абстрактно-высокоуровнево:
Субъекты СИИ в соответствии со своей ролью обеспечивают:
- проектирование, разработку, апробацию, экспертизу и эксплуатацию СИИ в соответствии с законодательством и принятыми стандартами;
- сбор, обработку и использование данных в соответствии с законодательством;
- надежные меры защиты и конфиденциальности данных, включая анонимизацию данных, шифрование и строгий контроль доступа;
- обеспечение защиты прав и благополучия субъектов исследования (субъектов СИИ);
- контроль над использованием данных и функционированием СИИ;
- информирование о правилах обеспечения безопасности.
В общем – за всё хорошее и против всего плохого.
Ну и – собственно принципы. Их всего 8.
2.1 Ограниченная автономность
Автономность СИИ в здравоохранении ограничена и обратима.
Обеспечить требуемые параметры автономности должны разработчики СИИ в рамках своей роли на соответствующем этапе жизненного цикла СИИ.
Субъекты СИИ обеспечивают комплексный контроль над СИИ в объеме и порядке, зависящем от целей, задач и этапа жизненного цикла СИИ.
Все решения СИИ (при необходимости) должны быть проверены и одобрены субъектом ИИ с соответствующей ролью.
СИИ должны позволять субъектам СИИ с соответствующей ролью:
- Проверять и/или санкционировать автоматизированные решения.
- Отказаться от автоматизированных решений.
- Изменять предложенные СИИ решения.
Это ключевой принцип. Под автономностью в данном случае понимается самостоятельность СИИ с точки зрения принятия того или иного решения. Изложенные пункты означают, что:
· ни о какой полной самостоятельности речи не идет; возможности самостоятельных решений СИИ – всегда ограничены;
· соблюдение параметров (то есть – рамок) автономности - должно быть обеспечено разработчиками;
· СИИ всегда должна оставаться под комплексным контролем со стороны субъектов СИИ;
· все решения СИИ – должны быть проверены и одобрены субъектом СИИ (что при этом означает оговорка «при необходимости» - не совсем понятно);
· СИИ должны быть спроектированы и реализованы таким образом, чтобы субъекты СИИ всегда было доступно выполнение следующих действий: проверка и/или согласование решений СИИ; отказ от решений СИИ; изменение решений, предлагаемых СИИ.
2.2 Прозрачность и объяснимость
СИИ должны проектироваться и разрабатываться с ориентацией на понятность и объяснимость результатов функционирования, кроме того, разработчик и/или производитель обязан обеспечить доступность информации о применяемых в СИИ алгоритмах работы ИИ, что повышает уровень защищенности пользователя и доверия к СИИ.
Ещё один ключевой момент. Вероятно, будут попытки разного толкования данного принципа, но прямое его прочтение означает, что фраза «мы не понимаем, почему ИИ выбрал этот вариант решения» - становится вне закона. Ибо русским – по белому сказано: объяснимость результатов функционирования. Аналогично – лесом идут все «самосовершенствующиеся алгоритмы, которые невозможно объяснить».
2.3 Конфиденциальность данных и безопасность пациентов
В соответствии с законодательством субъекты СИИ должны обеспечивать конфиденциальность данных и безопасность пациентов на всех этапах жизненного цикла СИИ.
Неисполнение законодательства Российской Федерации в части обеспечения конфиденциальности данных, повлекших за собой причинение вреда здоровью и/или риск разглашения сведений, составляющих врачебную тайну, в результате применения СИИ (в том числе по причине применения СИИ не в соответствии с заявленными характеристиками), ведет к возникновению ответственности в соответствии с законодательством.
Пункт формальный. Но в виду особенностей отношения к медицинским данным физлиц – нисколько не лишний.
2.4 Справедливость и равенство доступа
Права всех субъектов СИИ, включая пациентов и представителей социально уязвимых групп населения (как субъектов СИИ), должны быть защищены и учтены при разработке и применении СИИ в соответствии с требованиями законодательства. Применение СИИ не должно приводить к стигматизации и дискриминации субъектов СИИ из-за их состояния здоровья, пола, возраста, национальности или иных характеристик. Все субъекты СИИ должны иметь равный доступ к СИИ с учетом целей и задач, решаемых СИИ.
Это – вроде как – на перспективу. Чтобы даже мыслей строить здравоохранение на принципах сегрегации не возникало.
2.5 Научное партнерство и профессиональная ответственность
Субъекты СИИ должны развивать и поддерживать научное партнерство, в том числе в рамках сотрудничества с международными организациями и научными центрами государств-участников Договора о создании Союзного государства и Договора о Евразийском экономическом союзе, обеспечивать соблюдение принципов профессиональной ответственности.
Субъекты СИИ, принимающие участие в создании, апробации, экспертизе, эксплуатации контроле СИИ, должны руководствоваться научной добросовестностью, приверженностью открытому исследованию и междисциплинарному сотрудничеству, а также выдерживать высокие стандарты профессионализма, осознавая свою возможность влиять на общество и будущее технологии.
Реверанс в сторону партнеров и принципов научной добросовестности.
2.6 Информирование
Субъекты СИИ в рамках своей роли должны обеспечивать максимальную прозрачность и правдивость в информировании об уровне развития СИИ, их возможностях и рисках, предоставлять достоверную информацию о допустимых областях применения, эффективных методах использования, потенциальном вреде, пользе и существующих ограничениях СИИ.
Все субъекты СИИ должны увеличивать уровень осведомленности общества о СИИ, проводя и/или принимая участие мероприятиях по повышению доверия и информированности: разработка научных и публицистических материалов, организация конференций и семинаров, а также включение правил этического поведения в правила эксплуатации СИИ.
Логичное продолжение предыдущего принципа в части обеспечения доступности обнаруженной при разработке информации, как позитивной, так и негативной.
2.7 Проведение этической экспертизы и апробации СИИ
Проведение этической экспертизы и апробации СИИ определены законодательством Российской Федерации.
Интересный пункт. Отсылка к законодательству, без какой-либо конкретики. На текущий момент у ТС нет информации о наличии и/или ведении разработки соответствующих законопроектов.
2.8 Контроль
Применение СИИ в сфере охраны здоровья граждан подотчетны и контролируемы.
Субъекты ИИ в соответствии с их ролью должны обеспечивать надлежащий контроль за применением СИИ. Для каждого из этапов жизненного цикла СИИ должны быть определены Субъекты ИИ, принимающие на себя ответственность за воздействие СИИ на заинтересованные стороны, общество.
При кажущейся традиционности, принцип требует явного определения ответственных на каждом этапе жизненного цикла СИИ. Следование этому совместно с требованиями принципа 2.1 приводит к формированию жестких и прозрачных рамок ответственности за создание и использование СИИ.

Комментарии
Гм, немножко поздно опомнились. Любая картинка МРТ - это по сути продукт "ИИ". Любая и в любые годы.
А изделия с алгоритмами распознавания уже имеют РУ и продаются, в том числе обученные в России модели. Например https://artincol.ru/
И что это меняет? Изделия - ради бога. А вот диагноз - ставит врач. Что не так?
Так и будет ставить врач. Только еще будет писать, что по данным экспертной системы указан вероятность д/за столько то % и т.д. И вопросики все так же будет писать во всех диагнозах, кроме окончательного )
Вот сейчас прибежит сюда некто "Корректор" - и объяснит вам, что скоро ИИ будет всем и всё диктовать.
Так пусть диктует. Отвечать за диагноз тогда будет тот, кто приказом введет приоритет ЭС перед мнением лечащего врача. Осталось найти такого человека и заставить его поставить подпись.
Тут ситуация, в реальности - слегка тухлая с точки зрения интересов некоторых крупных игроков.
Поясню по аналогии: когда Пфайзер стала впаривать свою вакцину от ковида - первое, что они потребовали - это отсутствие ответственности в случае побочных эффектов. И большинство стран приняли это условие. Ибо - это правильные пацаны зарабатывают, им ответственность ни к чему...
Здесь - в пиндостане похожая ситуация мутится: бабки закачиваются нереальные, попил на горизонте трюлями мерить планируют, а охлосу надо будет что-то отдать. Но если придется нести ответственность - то тема становится заметно менее привлекательной-перспективной с их точки зрения. Так что будут сейчас генерить разного рода страховые схемки и прочую лабуду - лишь бы откосить от этого момента. Наблюдаем - и анализируем.
Надеемся, что наши в эту сторону не пойдут. Пока - выглядит так.
Там регулярные алгоритмы и никакого обучения.
Неа, и алгоритмы там не такие, как в СКТ, например, и обучение синтезу картинки есть уже очень давно, и распознавание образов прикручено черт знает сколько времени.
Измерительный прибор не должен фантазировать.
Так он и не фантазирует, а детерминированно и воспроизводимо преобразует сигнал облучения в цифры, по которым на экране рисуют картинку после всяческих программных ухищрений. Грубо говоря, добавится один программный модуль и одна цифра - вероятность рака груди.
Это для врача, а не для пациента.
Нейросетки внезапно тоже детерминированно и воспроизводимо фигасят свой продукт.
Внезапно именно это я и написал
Но, ска, фантазирует. Как, например, без буйной фантазии убрать артефакты от мотыляния головой? А прибор убирает.
Измерительный прибор - это приемник радиоимпульсов в составе барбухайки. А барбухайка с бубликом - это диагностический аппарат, а не прибор.
Очень интересно, как это "картинка МРТ в любые годы - продукт ИИ"?
Там все довольно прямолинейно поначалу было.
Владимиром Зеленским?
Министерство здравоохранения Российской Федерации
Первый заместитель Министра — Владимир Анатольевич Зеленский
Диагностика в медицине - это задачи распознания образов, вполне подходящая для ИИ область применения
Да, это так.
Но решение о диагнозе - принимает врач.
Предварительный диагноз, выписка направлений на анализы и к врачу, к этому можно привлекать ИИ. Можно снизить существенно нагрузку на живых специалистов. Также возможны автоматические процедурные кабинеты, почему бы и нет?
Нельзя. Потому что на основании чистых жалоб пациентов "всё красное всё чешется" или "кашель температура" без уточняющих вопросов врача и физикального обследования послушать/постучать/помять никаких, даже предварительных, диагнозов поставить нельзя.
Диагноз не для пациента, а как подсказка врачу и обоснование направлений. Уточняющие вопросы пациенту и какое-то обследование предварительное может делать автоматика, это возможно вполне, не сегодня, так завтра. Разумеется живой врач лучше, но что делать, если врачей не будет хватать? Тогда могут вполне задействовать медицинские чат-боты. Все в фильме Идиократия уже показано, мы же туда двигаемся
Какое-то предварительное обследование от арифмометра - проще уж сразу фэнтезийную медкапсулу делать, по крайне мере в ней минимум движущихся частей, чистая многодиапазонная интроскопия и биохимия.
Я лично не являюсь энтузиастом ИИ, но имею представление, интересовался тематикой НС еще лет 40 назад. Имхо, применение ИИ в медицине, в армии в качестве вспомогательного инструмента таки будет и вполне успешное. Что бы я безусловно запретил, так это использование ИИ для генерации творческого контента и при принятии управленческих решений
Не понял насчёт развлекалова - почему бы и не да, если кто-то готов потреблять жвачку из усреднения предыдущего контента? Его личные проблемы.
Потому что это деградация населения. А вот автоматизация тяжелого, монотонного труда вполне допустима, имхо
Я бы еще предположил, что созданный ИИ полностью оторванный от реальности контент - будет и воспитывать людей без учета реальности. Силу тяжести, например, сложно отменить - но ИИ об этом в своих "произведениях" может позабыть... А дети - будут верить ему.
да, последствия будут печальные
"Войну и мир" и стихи Волошина и Зенкевича читают единицы, и единицы слушали Кармина Бурана. Причём те, кто знаком с высокими образцами, не чуждаются дюдиков и попсы.
Просто сейчас на современной сетевой культуре всё это наружу вылезло.
Так что в образовательные программы надо закладывать ознакомление ширнармасс с образцами высокого стиля - а не запрещать масскульт.
Глядишь, начнут отделять усреднённое ИИ-месиво от качественного авторского контента.
Я тут пессимистично настроен. Имхо, если это дело не контролировать, то развитие культурное, да и техническое остановится.
Эталоны надо задавать через систему образования.
А в школьную программу насовали солженициных и современных писалок богоизбранной национальности.
Типа, актуальненко, и согласно Конституции идеология запрещена.
Вы же понимаете, что такого слона задорого продать не получится. Это как слесаря сравнивать с "великим режиссёром": мастерства у последнего - доли процентов от мастерства слесаря, а вот доходы - несколько отличаются...
Так что будут всеми способами пихать именно туда, куда вам бы не хотелось. (И - не только вам...)
Вы про визуальную диагностику как метод объективного и инструментального обследования.
Диагностика - это составление мнения о состоянии здоровья, а не определение содержания картинки или толкование цифр. Диагноз - заключение о таком состоянии, мнение.
Я про все, про картинки, анализы, описание симптомов. Получение диагноза на выходе по набору входных данных на основе накопленного опыта - это задача распознавания образов, вполне доступная для автоматизации.
Еще раз: диагноз - это мнение, а не картинка или цифра. Зачастую диагноз ставится из одного лишь анамнеза, причем собранного не при опросе )
Получение диагноза - это процесс взаимодействия с пациентом разумными способами, а не распознавание образов )
Медицинские экспертные системы, это древняя тема. Да, они себя не оправдали, но на новом уровне технологий дело может пойти на лад. Тот же чат гопоты я уверен, уже сейчас вполне способен побеседовать на медицинскую тему и наверно в большинстве случае выдаст достоверную рекомендацию. Возможно вас смущает сам термин "распознание образов" - это просто термин инженерно-математический, достаточно широкая область задач
100% пойдет. Я был скептиком очень долгое время, над известным Watson смеялся. но все поменялось. Сейчас есть очень хорошие шансы, что вместо зубрежки нормативов и диагнозов по фотографии диагносты наконец-то смогут иметь дельные подсказки и безэмоционального надсмотрщика )
В детали не лез, но на беглый взгляд нормально.
Никаких "слепых" для врача рекомендаций ХЗ на основе неизвестно чего, никаких автономных решений арифмометров.
На мой взгляд - тоже вполне позитивный документ.
Неплохо бы эти принципы - и в других сферах применять.
ИИ - это не программа, которую любой может проверит и изучить.
Разработчики ИИ обучают его, загружая кучу данных, но и сами не понимают, как он работает.
Отвечать за его работу деньгами и свободой - это русская рулетка.
Не можешь объяснить решение - нахрен с поля.
Разработчики не знают медицины.
Но обеспечить обоснование принятия решения - в их силах. К примеру, если речь идёт о скрининге по результатам изучения снимков, тогда пусть сопровождает тревожный сигнал указанием на снимке подозрительных мест.
ИИ даже орать может или сирену включить.
Но это не для пациента, а для врача.
Это так и должно работать, "кожаный, смотри сюда, тут стремновато"
Нет.
Собственно в этом и прикол.
Основной прикол.
ИИ способен выявлять и учитывать закономерности по набору вторичных и третичных признаков и вообще не признаков.
И именно эта его способность наиболее впечатляющая и востребованная.
А внимательно рассмотреть снимок дыр в легких - это детские шалости - тут ИИ не нужен.
Так что в реальности это выглядит так: кожаный, ты думаешь, что ты космонавт, но на самом деле тебе уже трындец.., просто ты ещё об этом не знаешь...
Если эта способность не сопровождается описанием признаков и порядке вывода - грош ей цена. Это даже не доктор Хаус, который как раз в состоянии размотатьь логическую цепочку. И держит при себе молодых специалистов, которых учит своему подходу.
Здесь имеет место натуральный чёрный ящик. Нет объяснения - нет применения.
Именно на это я и отвечал.
ЕСТЬ применение.
ИИ способен интегрировать набор признаков, которые признаками не считаются - это применимо хоть к временным рядам, хоть к структурам.
Он выявляет неизвестные шаблоны.
И обратно - может синтезировать такие структуры и шаблоны.
Вы будете искать на снимке дыру в легком, а он учтет сотни тысяч других признаков и закономерностей.
Вы просто не в состоянии обработать такое количество информации.
Применительно к медицине - это определение зоны риска, когда до дыр ещё не дошло. Профилактика.
А она намного дешевле и эффективнее лечения.
Без указания списка признаков Вы обрекаете пациента на море анализов, а если, паче чаяния, использование таких ИИ ввели бы в протокол, тогда и на разного рода терапии, включая медикаментозные - что тоже не всегда для здоровья полезно.
Не надо художественного свиста, у вывода должен быть след. Без этого вместо навороченных алгоритмов можно пользоваться методом Монте-Карло.
Нет там навороченных алгоритмов.
Там все тупо до неприличия.
Даже в самых крутых разработках.
Посмотрите на вики, как устроен нейрон.
Там линейная алгебра 1850-го мохнатого года - позапрошлый век.
Страницы