В ПГУ создали веб-приложение со встроенным ИИ для врачей-рентгенологов
Специалисты Пензенского государственного университета (ПГУ) создали интеллектуальную систему «Radex — ИИ-ассистент врача-рентгенолога». Она автоматически выявляет признаки 18 патологий легких — пневмонию, плеврит, пневмоторакс, фиброз, опухолевые процессы, переломы ребер и другие — и формирует предварительное текстовое медицинское заключение. Кроме того, врач может вести с системой диалог и задавать уточняющие вопросы.
По данным Всемирной организации здравоохранения, заболевания органов дыхания входят в тройку основных причин смертности населения, уступая лишь сердечно-сосудистым и раку. Это связано с тем, что заболевания дыхательных путей зачастую обнаруживают на поздних стадиях, также они часто приобретают хронических характер — развиваются постепенно и сохраняются в течение долгого времени.
Диагностируют пульмонологические заболевания, как правило, по рентгеновским снимкам (рентгенограммам) грудной клетки. Однако, нередко медицинские учреждения испытывают кадровый дефицит специалистов-рентгенологов, а также перегрузку рентгенологических кабинетов. Это снижает оперативность диагностики и повышает риск ошибок.
«Требуется универсальный помощник, который сможет интерпретировать рентгеновские изображения грудной клетки и обнаруживать на них различные патологии, при этом конкретизировать и описывать области с поражениями. Врачу неудобно одновременно использовать в своей работе множество систем, каждая из которых решает только одну задачу. Нужен полноценный помощник, который делал бы все, адаптируясь под конкретные клинические сценарии», — отметил один из разработчиков, профессор кафедры «Медицинская кибернетика и информатика» ПГУ, доктор технических наук Леонид Кривоногов.
Интеллектуальная система «Radex» включает в себя три инновационные технологии искусственного интеллекта: агентный подход, модульную архитектуру и мультимодальный анализ. Последний позволяет на этапе обработки информации использовать сразу несколько типов входных данных: изображения грудной клетки (рентгеннограммы) и текстовые данные (вопросы врача, анамнез, симптомы, возраст пациента, пол и так далее).
Система анализирует рентгеновские снимки грудной клетки с использованием больших мультимодальных языковых моделей. Она опирается на заранее обученные нейронные сети: DenseNet-121 — для классификации, PSPNet — для сегментации, а также мультимодальные VQA-модели CheXagent и LLaVA-Med, объединенные в единую архитектуру. Уникальность разработки пензенских ученых — именно в архитектуре интеллектуальной сети, определяющей взаимодействие и способы обработки информации. Каждая ИИ-модель отвечает за свою задачу, но их работа логически объединена, а взаимодействие осуществляется через контролирующий агент — систему управления логикой принятия решений.
«Такая архитектура позволяет делегировать каждой модели строго ограниченный набор задач и добиваться высокой точности за счет их узкой специализации. При этом агент-координатор управляет всем процессом интерпретации и может динамически выбирать инструменты в зависимости от поставленной задачи», — рассказал участвовавший в исследовании выпускник Медицинского института ПГУ Илхомджон Иномбоев.
Удобный и интуитивно понятный интерфейс веб-приложения состоит из чата-панели с вопросами и ответами, а также окна для загрузки и просмотра рентгеновского снимка. Врачу-рентгенологу необходимо загрузить рентгеновский снимок и задать команду в чате. Через 20-30 секунд ИИ-ассистент выдаст предварительный диагноз. Специалист может вести диалог с нейронной сетью: задавать уточняющие вопросы, оспаривать диагноз, запрашивать пояснения. Кроме того, доступна визуализация результатов анализа: ИИ-ассистент может наглядно показать на снимке участки затемнения и другие видимые отклонения.
Исследователи проверили разработку на открытом и общедоступном бенчмарке. Разработанная интеллектуальная система опережает сразу четыре сильных конкурентных модели, ее точность постановки диагноза приближается к 70 %. В настоящее время научный коллектив дорабатывает веб-приложение, получено свидетельство о государственной регистрации программы.