Организаторы Московского эксперимента подвели итоги работы ИИ-сервисов за 3 квартал 2023 года

На сайте Московского Эксперимента по применению технологий компьютерного зрения (ИИ в радиологии) выложены итоги работы сервисов на базе искусственного интеллекта за 3 квартал 2023 года. Сервисы сравниваются по трём показателями:

• Клиническая оценка (проспективный ROC-AUC, вертикальная ось) - это основной показатель точности сервиса, он отражает качество работы по разделению “нормы” и “патологии” на всём объёме исследований за квартал.
• Техническая оценка (горизонтальная ось) показывает надёжность сервиса в плане скорости работы и количества ошибок обработки.
• Результаты мониторинга (диаметр кружка) - это оценка сервиса по качеству трактовки и локализации находок, проводимая врачом-экспертом на выборке из 80 исследований каждый месяц.

Вот результаты по модальностям Эксперимента, участие в которых принимают решения Цельс:

В рамках направления по маммографии по метрикам клинической и технической оценки лидерство сохраняет решение Цельс.Маммография. На втором и третьем месте рейтинга расположились сервисы TrioDM и Третье Мнение.

По направлению флюорографии Цельс также находится на первом месте. Второе и третье места заняли сервисы Третьего Мнения и компании Фтизисбиомед.

Похожим образом обстоит ситуация и с направлением рентгенографии органов грудной клетки, где на первом месте закрепился Цельс. К тому же, Цельс стал первым сервисом по РГ ОГК, успешно прошедшим тестирование по новым требованиям.

Плотная борьба развернулась между комплексными сервисами для анализа компьютерных томограмм ОГК. Первое место удерживает IRA-LABS. На втором месте по метрикам технической и клинической оценки находится Цельс. Третье и четвёртое места достались компаниям АИ Диагностик и CVisionLab.

В третьем квартале Цельс в очередной раз вошёл в топ-2 сервисов по выявлению внутричерепных кровоизлияний. Мы и наши соседи по рейтингу (Третье Мнение) с большим отрывом опередили всех конкурентов.

Заключение

Подводя итоги третьего квартала мы бы хотели отметить, что решения компании продолжают сохранять лидирующие позиции и наращивать результаты по основным направлениям присутствия в Эксперименте.

Мы крайне признательны площадке за их продвинутые алгоритмы проспективной работы сервисов и поддержание прозрачности. Это крайне важно для функционирования и развития отрасли ИИ в рентгенологии.

Со своей стороны мы будем и дальше совершенствовать качество наших решений и приложим максимум усилий чтобы не только соответствовать, но и превосходить ожидания от работы с ИИ наших любимых пользователей - ВРАЧЕЙ.

Только вместе мы можем приблизиться к достижению общей цели - повысить качество и эффективность диагностических мероприятий в нашей стране.