Почему вам не стоит полагаться на нейросеть в вопросах здоровья: разбираемся с педиатром Фёдором Катасоновым

Раньше мы гуглили свои симптомы, а сегодня обращаемся за диагнозом и советом к нейросетям. Это быстро и бесплатно, но далеко не всегда полезно и безопасно. 

Может ли нейросеть правильно поставить диагноз 

Иногда искусственный интеллект неплохо справляется с диагностикой. В одном исследовании учёные отправили 100 клинических случаев с жалобами и симптомами в чат-бот приложения Babylon Health и дали эту же информацию врачам. ИИ правильно определил заболевания в 80% историй болезни, а врачи — в 84% случаев.

Авторы другого исследования проверили восемь приложений для диагностики и выяснили, что некоторые из них — Ada, Babylon и Buoy — хоть и не догнали врачей по точности, по крайней мере к ним приблизились. 

Возможно, в будущем нейросети не только станут хорошими помощниками для врачей, но и полностью заменят некоторых специалистов. 

Фёдор Катасонов

Педиатр, популяризатор доказательного подхода в медицине, автор телеграм-канала «Федиатрия».

Многие врачи пользуются нейросетями для работы с текстами и презентациями. Я, надо сказать, не из них: я не могу получить ту точность, которую хочу, и предпочитаю пока что работать вручную.

Сертифицированных ИИ для практических медицинских задач я пока не видел. Но вариантов применения искусственного интеллекта очень много. Самый базовый — это документооборот. Если ИИ будет заполнять все формы, направления и истории болезни, это уже сильно освободит врача для общения с пациентом.

Кроме того, ИИ могут хорошо оценивать изображения, если их заточить на это. Это означает описание всей визуальной диагностики (рентген, МРТ и прочее), описание ЭКГ и других графических методов. Уже сейчас компьютер может это делать лучше человека.

Возможно, ИИ скоро освоит и первичную интерпретацию анализов, анализ формально собранного анамнеза и многие другие технические действия, включая, например, создание индивидуального календаря прививок, которым я сейчас занимаюсь вручную.

В будущем ИИ точно заменит поликлинику, уверен, что заменит психотерапевтов, а со временем — и хирургов. В целом, я вполне верю в кибермедицину, как в сай-фай-фильмах, когда роботы проводят всю диагностику и лечение.

Кроме того, современные технологии позволяют вынести многие медицинские события за пределы клиник. С помощью носимых датчиков и систем анализа в реальном времени, а также систем доставки лекарств ИИ смогут оказывать часть помощи прямо на дому.

С точки зрения эффективности медицинской системы в целом, я думаю, что она выиграет от полной замены докторов на ИИ, когда ИИ станет точнее больше половины врачей. Если этот момент ещё не настал, то он близок.

Однако всё это, возможно, произойдёт в будущем и будет касаться специальных инструментов, разработанных для медицинской диагностики. Сейчас же чат-боты, популярные у обычных пользователей, не так хороши в распознавании болезней и выборе методов лечения. 

Почему не стоит доверять нейросети постановку диагноза и выбор лечения

Есть несколько причин не доверять искусственному интеллекту своё здоровье. 

Нейросеть не всегда ставит правильные диагнозы

Приложения, которые использовались в упомянутых исследованиях, были созданы для диагностики заболеваний. ChatGPT и многие другие инструменты на основе искусственного интеллекта не ориентированы на работу в здравоохранении и могут опираться на сомнительные источники информации.

Более того, хоть системы и обучаются, это не значит, что диагностика становится точнее. В 2018 году авторы одного исследования выбрали несколько систем для проверки симптомов и ввели признаки трёх офтальмологических состояний: глаукомы, повреждения роговицы и синдрома сухого глаза. То же самое повторили через два года и сравнили результаты. Вот что получилось в итоге: 

• Ada в 2018 году правильно распознала глаукому, но в 2020 году по тем же симптомам определила кластерную головную боль. 
• Babylon при глаукоме рекомендовала срочно лечиться, но не поставила диагноз, а при сухом глазе — состоянии, которое не требует немедленной помощи врача, советовала записаться на приём в тот же день. 
• Bouy, разработанная Гарвардской медицинской школой, не смогла определить синдром сухого глаза, а вместо повреждения сетчатки предположила катаракту и заболевание костей.

В другом исследовании авторы отметили, что для постановки верного диагноза очень важно, на какую выборку опирается искусственный интеллект. Например, если большая часть информации о заболевании получена от мужчин, возрастает риск ошибок при постановке диагноза женщинам. То же касается этнической группы и даже социально-экономического статуса людей.

Нейросеть может галлюцинировать и выдумывать факты 

Существует такое явление, как галлюцинации искусственного интеллекта. Это грубые фактические ошибки нейросети — её выводы, не основанные на реальных данных. Такое может случиться, если модель выбирает только часть имеющейся информации и игнорирует другую, более важную. 

По разным данным, уровень галлюцинаций у моделей ИИ варьируется от 8 до 20% в зависимости от сложности модели и качества данных, на которых она тренируется. 

Фёдор Катасонов

Поиск в Google — это худший вариант самодиагностики. ИИ-чаты обычно справляются лучше, но на сегодня массовые продукты так много галлюцинируют и врут, что их я бы тоже не советовал использовать. Уверен, появятся хорошие ИИ-диагносты, но это будут нейросети, тонко заточенные под эту работу, а не языковые модели.

Я проверял ChatGPT по базовым педиатрическим вопросам — он даёт дельные конвенциональные советы, лучше, чем средний врач в поликлинике. Но за пределами самых частых проблем начинаются выдумки. Поэтому этот ИИ я бы точно для диагностики не предлагал.

А ещё искусственный интеллект может создавать синтетические данные — искусственно сгенерированную информацию, которая только имитирует настоящие факты, но не опирается на то, что было в реальности. Таким образом нейросеть может создать несуществующие истории болезни, симптомы и лечение, а затем снова их переработать, что создаст ещё больше дезинформации. 

Мы неправильно вводим информацию и плохо выбираем из предложенных вариантов 

В исследованиях, где нейросети диагностировали болезни не хуже, чем доктора, описание клинической картины вводили врачи. Если то же самое будет делать человек без медицинского образования, пытаясь выяснить у чат-бота, почему болит глаз или кружится голова, результаты могут быть другими. 

Фёдор Катасонов

Люди вообще плохо понимают, как устроено и как работает тело. Это проблема школьного образования. Hо если говорить конкретно про описание симптомов, то этому легко обучиться при желании. Ничего сложного в этом нет.

Другое дело, что человек, который не может описать свои симптомы, наверняка не сможет верифицировать данные ему рекомендации. В таком случае безопаснее, возможно, сходить к врачу. 

Есть одно интересное исследование, пока что не опубликованное в рецензируемом научном журнале. Во время эксперимента учёные набрали 1 298 человек, разделили их на четыре группы и попросили участников из трёх использовать разные модели искусственного интеллекта: GPT-4o, Llama 3 или Command R+. Контрольной группе достался обычный поиск в интернете.

Врачи составили для участников 10 медицинских сценариев и подробно расписали там симптомы и жалобы. Людям оставалось ввести это в чат-бот, выяснить свой диагноз и дальнейшие действия — полечиться дома, сходить к врачу или звонить в неотложку.

Оказалось, что результаты диагностики сильно зависят от того, кто вводит информацию и интерпретирует полученные сведения. Когда к чат-ботам обращались врачи, нейросети ставили правильный диагноз в 95% случаев, а подходящие советы давали в 56% случаев. Но когда искусственный интеллект использовали испытуемые, точность прогнозов сильно снижалась. Модели определяли состояние менее чем в 34% случаев, а верный курс действий — не чаще, чем в 44%. Когда люди просто искали ответ в интернете, без искусственного интеллекта, точность самодиагностики возрастала до 47%.

Учёные решили, что ошибки в диагностике возникали по двум причинам: 

• Люди не давали нейросети полную информацию, хоть она у них и была. 
• Участники не использовали правильные предположения в своих выводах. Чат-бот обычно даёт 2–3 варианта ответа, и люди плохо выбирают, что из них больше подходит к их состоянию.

Другое исследование показало, что пользователям чат-ботов нелегко определить, насколько им плохо на самом деле, и ещё сложнее правильно рассказать об этом боту. В разговоре с живым человеком проще описать симптомы, их тяжесть и частоту проявления. 

Кроме того, в отличие от бота, врач может сочувствовать, поддерживать диалог и считывать невербальные сигналы. В общем, применять все инструменты человеческого взаимодействия, которые помогают нам понимать друг друга.

Нейросеть даёт туманные советы, которым мало кто следует 

Недавно вышло исследование, в котором учёные проверили способность GPT-4о ставить верные диагнозы и давать рекомендации. Авторы работы вводили вопросы, которые могли появиться у пользователей, а студенты-медики проверяли ответы нейросети. Оказалось, что только 37% диагнозов были верными. Более того, около 60% ответов, вне зависимости от того, правильными они были или нет, показались людям туманными и неясными.

Авторы другого обзора отметили, что хоть людям и нравится использовать инструменты для проверки симптомов, они редко следуют предписаниям. Даже советы врачей часто остаются без внимания, что уж говорить о чат-боте, который явно проигрывает специалисту в авторитете.

Фёдор Катасонов

Безусловно, любая медицинская информация независимо от источника — это повод для тревог и разного рода действий, которые могут оказаться вредными. Я не считаю, что врач должен узурпировать все вопросы здоровья человека, каждый имеет право делать со своим телом что хочет, в том числе бессмысленные анализы и УЗИ. Но задача врача — обучить человека, почему этого не надо делать и какой это может нанести вред.

Я не думаю, что ИИ опаснее среднего врача из поликлиники: оба могут напугать и посоветовать радикально не то. Но всё же я думаю, что лучше дождаться таких ИИ, которые будут заточены на медицине и станут допускать меньше ошибок. А до их появления обращаться к живым людям.

Как использовать чат-ботов, чтобы не навредить себе

Чат-боты могут дать полезную информацию, но всё же не стоит слепо им доверять. 

Спрашивайте, когда записаться к врачу

Если появились симптомы болезни, спросите чат-бота, насколько срочно нужно идти к врачу.

Лучше всего применять для этого не языковые модели ИИ, а специализированные медицинские сервисы. Нужно будет пройти небольшой опрос о симптомах, и робот выдаст вам возможный диагноз, посоветует врача и скажет, насколько срочно нужно к нему записаться. 

Фёдор Катасонов

Я считаю, что сервисы для проверки диагнозов весьма полезны, особенно когда доступность и качество медицинской помощи низкие. Врач работает по определённому алгоритму, и какую-то часть этого алгоритма вполне может выполнить робот, даже не обязательно с ИИ.

Сопоставить симптомы и красные флаги, подсказать, к какому врачу идти, — это всё техническая задача, которая давно так или иначе решается. Но такие сервисы обычно очень осторожны и в случае любых подозрений отправляют к врачу.

В реальности идти к врачу надо, возможно, не всегда, и пока что лучшую помощь такого рода оказывают всё же люди, как в сервисе Symptomato.com. Но я думаю, что скоро ИИ будет справляться почти так же хорошо, если правильно его обучить и проводить регулярную супервизию.

Только помните, что если вы планируете записаться в государственную поликлинику, в любом случае сначала нужно идти к терапевту. Он уже направит вас к узким специалистам. 

Проверяйте диагноз, если сомневаетесь в нём 

Если сомневаетесь в назначении врача, можно проверять план лечения с помощью искусственного интеллекта. 

Фёдор Катасонов

Если нет доверия к врачу, проверять план лечения полезно. Это можно делать и без ИИ, например сопоставляя диагноз и существующие рекомендации любой развитой страны. Но можно и с помощью ChatGPT, надо только проверять его по 1–2 источникам. Собственно, можно просить его искать эти рекомендации при определённых диагнозах.

Верификация назначений — это вообще большая задача, которой надо учиться. Моя книга «Федиатрия II», которая должна выйти в ближайшие месяцы, как раз об этом. Но с нашим уровнем медицины это, увы, просто вопрос самосохранения. Тупо доверять среднему врачу может быть опасно.

Попросите чат-бота искать данные в авторитетных источниках медицинской информации, таких как National Health Service, Centers for Disease Control and Prevention, WHO, Patient.info.

Но помните, что даже это не гарантирует точности, поскольку ИИ может галлюцинировать. В одной статье врач Эндрю Тэйлор, проводивший симпозиум по ИИ в медицине, рассказал, как просил ИИ составить документ по научным исследованиям. Чат-бот выдал ему результат с корректной информацией, но выдуманными научными статьями. Поэтому лучше проверять не только источники, но и то, содержится ли в них указанная информация.

Не просите назначить лечение 

Вы можете усомниться в назначении врача, но не стоит выбирать лечение и оценивать свои риски, опираясь на мнение чат-ботов. 

Если данные от ИИ сильно отличаются от того, что вам сказал врач, обратитесь к другому доктору за альтернативным мнением. 

Используйте для формирования полезных привычек

Чат-бот может поддержать вас на пути к здоровому образу жизни. Если у вас нет ограничений по питанию и физическим нагрузкам, ИИ может составить вам полезную диету и план тренировок, дать советы по борьбе со стрессом и улучшению качества сна.