Новый отчет разоблачает недостатки интеграции ChatGPT с Apple Health

В начале этого месяца OpenAI представила ChatGPT Health – отдельный раздел в ChatGPT, созданный специально для запросов о здоровье. Он работает автономно от основного чата, а для более персональных ответов пользователи могут подключать свои данные с Apple Health, Function, MyFitnessPal, Weight Watchers, AllTrails, Instacart, Peloton и других сервисах.

Более того, сервис способен интегрироваться с медицинскими записями пользователя: анализировать результаты анализов, показатели и историю здоровья, чтобы формировать ответы с учетом реальных данных. Именно эту функцию решил опробовать журналист Джеффри Фаулер. Он открыл ChatGPT Health доступ к своему Apple Health, передав действительно колоссальный объем данных – 29 миллионов шагов и 6 миллионов измерений сердечного ритма – и попросил оценить состояние сердца. Ответ оказался шокирующим: алгоритм без колебаний поставил ему оценку F, говоря о серьезных проблемах со здоровьем.

Встревоженный таким вердиктом, Фаулер обратился к реальному врачу. И тут контраст был поразителен. Медик категорически отверг выводы ИИ, отметив, что риск сердечных заболеваний у журналиста настолько минимален, что страховая компания, скорее всего, даже не одобрила бы дополнительных анализов. К критике приобщился и известный кардиолог Эрик Топол из исследовательского института Scripps: он назвал оценку ChatGPT «безосновательной» и предостерег — доверять таким рекомендациям еще слишком рано.

Особую обеспокоенность вызвала нестабильность результатов. Когда Фаулер несколько раз задавал один и тот же вопрос, оценка его сердечного здоровья колебалась от F до B. Более того, чат-бот путал базовые данные – возраст и пол – даже имея полный доступ к профилю пользователя.

Для сравнения, журналист протестовал и Claude от Anthropic. Тот показал несколько лучший, но все же далекий от идеала результат C, при этом также некорректно интерпретировав ограничение данных Apple Watch.

И OpenAI, и Anthropic отмечают: их инструменты не предназначены для замены врачей или установления диагнозов. Однако, как отмечает Топол, если система не способна корректно анализировать медицинские данные, она вообще не должна выставлять оценку здоровью. Ведь это может либо серьезно испугать здоровых людей, либо, наоборот, создать ложное чувство безопасности у тех, кто действительно нуждается в помощи.

Несмотря на риски, серьезных регуляторных ограничений пока нет. Недавно FDA заявило, что стремится «не мешать инновациям», а границу провело только по поводу прямых медицинских или клинических утверждений без официальной проверки. Компании же настаивают: они только дают информацию, а не медицинские выводы.

Интеграция ChatGPT с Apple Health пока доступна только ограниченному кругу бета-пользователей. Комментируя ситуацию, OpenAI сообщила, что активно работает по повышению стабильности и качества ответов. По словам вице-президента компании Эшли Александер, формат ограниченного доступа позволяет собрать обратную связь и усовершенствовать сервис перед его масштабным запуском.