Новий звіт викриває недоліки інтеграції ChatGPT з Apple Health
в iCases Blog
Репортер газети The Washington Post протестував нову додаткову функцію інтеграції ChatGPT з Apple Health, надавши їй дані про Apple Watch за десять років. Результати, м’яко кажучи, не були обнадійливими.
На початку цього місяця OpenAI представила ChatGPT Health — окремий розділ у ChatGPT, створений спеціально для запитів про здоров’я. Він працює автономно від основного чату, а для більш персоналізованих відповідей користувачі можуть підключати свої дані з Apple Health, Function, MyFitnessPal, Weight Watchers, AllTrails, Instacart, Peloton та інших сервісів.
Ба більше, сервіс здатен інтегруватися з медичними записами користувача: аналізувати результати аналізів, показники та історію здоров’я, щоб формувати відповіді з урахуванням реальних даних. Саме цю функцію вирішив випробувати журналіст Джеффрі Фаулер. Він відкрив ChatGPT Health доступ до свого Apple Health, передавши справді колосальний обсяг даних — 29 мільйонів кроків і 6 мільйонів вимірювань серцевого ритму — і попросив оцінити стан серця. Відповідь виявилася шокуючою: алгоритм без вагань поставив йому оцінку F, ніби йшлося про серйозні проблеми зі здоров’ям.
Стривожений таким вердиктом, Фаулер звернувся до реального лікаря. І тут контраст був разючим. Медик категорично відкинув висновки ШІ, зазначивши, що ризик серцевих захворювань у журналіста настільки мінімальний, що страхова компанія, швидше за все, навіть не схвалила б додаткові аналізи. До критики долучився й відомий кардіолог Ерік Топол із дослідницького інституту Scripps: він назвав оцінку ChatGPT «безпідставною» та застеріг — довіряти таким рекомендаціям наразі ще надто рано.
Особливе занепокоєння викликала нестабільність результатів. Коли Фаулер кілька разів ставив одне й те саме запитання, оцінка його серцевого здоров’я коливалася від F до B. Більше того, чат-бот плутав базові дані — вік і стать — навіть маючи повний доступ до профілю користувача.
Для порівняння журналіст протестував і Claude від Anthropic. Той показав дещо кращий, але все ж далекий від ідеалу результат — C, при цьому також некоректно інтерпретувавши обмеження даних Apple Watch.
Інтеграція ChatGPT з Apple Health наразі відкрита лише для обмеженого кола бета-користувачів. У OpenAI зазначають, що цей етап потрібен для активного доопрацювання сервісу та підвищення стабільності відповідей.
