ИИ-системы онтарийских врачей «галлюцинируют», предупреждает аудитор
Новое исследование аудитора Онтарио Шелли Спенс выявило серьезные риски при использовании ИИ-инструментов (AI Scribe), которые помогают семейным врачам вести медицинские записи во время приема. Оказалось, что программы склонны к «галлюцинациям» — выдумыванию информации, которая не обсуждалась с пациентом.
Ключевые факты отчета:
— Опасные выдумки: 45% протестированных систем создавали записи о планах лечения, которые врач не предлагал (например, направления на анализы крови или терапию).
— Ошибки в лекарствах: В 60% случаев ИИ фиксировал названия препаратов, отличные от тех, что реально прописал доктор.
— Пропуски данных: 85% систем упустили важные детали о психическом здоровье пациентов, хотя эта информация звучала в записях приемов.
Несмотря на заявления властей о том, что галлюцинации случались только в тестовом режиме, аудитор Спенс утверждает: системы уже внедряются.
Она лично столкнулась с использованием такого «цифрового писца» у своего врача и была вынуждена просить проверить точность транскрипта.
Выяснилось также, что Supply Ontario допустила к участию в программе 20 вендоров без адекватной проверки безопасности.
Пять компаний даже не подали отчеты об оценке рисков и конфиденциальности, но все равно получили одобрение.
Правительство согласилось внедрить рекомендации аудитора, включая обязательное тестирование систем на предвзятость и проведение «живых» демонстраций перед подписанием контрактов.
Maple Barrel пересказывает и сокращает публикацию по-русски, сохраняя ссылку на оригинал.