**Программы на базе искусственного интеллекта (ИИ), предназначенные для ведения медицинских записей врачами Онтарио, выдают некорректную информацию, демонстрируют «галлюцинации» и не прошли должной проверки. Об этом говорится в новом отчете генерального аудитора провинции.**
Генеральный аудитор Онтарио Шелли Спенс (Shelley Spence) пришла к такому выводу в ходе масштабной проверки использования ИИ в государственном секторе провинции.
По ее словам, в ходе тендера на закупку медицинских ИИ-систем, которые должны транскрибировать разговоры между врачами и пациентами, правительственные эксперты обнаружили серьезные ошибки в расшифровках, сгенерированных 20 различными программами.
«Неточности в медицинских записях, созданных ИИ-помощниками, могут привести к назначению неадекватных или вредных планов лечения, что, в свою очередь, может негативно сказаться на здоровье пациентов», — говорится в отчете аудитора.
Согласно документу, эксперты выявили проблемы, когда для проверки возможностей программ пропустили через ИИ-системы пару тестовых разговоров между гипотетическими врачами и пациентами.
Выяснилось, что девять из проверенных систем демонстрировали так называемые «галлюцинации» — они выдумывали информацию или добавляли в план лечения рекомендации, которых врач не давал. В их числе были, например, направления на терапию или назначения анализов крови.
**Некоторые системы фиксировали ложные рецепты на лекарства**
Расшифровки, созданные 12 из 20 программ, содержали некорректную информацию — например, фиксировали не те препараты, которые выписал врач. Семнадцать из 20 систем упустили ключевые детали, касающиеся проблем с психическим здоровьем пациентов.
Аудитор также обнаружила, что некоторые поставщики систем в ходе закупочного процесса не предоставили отчеты независимых аудиторов, сертификаты или оценки рисков безопасности. Несмотря на это, четыре системы все же были одобрены правительством.
Данные программы уже используются по всей провинции. При этом правительство выпустило руководство для врачей, обязывающее их вручную проверять сгенерированные ИИ записи, чтобы убедиться в их точности. Аудитор рекомендовала властям внедрить в системы ИТ-контроль, который будет требовать от врачей подтверждения того, что они действительно проверили текст.
Шелли Спенс отметила, что лично столкнулась с использованием таких ИИ-помощников во время недавнего визита к врачу. «Я пришла на прием, так как мой голос звучал не так, как обычно... и там использовали ИИ-транскрибатор, — рассказала она. — Поэтому я просто упомянула: "Пожалуйста, проверьте расшифровку, когда закончите"».
По словам Спенс, она не призывает жителей Онтарио следовать ее примеру, а скорее настоятельно рекомендует правительству тщательно тестировать системы, чтобы гарантировать: «мы покупаем ИИ, который действительно работает на благо жителей Онтарио».
**Ошибки были выявлены на этапе тестирования**
Министр общественных и деловых услуг и закупок Стивен Кроуфорд (Stephen Crawford) заявил, что указанные в отчете ошибки были обнаружены на этапе тестирования программ.
«Врачи, которые используют этот продукт, контролируют каждый его аспект, — подчеркнул министр. — Таким образом, каждое решение, которое выдает любой искусственный интеллект, в обязательном порядке проверяется профессионалом».
Кроуфорд добавил, что системы ИИ призваны экономить время медиков: «Это дает им возможность уделять больше времени пациентам и меньше — ведению документации».
Лидер Партии зеленых Онтарио Майк Шрайнер (Mike Schreiner) назвал результаты аудита «глубоко тревожными» и отметил, что они поднимают вопросы безопасности пациентов.
«Если правительство собирается использовать эти инструменты, мы должны убедиться [...], что они работают должным образом, прежде чем их внедрять», — заявил Шрайнер.
По словам генерального аудитора, она вынесла 10 рекомендаций правительству и закупочному агентству по улучшению использования ИИ в государственном секторе, и девять из них были приняты. В основном рекомендации касаются повышения уровня безопасности и защиты персональных данных.
