Инструмент для скрининга пациентов на базе ИИ, используемый в Национальной службе здравоохранения Великобритании (NHS), вызвал серьезные опасения по поводу безопасности после того, как были выявлены случаи выдачи им неверных диагнозов. ИИ-инструмент Anima, который используется в некоторых клиниках NHS для первичной оценки симптомов пациентов и их сортировки, был уличен в предоставлении ошибочных и потенциально опасных медицинских советов. Программа, предназначенная для снижения нагрузки на врачей общей практики, в ряде случаев ставила неверные диагнозы, что могло привести к неправильному лечению. Этот инцидент остро поставил вопрос о рисках внедрения генеративного ИИ в клиническую практику. Несмотря на огромный потенциал технологии, ее текущие ограничения, включая склонность к «галлюцинациям» (выдаче вымышленной информации), делают ее использование в областях с высокими ставками, таких как медицина, крайне рискованным без многоуровневого контроля со стороны человека. Произошедшее вызвало немедленную реакцию со стороны регуляторов и медицинского сообщества, которые призывают к разработке более строгих стандартов тестирования и надзора за ИИ-инструментами в здравоохранении. Случай с Anima стал суровым напоминанием о том, что при внедрении любых инноваций безопасность пациентов должна оставаться наивысшим приоритетом.