Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Исследование 10 ИИ выявило сбои в выборе препаратов против рака

Авторы работы на arXiv проверили 10 языковых моделей на 1 464 случаях устойчивости рака к лекарствам. Всего они собрали 58 910 оценок.

Такие модели предлагают использовать при обсуждении лечения опухолей по генетическим данным. Проверка показала: ИИ может отметить устойчивость к препарату и всё равно рекомендовать его.

Коротко

  • Доля одобрений препаратов при устойчивости к ним составила от 21,8% до 81,4%.
  • Результаты сильно зависели от базы знаний и убедительности доказательств.
  • Верные сведения снижали число рекомендаций, но исследователи подавали их моделям готовыми.

Частое согласие ещё не показывает, что ИИ различает случаи

Для проверки использовали пять отобранных баз знаний по онкологии. У одной модели доля одобрений достигла 81,4% при устойчивости и 82,3% в контрольных случаях чувствительности к препарату. Почти одинаковые доли могли отражать склонность соглашаться.

Поэтому авторы сопоставили ответы в группах с одинаковыми генами и уровнем доказательств. Но этот анализ запланировали уже после первоначального. Его результаты носят предварительный характер: заранее заявленный анализ дал нулевые или слабые результаты.

При независимом подтверждении устойчивости вторым источником четыре модели одобряли лечение максимум в 2,4% случаев. Они представляли трёх разработчиков. При слабых доказательствах измерить различение устойчивости и чувствительности не удалось.

Ответ менялся от того, какой вывод приписывали модели

Повтор собственного вывода об устойчивости снижал долю одобрений до 0–3,5%. Это касалось случаев, где модель уже указала на устойчивость. Простая инструкция без приписанного вывода меняла долю лишь на 0,9 процентного пункта.

Если модели ложно приписывали обратный вывод, одобрений становилось больше. Эффект наблюдали у всех семи моделей, доступных через сервисы. У GPT-4o доля достигла 95,2%.

С верными сведениями из баз знаний доля сильных рекомендаций без оговорок падала до 0,3–3,5%. Но так проверяли использование готовых доказательств. Способность самостоятельно найти нужные сведения этот опыт не оценивал.

Что это значит для вас

  • Уверенный совет ИИ ещё не означает, что модель учла генетические основания против лечения.
  • Одна общая доля ошибок мало говорит о качестве медицинских советов. Для её оценки нужны условия проверки и контрольные случаи.

Что делать

Пока ничего: следите за дальнейшими исследованиями медицинских ИИ.

Чего пока неизвестно

Эта проверка не показывает, как модели справятся с самостоятельным поиском доказательств для выбора лечения.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме