Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Надстройка над готовой ИИ-моделью верно отвечает на 46% медвопросов

Исследователи на arXiv дополнили модель Qwen3-8B небольшой надстройкой, и она верно ответила на 46,0% вопросов медтеста MedMCQA. Случайное угадывание даёт 25,0%.

Результат показывает, что даже простая схема отвечает на медицинские вопросы заметно лучше угадывания. Но точность на тесте с готовыми вариантами не доказывает, что такой ИИ пригоден для медицинских советов: сами авторы называют работу лишь дешёвым ориентиром.

Коротко

  • Обучали только небольшую надстройку и одну числовую настройку, а сама модель осталась неизменной.
  • Короткая подсказка к каждому тексту и более медленное обучение надстройки заметно улучшили результат малых моделей.
  • Прямо сравнивать итог с Med-PaLM 2 и Flan-PaLM нельзя: условия проверки у них другие.

Модель не дообучали: меняется только надстройка

Схему авторы называют System 1: ответ выбирается за один проход. Готовая модель с неизменными параметрами превращает вопрос и каждый вариант ответа в наборы чисел. Две небольшие обученные надстройки подгоняют эти наборы друг к другу, и выигрывает вариант, оказавшийся ближе к вопросу.

Раньше схему показывали на решениях ИИ-агентов. Авторы не знают работ о том, как она справляется с медицинскими экзаменами, где верный вариант часто не ближе к вопросу, чем неверные. Для MedMCQA они собрали рецепт заново и обучили надстройку поверх Qwen3.5-0.8B, Granite-4.2-3B и Qwen3-8B.

Короткая подсказка подняла точность малых моделей с 33% до 42%

При простом способе представления текста обе малые модели отвечали верно на 33,1% и 33,0% из 3842 вопросов, которых не было при обучении.

Затем каждый текст обернули в подсказку с просьбой описать его одним словом и снизили скорость обучения надстройки. Малые модели дошли до 41,7% и 42,5%, а Qwen3-8B показала 46,0% с разбросом ±0,2 по трём запускам.

Если перемешать вопросы и варианты ответов, точность возвращается к случайной. Значит, надстройка действительно учитывает вопрос.

С Med-PaLM 2 результат сравнивать нельзя, а прирост авторы оценивают осторожно

Flan-PaLM и Med-PaLM 2 сообщают 57,6% и 72,3% на MedMCQA, но условия проверки у них другие. Поэтому авторы называют свой результат дешёвым и быстрым ориентиром, а не конкурентной системой.

Прирост на вопросах, по которым подбирали настройки, был примерно в 1,7–2 раза больше, чем на тестовых. Выделить вклад чтения нескольких внутренних уровней модели из остальных изменений авторы не смогли.

Что это значит для вас

  • Это исследование метода, а не медицинский сервис: из него не следует, что ИИ можно спрашивать о здоровье.
  • Даже лучший результат — меньше половины верных ответов на тесте с готовыми вариантами.

Что делать

Пока ничего: следите за независимыми проверками результата.

Чего пока неизвестно

Неясно, сколько дало чтение нескольких внутренних уровней модели: авторы не отделили его от других изменений. Источник не говорит, как схема работает на других медицинских тестах.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме