Надстройка над готовой ИИ-моделью верно отвечает на 46% медвопросов
Исследователи на arXiv дополнили модель Qwen3-8B небольшой надстройкой, и она верно ответила на 46,0% вопросов медтеста MedMCQA. Случайное угадывание даёт 25,0%.
Результат показывает, что даже простая схема отвечает на медицинские вопросы заметно лучше угадывания. Но точность на тесте с готовыми вариантами не доказывает, что такой ИИ пригоден для медицинских советов: сами авторы называют работу лишь дешёвым ориентиром.
Коротко
- Обучали только небольшую надстройку и одну числовую настройку, а сама модель осталась неизменной.
- Короткая подсказка к каждому тексту и более медленное обучение надстройки заметно улучшили результат малых моделей.
- Прямо сравнивать итог с Med-PaLM 2 и Flan-PaLM нельзя: условия проверки у них другие.
Модель не дообучали: меняется только надстройка
Схему авторы называют System 1: ответ выбирается за один проход. Готовая модель с неизменными параметрами превращает вопрос и каждый вариант ответа в наборы чисел. Две небольшие обученные надстройки подгоняют эти наборы друг к другу, и выигрывает вариант, оказавшийся ближе к вопросу.
Раньше схему показывали на решениях ИИ-агентов. Авторы не знают работ о том, как она справляется с медицинскими экзаменами, где верный вариант часто не ближе к вопросу, чем неверные. Для MedMCQA они собрали рецепт заново и обучили надстройку поверх Qwen3.5-0.8B, Granite-4.2-3B и Qwen3-8B.
Короткая подсказка подняла точность малых моделей с 33% до 42%
При простом способе представления текста обе малые модели отвечали верно на 33,1% и 33,0% из 3842 вопросов, которых не было при обучении.
Затем каждый текст обернули в подсказку с просьбой описать его одним словом и снизили скорость обучения надстройки. Малые модели дошли до 41,7% и 42,5%, а Qwen3-8B показала 46,0% с разбросом ±0,2 по трём запускам.
Если перемешать вопросы и варианты ответов, точность возвращается к случайной. Значит, надстройка действительно учитывает вопрос.
С Med-PaLM 2 результат сравнивать нельзя, а прирост авторы оценивают осторожно
Flan-PaLM и Med-PaLM 2 сообщают 57,6% и 72,3% на MedMCQA, но условия проверки у них другие. Поэтому авторы называют свой результат дешёвым и быстрым ориентиром, а не конкурентной системой.
Прирост на вопросах, по которым подбирали настройки, был примерно в 1,7–2 раза больше, чем на тестовых. Выделить вклад чтения нескольких внутренних уровней модели из остальных изменений авторы не смогли.
Что это значит для вас
- Это исследование метода, а не медицинский сервис: из него не следует, что ИИ можно спрашивать о здоровье.
- Даже лучший результат — меньше половины верных ответов на тесте с готовыми вариантами.
Что делать
Пока ничего: следите за независимыми проверками результата.
Чего пока неизвестно
Неясно, сколько дало чтение нескольких внутренних уровней модели: авторы не отделили его от других изменений. Источник не говорит, как схема работает на других медицинских тестах.
Редакция «Применяй ИИ» · Как мы готовим новости