SARGO сокращает выдуманные детали в описаниях картинок
Авторы исследования на arXiv представили SARGO — метод дообучения ИИ. Это дополнительное обучение уже готовой модели.
В опытах описания картинок содержали меньше выдуманных деталей, сохраняя полезные сведения.
При обучении с общей оценкой ответа наказание за выдумки может затронуть и верные сведения. SARGO сильнее поощряет части ответа, лучше подкреплённые изображением, и слабее наказывает их.
Оценка ответа учитывает сохранение и добавление подтверждённых сведений. Это мешает снижать число выдумок только за счёт пропуска информации.
На Qwen3-VL-4B, Qwen3-VL-8B и Gemma3-4B метод превзошёл другие проверенные подходы к снижению таких ошибок. По сообщению авторов, общие способности моделей работать с изображениями и текстом сохранились.
Что делать
Как попробовать SARGO, в аннотации не сказано: инструкции по применению в ней нет.
Редакция «Применяй ИИ» · Как мы готовим новости