Восемь моделей ИИ лучше извлекли сведения из японских медтекстов
В работе на arXiv восемь дообученных моделей превзошли BERT при извлечении сведений из японских медтекстов. Результат получили при увеличенном лимите ответа.
При выборе ИИ для такой задачи имеют значение и обучение, и допустимая длина ответа. Обычный запрос без примеров в этой проверке дал низкое качество.
Коротко
- Набор iCorpus содержит 113 категорий для разметки сведений.
- Проверку провели на 433 предложениях из 36 документов.
- Медицинская специализация моделей не давала устойчивого преимущества.
Обучение под задачу изменило результаты сравнения
Авторы сопоставили девять языковых моделей с двумя дообученными вариантами BERT. Здесь BERT выделяет фрагменты текста и относит их к заданным категориям. Для обучения использовали 1672 предложения.
Качество оценивали по F1: он учитывает, сколько нужных сведений найдено и насколько верны найденные. Чем ближе F1 к 1, тем лучше. Отдельно считали точное совпадение текста и совпадение по смягчённым правилам.
Без примеров в запросе лучший смягчённый F1 составил 0,337, у BERT — 0,836–0,841. После дообучения восемь моделей с увеличенным лимитом ответа получили 0,882–0,914. У каждой было от 13 млрд параметров; при точном совпадении F1 составил 0,840–0,880.
Больший лимит ответа повысил полноту извлечения
Дообученные модели проверяли с пределом в 900 токенов и с более длинным ответом. Токены — единицы, которыми измеряют длину текста для модели. Повышенный предел составлял 2600 или 4096 токенов в зависимости от модели.
При большем лимите ответы реже обрывались, а модели находили больше нужных сведений. В среднем по трём запускам смягчённый F1 вырос на 0,052–0,085.
Требование соблюдать заданную структуру ответа не устранило низкое качество без обучения. У семи моделей оно изменило смягчённый F1 на величину от −0,014 до +0,008. Две конфигурации, ориентированные на рассуждения, в эту группу не входили.
Что это значит для вас
- Вывод касается исторических японских описаний клинических случаев. По этой проверке нельзя судить о качестве на других медицинских текстах.
- Оценка обычного запроса не показывает, какого результата модель достигнет после обучения под задачу.
Что делать
- Разделяйте результаты до обучения и после него при сравнении моделей.
- Указывайте лимит ответа рядом с оценкой качества.
- Сопоставляйте F1 по одинаковым правилам: точную и смягчённую оценки держите отдельно.
Чего пока неизвестно
В аннотации не раскрыты правила смягчённого совпадения. Примеры категорий и извлечённых фрагментов в ней не приведены.
Редакция «Применяй ИИ» · Как мы готовим новости