Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

Восемь моделей ИИ лучше извлекли сведения из японских медтекстов

В работе на arXiv восемь дообученных моделей превзошли BERT при извлечении сведений из японских медтекстов. Результат получили при увеличенном лимите ответа.

При выборе ИИ для такой задачи имеют значение и обучение, и допустимая длина ответа. Обычный запрос без примеров в этой проверке дал низкое качество.

Коротко

  • Набор iCorpus содержит 113 категорий для разметки сведений.
  • Проверку провели на 433 предложениях из 36 документов.
  • Медицинская специализация моделей не давала устойчивого преимущества.

Обучение под задачу изменило результаты сравнения

Авторы сопоставили девять языковых моделей с двумя дообученными вариантами BERT. Здесь BERT выделяет фрагменты текста и относит их к заданным категориям. Для обучения использовали 1672 предложения.

Качество оценивали по F1: он учитывает, сколько нужных сведений найдено и насколько верны найденные. Чем ближе F1 к 1, тем лучше. Отдельно считали точное совпадение текста и совпадение по смягчённым правилам.

Без примеров в запросе лучший смягчённый F1 составил 0,337, у BERT — 0,836–0,841. После дообучения восемь моделей с увеличенным лимитом ответа получили 0,882–0,914. У каждой было от 13 млрд параметров; при точном совпадении F1 составил 0,840–0,880.

Больший лимит ответа повысил полноту извлечения

Дообученные модели проверяли с пределом в 900 токенов и с более длинным ответом. Токены — единицы, которыми измеряют длину текста для модели. Повышенный предел составлял 2600 или 4096 токенов в зависимости от модели.

При большем лимите ответы реже обрывались, а модели находили больше нужных сведений. В среднем по трём запускам смягчённый F1 вырос на 0,052–0,085.

Требование соблюдать заданную структуру ответа не устранило низкое качество без обучения. У семи моделей оно изменило смягчённый F1 на величину от −0,014 до +0,008. Две конфигурации, ориентированные на рассуждения, в эту группу не входили.

Что это значит для вас

  • Вывод касается исторических японских описаний клинических случаев. По этой проверке нельзя судить о качестве на других медицинских текстах.
  • Оценка обычного запроса не показывает, какого результата модель достигнет после обучения под задачу.

Что делать

  1. Разделяйте результаты до обучения и после него при сравнении моделей.
  2. Указывайте лимит ответа рядом с оценкой качества.
  3. Сопоставляйте F1 по одинаковым правилам: точную и смягчённую оценки держите отдельно.

Чего пока неизвестно

В аннотации не раскрыты правила смягчённого совпадения. Примеры категорий и извлечённых фрагментов в ней не приведены.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме