Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Главное

ParseBench-2 учитывает тяжесть ошибок: неверная цифра весит больше формата

Авторы ParseBench-2 выпустили открытый тест парсеров — программ, которые извлекают из документов текст, таблицы, графики и формы. Тест учитывает тяжесть каждой ошибки, сообщают они в своём блоге.

Тест показывает, какие ошибки при чтении документов опасны, а какие меняют только оформление. В рейтинге лидирует продукт самих авторов теста.

Коротко

  • Неверное число в большой таблице стоит 10 баллов, смена формата таблицы — ноль.
  • Набор вырос с 2,1 до 4,3 тысячи случаев, добавились формы.
  • В рейтинге из 41 конфигурации лидирует LlamaParse Agentic Plus (89,8), продукт авторов теста.

Неверное число теперь стоит дороже смены формата

Авторы признают слабость первой версии: безобидная правка оформления могла снять больше баллов, чем неверное число. Пример — таблица на 459 ячеек.

В ParseBench-1 подмена числа снижала оценку на 0,13 из 100, а выдача таблицы в Markdown вместо HTML обнуляла её. В ParseBench-2 число стоит 10 баллов, смена формата — ноль.

Основа метода — каталог из более чем 330 типов ошибок: от критических до безвредных. Уровни можно менять под себя.

Тест проверяет шесть направлений, включая формы

Это текст, таблицы, форматирование, графики, разметка страницы и формы. В формах смотрят, остались ли значения у своих полей, а пустые поля пустыми.

Графики сверяют целиком: 36 958 значений на 1 025 графиках.

Лидер — продукт авторов, а дорогие сервисы не всегда точнее

По общему баллу LlamaParse Agentic Plus набрал 89,8. Лучшая модель, которой страницу отдают напрямую, получила 85,7, сильнейший парсер другого разработчика — 83,9.

Agentic Plus набрал 88,4 при $0,0281 за страницу. Та же прямая модель — 85,0 при $0,0649, то есть обработка примерно на 57% дешевле.

Что это значит для вас

  • Тест оценивает не только долю верных ответов, но и вес ошибок: неверное число в нём весит больше смены оформления.
  • Цена за страницу плохо предсказывает качество: у парсеров с оценкой около 81–83 она менялась от $0,0063 до $0,0300.
  • Рейтинг составили авторы теста, чей продукт его возглавил, поэтому выводы стоит сверять со своими документами.

Что делать

  1. Проверьте выбранный сервис на нескольких своих документах: сверьте цифры, таблицы и поля форм с оригиналом.
  2. Смотрите не только общий балл, но и то направление, которое важно вам: таблицы, формы или графики.
  3. Если вы технический специалист, скачайте набор данных и код с Hugging Face и GitHub и прогоните свой парсер.

Чего пока неизвестно

Рейтинг опубликован самими авторами, а подробности о моделях OCRia-1.5 они обещают в отдельном материале. Доступность сервисов и оплата из России в источнике не указаны.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме