Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Технологии

Исследователи прогнозируют успех ИИ максимум по 31 ответу

Авторы работы на arXiv описали метод прогноза результатов ИИ на новых тестах. Он использует опубликованные итоги проверок и небольшое число новых результатов.

Тем, кто оценивает ИИ, метод позволяет получить прогноз без затрат на запуск другой нейросети.

Сначала метод строит предварительную оценку по открытым результатам. Затем уточняет её, получив не более 31 результата новой проверки. Содержание заданий ему не требуется.

Полное решение занимает 7754 байта. В замере на сервере один прогноз при 31 известном результате занял 12,71 микросекунды.

Открытая проверка охватила 79 пар «система — набор тестов». Код и опубликованная статистика позволяют повторить все 632 прогона проверки.

Редакция «Применяй ИИ» · Как мы готовим новости

Ещё по теме