Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и кодГлавное

В nearai/putnambench-deepseek заявили о 672 доказанных задачах с машинной проверкой в Lean 4: 670 из PutnamBench и два исправленных варианта задач с ошибками в формализации

🧮 В nearai/putnambench-deepseek заявили о 672 доказанных задачах с машинной проверкой в Lean 4: 670 из PutnamBench и два исправленных варианта задач с ошибками в формализации.

Агент на DeepSeek получал файл с незавершённым доказательством и работал через bash: читал, правил и запускал Lean. После сигнала о завершении обвязка повторно проверяла результат.

Сначала использовали V4 Flash, затем V4 Pro. Две дефектные задачи исправили с помощью Claude Code, а оставшимся агентам перестали разрешать завершать работу без доказательства. Самый долгий запуск занял больше трёх суток.

💸 По расчётам проекта, стоимость учтённых запусков составила $111,85 по действовавшим тогда ценам. По приведённым в репозитории обновлённым тарифам DeepSeek вне пиковых часов те же траектории стоили бы $331.

Темы:ИИ-агенты

Справка:Досье: DeepSeek

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме