В nearai/putnambench-deepseek заявили о 672 доказанных задачах с машинной проверкой в Lean 4: 670 из PutnamBench и два исправленных варианта задач с ошибками в формализации
🧮 В nearai/putnambench-deepseek заявили о 672 доказанных задачах с машинной проверкой в Lean 4: 670 из PutnamBench и два исправленных варианта задач с ошибками в формализации.
Агент на DeepSeek получал файл с незавершённым доказательством и работал через bash: читал, правил и запускал Lean. После сигнала о завершении обвязка повторно проверяла результат.
Сначала использовали V4 Flash, затем V4 Pro. Две дефектные задачи исправили с помощью Claude Code, а оставшимся агентам перестали разрешать завершать работу без доказательства. Самый долгий запуск занял больше трёх суток.
💸 По расчётам проекта, стоимость учтённых запусков составила $111,85 по действовавшим тогда ценам. По приведённым в репозитории обновлённым тарифам DeepSeek вне пиковых часов те же траектории стоили бы $331.
Темы:ИИ-агенты
Справка:Досье: DeepSeek
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





