Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и код

Opus и Codex сравнили с локальными моделями на одной задаче с ловушками

🧪 Opus и Codex сравнили с локальными моделями на одной задаче с ловушками.

В задаче баг: у клиентов итог по месячной выписке расходится с балансом, если были переводы между валютами. Проект — примерно 700 строк Python. Просят две вещи: починить и проверить, нет ли той же ошибки в других местах.

🪤 Внутри спрятаны конвертер-приманка, тест-предатель и модуль, который трогать нельзя. Про тесты и DECISIONS.md в задании ничего не сказано.

💻 Прогнали MacBook, игровой ноутбук с RTX 5080, DGX Spark и недорогие облачные варианты. Оценивали не только починку, но и умеет ли агент сам написать тесты, которые ловят кривые правки.

За всем этим стоит вопрос: можно ли слезть с Opus и Codex, раз условия в облаке меняются без вашего ведома.

Проверка на реальность 🔍

Темы:Claude и AnthropicChatGPT и OpenAIЛокальные модели

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме