Связка Opus с дешёвым кодером проиграла одному Opus и в качестве, и в цене

💸 Связка Opus с дешёвым кодером проиграла одному Opus и в качестве, и в цене.
Тест гоняли на 12 сложных задачах из открытых бенчмарков, в основном hard ML/SWE. Сами задачи сначала почистили: в большей части тесты были нечестными. Opus в одиночку выдал 81% при $1.20 за задачу, Opus с DeepSeek Flash — 67% при $1.29.
🧾 Основные траты — кеш промпта. Пока дешёвая модель работает, кеш Opus успевает протухнуть, и собирать его заново выходит дороже, чем стоит вся её работа.
🛠 Помогла идея из статьи DeepSeek: Opus не лишили права писать код, а просто предупредили, что его токены дороже в 20 раз. Качество осталось прежним, цена упала до $0.71.
🏆 Дешёвые модели поодиночке обошли все связки: Terra набрала 78%, Sol — 75%, по $0.17 за задачу. Sol ещё и хорошо ревьюит, а Opus в этой роли слабее.
Считайте до внедрения.
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





