METR оценила: Anthropic улучшает свои модели примерно в 2 раза быстрее, чем в 2024–2025 годах

🧪 METR оценила: Anthropic улучшает свои модели примерно в 2 раза быстрее, чем в 2024–2025 годах.
Оценка касается чётко поставленных задач и дана с большой неопределённостью: METR не удивится и 1,3x, и 3x. По внутреннему бенчмарку AECI с октября 2025 рост идёт в 1,9 раза быстрее прежнего. Выходит, за год Anthropic прошла путь, на который раньше уходило около двух лет.
🤖 Основную часть ускорения METR связывает с тем, что сама Anthropic активно использует ИИ в разработке, и прикидывает эту долю примерно в 80%. Это предположение с большой погрешностью. Узких мест, которые остановили бы рост в ближайшие 12 месяцев, исследователи не нашли, но их картина менялась по ходу работы. Поэтому METR видит значимый риск, что ускорение вырастет ещё.
🕶 Anthropic скрыла большую часть самых показательных доказательств, объяснив это защитой информации, которая могла бы помочь другим разработчикам ИИ. Из-за этого, как пишет METR, публике приходится сильнее полагаться на её суждение.
Темы:Claude и Anthropic
Справка:Досье: Claude
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение





