Оценка новой модели Fable: изменения в показателях
Оценка новой модели Fable: изменения в показателях
Аналитики BridgeMind провели повторные оценки модели Fable, выявив значительные изменения в её показателях.
Аналитики из BridgeMind провели повторные оценки модели после возвращения, и вот результат:
- Отладка: 86.2 → 25.9
- Рефакторинг: 73.6 → 38.4
- Галлюцинация: 75.9 → 61.7
Сама по себе модель не стала хуже, дело в новых ограничениях: слишком много задач, даже самых простых, маршрутизируются к Opus 4.8. В результате и снижение в метриках.
Почему это важно
АналитикаЭти изменения в показателях свидетельствуют о том, что новые ограничения влияют на производительность модели, что может иметь серьезные последствия для её использования в реальных условиях.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
GPT-6 Astra: руководство по новой модели OpenAI
Полный обзор флагманской модели GPT-6 Astra: агентная архитектура, возможности Computer Use, кодинг в Codex, бенчмарки кибербезопасности, тонкости промптинга и руководство по миграции API.
Jev и System One AI: полное практическое руководство по модели решений от TypeSafe
Глубокий инженерный разбор флагманской модели Jev: архитектура System One против LLM, примитивы Choice/Score/Noul, параллелизм запросов, математика уверенности, видео-кейсы, код и обзор локальных open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
Оценка Агентов и Бенчмаркинг SWE-bench
Методология и инфраструктура систематического измерения надежности, точности и безопасности ИИ-агентов с помощью синтетических тестов, SWE-bench и headless репозиторных симуляций.
Модели Награды Процесса (PRM)
Модели оценки ИИ, анализирующие корректность каждого отдельного логического шага или вызова инструмента агента, предотвращая накопление ошибок до получения финального результата.