ARC AGI 3 — Проблема навыков
ARC AGI 3 — Проблема навыков
ARC AGI 3 демонстрирует, как новые навыки могут улучшить производительность моделей ИИ, обеспечивая большую точность и согласованность.
ARC AGI 3 — Проблема навыков
Навыки оказались гораздо лучше системных промптов. В них можно зашить использование инструментов, решая проблему повторяемости и консистентности ответов. Это дико полезная функция, когда нужна строгая форма вывода, скажем, для заполнения таблиц.
Парни с помощью кастомного скилла для Claude Opus 5 решили ARC AGI 3 на 100%. Скилл буквально заставляет модель лишний раз подумать перед предсказанием на бенчмарке. В итоге, модель улетела с 30% до чистых 100%, что уже лучше предыдущих результатов, при этом используя примерно вдвое меньше шагов.
Никакого читерства в виде правил датасета внутри скилла нет. В тул-колл тупо зашит жесткий логический блок. Если модель не рассуждает перед ответом и не пытается предугадать следующий шаг, заполняя соответствующие ячейки, предсказание отправляется на доработку. В остальном — базовые инструкции.
С одной стороны, RL вроде как убил классический промпт-инжиниринг, а теперь на его месте уже плотно закрепился скилл-инжиниринг.
Также это показывает, насколько бесполезным бенчем оказался ARC AGI на нашей траектории к AGI (не в обиду, Франсуа).
Почему это важно
АналитикаЭто важно, поскольку показывает, как новые подходы к обучению ИИ могут значительно повысить их эффективность. Использование навыков вместо традиционных промптов открывает новые возможности для развития технологий искусственного интеллекта.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Все файлы Claude Code: что хранится в папке .claude
Полный справочник внутренней архитектуры Claude Code: уровни конфигурации, CLAUDE.md, rules с path-gating, auto memory, права доступа, skills, субагенты и очистка транскриптов.
Промпт-гайд по генеративным моделям GPT Image
Модели генерации изображений gpt-image от OpenAI созданы для получения визуалов производственного качества и полностью управляемых творческих процессов. Они подходят как для профес...
Синтетический синдром самозванца
Экзистенциальное обесценивание собственной инженерной экспертизы из-за того, что львиная доля кода и архитектурных решений создается моделями ИИ, а не вручную разработчиком.
Агентские Скиллы (Agent Skills & Custom Workflows)
Архитектурный паттерн динамической подгрузки узкоспециализированных процедурных инструкций, скриптов и шаблонов (SKILL.md) в контекстное окно агента строго по требованию (On-Demand Loading).