В мережі набирає популярності плагін Caveman, який змушує LLM говорити як печерна людина для економії токенів
В мережі набирає популярності плагін Caveman, який змушує LLM говорити як печерна людина для економії токенів
Плагін Caveman оптимізує відповіді LLM, виключаючи зайві фрази та економлячи до 75% токенів без втрати якості.
Він налаштовує модель так, щоб вона виключала з відповіді привітання, ввічливі фрази, довгі переходи, визначення для новачків та інші вступні фрази, залишаючи лише суть.
Як стверджує автор, економиться до 75% токенів без втрати якості (існують різні режими стиснення, від легкого до ультра телеграфного).
На GitHub проект (github.com/JuliusBrussee/caveman) вже отримав майже 80 тисяч зірок. Спочатку це був просто скіл для Claude Code, але тепер автор створив з Caveman окремий плагін і навіть випустив повноцінного кодинг-агента Caveman Code.
Автор зазначає, що скілл використовують навіть співробітники OpenAI, Nvidia, GitHub тощо. А в компанії Legrand співробітникам нібито рекомендують використовувати Caveman, щоб не перевищувати ліміти токенів.
До речі, проект підтримав технічний директор OpenAI Шейн Суіні, який особисто вніс внесок у репозиторій, додавши підтримку Codex.
Чому це важливо
АналітикаCaveman демонструє інноваційний підхід до оптимізації використання токенів у LLM, що може суттєво знизити витрати на обчислення. Це також підкреслює важливість ефективності у розробці AI-рішень.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.
LLM (Large Language Model - Велика мовна модель)
Фундаментальний клас нейромережевих архітектур на базі авторегресійного трансформера, що передбачає ймовірнісний розподіл наступних токенів і демонструє емерджентні властивості абстрактного мислення, синтезу коду та логічного висновку.