Ship знижує вартість інференсу Claude на 50%
Ship пропонує новий підхід до зниження витрат на інференс моделі Claude, обіцяючи зменшити їх на 50%. Це досягається завдяки оптимізації запитів та вибору найефективнішої стратегії виконання.
Ship знижує вартість інференсу Claude на 50%
Замість прямого виклику claude-opus-4-8 достатньо вказати: ship-like/claude-opus-4-8.
Розробник перевірив це в терміналі на одній і тій же моделі Anthropic з однаковим промптом і отримав заявлену економію. (см. демо)
Ідея Ship
Ідея Ship в тому, що не кожен запит вимагає однаково дорогого способу виконання. Зазвичай модель завжди запускає один і той же forward pass, незалежно від складності задачі.
Ship обирає стратегію вже після отримання запиту. Система може використовувати одну модель, каскад моделей, ансамбль або зв'язку з інструментами, а потім підібрати найдешевший варіант, який зберігає якість і поведінку вихідної моделі.
Це не просто роутинг на більш дешеву модель. Ship також перевіряє, щоб не змінювались ключові характеристики відповіді: формат, паттерни виклику інструментів, відмови і загальний рівень можливостей.
Відповіді при цьому не зобов'язані збігатися токен в токен. Важливо, щоб вони були співставні з референсною моделлю за якістю і поведінкою.
Для користувача ціна в будь-якому випадку залишається на 50% нижчою. Навіть якщо окремий запит обходиться Ship дорожче, різницю компанія бере на себе.
За проектом стоїть Thesean Labs — команда з колишніми спеціалістами Anthropic, DeepMind і квантами.
Чому це важливо
АналітикаЦя технологія може значно знизити витрати на використання AI-моделей, що робить їх більш доступними для широкого кола користувачів. Це також відкриває нові можливості для оптимізації запитів у сфері штучного інтелекту.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
vLLM (Високопродуктивний рушій інференсу)
Провідний відкритий серверний рушій інференсу та обслуговування LLM, що здійснив революцію у пропускній здатності завдяки алгоритму віртуалізації пам'яті PagedAttention та неперервному батчингу.
Користувач Reddit з’ясував, чому тижневі ліміти Claude Code витрачаються майже вчетверо швидше
Користувач Reddit порівняв використання токенів за два тижні та виявив, що на кожен 1% тижневого ліміту Claude Code тепер припадає значно менше вихідних токенів, а основними підозрюваними стали субагенти, тривалість міркувань і фонові запити інтерфейсу.
Claude стає розумнішою
Claude стає розумнішою: повідомлення вказує на розвиток моделі ШІ та можливе покращення її можливостей.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.