Ship obiecuje obniżenie kosztów wnioskowania modelu Claude o 50%

Ship obiecuje obniżenie kosztów wnioskowania modelu Claude o 50%

Zamiast bezpośrednio wywoływać claude-opus-4-8, użytkownik może po prostu wskazać: ship-like/claude-opus-4-8.

Programista przetestował to rozwiązanie w terminalu na tym samym modelu Anthropic z użyciem identycznego promptu, osiągając deklarowane oszczędności (patrz demo).

Idea stojąca za Ship

Koncepcja Ship opiera się na założeniu, że nie każde żądanie wymaga tej samej, kosztownej metody wykonania. Zazwyczaj model zawsze przeprowadza ten sam forward pass, niezależnie od złożoności zadania.

Ship wybiera strategię dopiero po otrzymaniu żądania. System może wykorzystać pojedynczy model, kaskadę modeli, ensemble lub kombinację z narzędziami, a następnie wybrać najtańszą opcję, która utrzymuje jakość i zachowanie oryginalnego modelu.

Nie jest to jedynie routowanie do tańszego modelu. Ship gwarantuje również, że kluczowe cechy odpowiedzi pozostaną bez zmian: format, wzorce wywoływania narzędzi, błędy oraz ogólny poziom możliwości.

Odpowiedzi nie muszą być zgodne token po tokenie. Istotne jest, aby były porównywalne z modelem referencyjnym pod względem jakości i zachowania.

Dla użytkownika cena pozostaje o 50% niższa w każdym przypadku. Nawet jeśli konkretne żądanie kosztuje Ship więcej, firma pokrywa różnicę.

Projekt wspierany jest przez Thesean Labs – zespół składający się z byłych specjalistów z Anthropic, DeepMind oraz ekspertów ds. technologii kwantowych.