Ship promet de réduire les coûts d'inférence de Claude de 50 %

Ship promet de réduire les coûts d'inférence de Claude de 50 %

Au lieu d'appeler directement claude-opus-4-8, il suffit désormais de spécifier : ship-like/claude-opus-4-8.

Le développeur a testé cette méthode dans le terminal sur le même modèle Anthropic avec le même prompt, confirmant les économies annoncées (voir démo).

L'idée derrière Ship

Le concept de Ship repose sur le fait que toutes les requêtes ne nécessitent pas le même mode d'exécution coûteux. Habituellement, le modèle effectue toujours le même passage avant (forward pass), indépendamment de la complexité de la tâche.

Ship choisit une stratégie après réception de la requête. Le système peut utiliser un seul modèle, une cascade de modèles, un ensemble (ensemble) ou une combinaison avec des outils, puis sélectionner l'option la moins chère tout en maintenant la qualité et le comportement du modèle original.

Il ne s'agit pas simplement d'un routage vers un modèle moins cher. Ship garantit également que les caractéristiques clés de la réponse restent inchangées : format, motifs d'invocation d'outils, gestion des échecs et niveau global de capacité.

Les réponses n'ont pas besoin de correspondre token par token. Il est essentiel qu'elles soient comparables au modèle de référence en termes de qualité et de comportement.

Pour l'utilisateur, le prix reste systématiquement inférieur de 50 %. Même si une requête spécifique coûte plus cher à Ship, l'entreprise absorbe la différence.

Le projet est soutenu par Thesean Labs, une équipe composée d'anciens spécialistes d'Anthropic, de DeepMind et d'experts en informatique quantique.