Ship verspricht 50 % Senkung der Claude-Inferenzkosten
Das Startup Ship stellt eine neue Methode zur Kostensenkung bei der Inferenz des Claude-Modells vor und verspricht Einsparungen von bis zu 50 %. Durch intelligente Abfrageoptimierung und die Auswahl der effizientesten Ausführungsstrategie sollen Kosten reduziert werden, ohne die Qualität zu beeinträchtigen.
Ship verspricht 50 % Senkung der Claude-Inferenzkosten
Anstatt claude-opus-4-8 direkt aufzurufen, können Entwickler einfach ship-like/claude-opus-4-8 spezifizieren.
Der Entwickler testete dies im Terminal mit demselben Anthropic-Modell und demselben Prompt und erreichte die behaupteten Einsparungen (siehe Demo).
Die Idee hinter Ship
Die Grundidee von Ship ist, dass nicht jede Anfrage dieselbe teure Ausführungsmethode erfordert. Typischerweise führt das Modell unabhängig von der Komplexität der Aufgabe immer denselben Forward-Pass durch.
Ship wählt erst nach Eingang der Anfrage eine Strategie aus. Das System kann ein einzelnes Modell, eine Kaskade von Modellen, ein Ensemble oder eine Kombination mit Tools nutzen und dann die günstigste Option auswählen, die die Qualität und das Verhalten des Originalmodells beibehält.
Dies ist kein einfaches Routing zu einem günstigeren Modell. Ship stellt zudem sicher, dass sich die Schlüsselmerkmale der Antwort nicht ändern: Format, Muster der Tool-Aufrufe, Fehlerverhalten und das allgemeine Fähigkeitsniveau.
Antworten müssen nicht token-genau übereinstimmen. Entscheidend ist, dass sie in Bezug auf Qualität und Verhalten mit dem Referenzmodell vergleichbar sind.
Für den Nutzer bleibt der Preis in jedem Fall um 50 % niedriger. Selbst wenn eine spezifische Anfrage für Ship mehr kostet, übernimmt das Unternehmen die Differenz.
Das Projekt wird von Thesean Labs unterstützt – einem Team mit ehemaligen Spezialisten von Anthropic, DeepMind und Quantenexperten.
Warum das wichtig ist
AnalyseDiese Technologie hat das Potenzial, die Betriebskosten für KI-Modelle erheblich zu senken und sie so für ein breiteres Publikum zugänglicher zu machen. Sie eröffnet zudem neue Möglichkeiten zur Optimierung von Abfragen im Bereich der künstlichen Intelligenz.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern