Cosine Similarity
Eine mathematische Metrik, die den Winkel zwischen zwei Vektoren in einem mehrdimensionalen Raum misst. Sie zeigt den Grad der semantischen Ähnlichkeit zweier Texte von -1 (gegensätzlich) bis +1 (vollständige Synonyme) an und ignoriert dabei die Satzlänge.
1. Überblick über das Konzept und den Zweck
Stellen Sie sich zwei Kompassnadeln vor. Wenn beide auf Norden zeigen, beträgt der Winkel zwischen ihnen null Grad – die Ausrichtung ist identisch. Zeigt eine Nadel nach Norden und die andere nach Osten, ergibt sich ein Winkel von 90 Grad.
Cosine Similarity (Kosinus-Ähnlichkeit) fungiert genau wie ein solcher Kompass für neuronale Netze:
- Sie nimmt zwei Vektoren entgegen (numerische Koordinaten der semantischen Bedeutung zweier Phrasen).
- Sie misst den Winkel zwischen ihnen im Begriffsdiskursraum.
- Sie gibt einen Wert zwischen
0.0und1.0zurück (oder zwischen -1 und 1), wobei 1.0 eine absolute semantische Verwandtschaft anzeigt.
Dies ist eine fundamentale mathematische Formel, auf der Funktionen wie die Dateisuche in ChatGPT, Notion AI sowie Vektor-Datenbanken basieren.
2. Anschauliche Geometrie der Semantik
^ Поняття про їжу
│
│ / Текст А: «Купити свіжий хліб»
│ /
│ / ) кут близький до 0° -> косинус ≈ 0.96
│ /
│ /---- Текст Б: «Булочка з пекарні»
│
│
│─────────────────────────────> Поняття про IT
│ Текст В: «Написати скрипт на Python»
│ (кут 90° -> косинус ≈ 0.04)
3. Warum der Winkel besser ist als die absolute Länge
In der klassischen Geometrie gilt: Je länger eine Linie, desto weiter entfernt liegt ihr Endpunkt. Würden wir die übliche euklidische Distanz messen:
- Das Wort
„Auto“(ein kurzer Vektor). - Ein zehenseitiger Wikipedia-Artikel über den Aufbau von Autos (ein sehr langer Vektor mit vielen Wörtern).
Die euklidische Distanz würde sie als unterschiedlich bewerten, nur weil einer Text kurz und der andere lang ist. Cosine Similarity bewertet hingegen ausschließlich die vektorielle Richtung des Inhalts und erkennt dabei: Beide Texte widmen sich vollständig dem Thema Transport.
4. Vergleichsskala der Cosine-Scores
| Ähnlichkeitswert | Bedeutung | Beispiel für Satzpaare |
|---|---|---|
| 0.90 – 1.00 | Direktes Synonym oder Duplikat | „Wie man ein Rad wechselt“ ↔ „Anleitung zum Reifenwechsel“ |
| 0.75 – 0.89 | Enger kontextueller Zusammenhang | „Kreditkarte“ ↔ „Zinssatz für Darlehen“ |
| 0.40 – 0.70 | Entfernter, tangentialer Bezug | „Apple Smartphone“ ↔ „Akku für Elektroauto“ |
| 0.00 – 0.30 | Keine Verbindung vorhanden | „Erdbeeranbau“ ↔ „Kryptografische SSH Keys“ |
5. Praktische Schlussfolgerung für Nutzer
Wenn Sie die Suche in einer Wissensdatenbank oder einem unternehmensinternen Chatbot konfigurieren, stoßen Sie häufig auf den Parameter similarity_threshold = 0.75. Nun wissen Sie: Dies ist ein Cosine-Filter, der alle Dokumente ausschließt, deren Abweichungswinkel zur Benutzerabfrage die zulässige Toleranz überschreitet.
FAQ: Cosine Similarity
Verwandte Begriffe
Embeddings für Einsteiger (Wie Text zu Zahlen wird)
Grundlegende Technologie zur Umwandlung von Wörtern, Sätzen oder Bildern in mehrdimensionale Zahlenlisten (Vektoren). Ermöglicht es dem Computer, die semantische Nähe zwischen verschiedenen Gedanken und Konzepten mathematisch zu messen.
Vektor-Datenbanken (Vector DBs & ANN-Suche)
Spezialisierte Datenbanksysteme und Erweiterungen (Qdrant, pgvector, Milvus, Chroma, Turso), optimiert für die Speicherung von Millionen mehrdimensionaler Vektoren und ultraschnelle Approximate Nearest Neighbor (ANN)-Suche.
Semantische Suche (Suche nach Inhalt, nicht nach Buchstaben)
Eine Informationssuchtechnologie, die auf dem konzeptionellen Inhalt der Anfrage basiert und nicht auf exakten Übereinstimmungen von Buchstaben oder Schlüsselwörtern. Sie versteht Synonyme, Umschreibungen, Tippfehler und abstrakte Fragen in natürlicher Sprache.