Was ist ein Embedding in der KI? Vektoren und RAG

Ein Embedding in der KI ist ein numerischer Vektor, also eine Liste von Fließkommazahlen, der Text oder andere Daten in einem mathematischen Raum darstellt, in dem ähnliche Bedeutungen nahe beieinanderliegen. Modelle des maschinellen Lernens nutzen Vektor-Embeddings, um die Verwandtschaft von Konzepten zu messen, semantische Suche zu ermöglichen und relevanten Kontext in RAG-Systemen abzurufen.

Wenn ich Ingenieurinnen und Ingenieuren beim Aufbau ihrer ersten Suchpipeline Embeddings erkläre, bitte ich sie, sich eine Karte vorzustellen, auf der Themen die Geografie ersetzen. Der Schlüsselwortabgleich prüft, ob zwei Zeichenfolgen dieselben Buchstaben enthalten. Das scheitert, wenn in einem Dokument Hund und in einem anderen Welpe steht. Ein Vektor-Embedding überbrückt diese Lücke, indem es Bedeutung in Koordinaten umwandelt, sodass Software Ideen mit einfacher Geometrie vergleichen kann.

Wie stellt ein Vektor-Embedding Bedeutung dar?

Ein Vektor-Embedding stellt Bedeutung dar, indem es komplexe Eingaben wie Wörter, Phrasen oder Bilder in Koordinaten innerhalb eines mehrdimensionalen Embedding-Raums umwandelt. Laut dem Glossar der KI-Definitionen von Stanford HAI platzieren Embeddings ähnliche Elemente im mathematischen Raum nahe beieinander: Wörter wie Hund und Welpe erhalten nahe Vektoren, während Hund und Toast weit auseinanderliegen.

Im Embedding-Leitfaden von OpenAI wird ein Embedding als Vektor aus Fließkommazahlen definiert, dessen Abstand die Verwandtschaft von Textzeichenfolgen misst. Kleine Abstände zwischen zwei Vektoren zeigen eine hohe, große Abstände eine geringe Verwandtschaft an. IBM Think beschreibt dasselbe Prinzip für verschiedene Datentypen: Vektor-Embeddings verwandeln nichtmathematische Eingaben wie Text oder Bilder in numerische Arrays, die Modelle des maschinellen Lernens verarbeiten können. Dabei erhalten ähnlichere Objekte der realen Welt ähnlichere Vektoren.

Der Machine Learning Crash Course von Google ergänzt drei praktische Eigenschaften von Embedding-Räumen, die den Umgang damit prägen:

Projektion in niedrigere Dimensionen: Modelle projizieren hochdimensionale Roheingaben oft in einen dichteren Embedding-Raum mit weniger Dimensionen, in dem sich der Abstand mathematisch als relative Ähnlichkeit berechnen lässt.
Undurchsichtige einzelne Koordinaten: Einzelne Dimensionen eines erlernten Embeddings lassen sich selten als eindeutige, von Hand bezeichnete Konzepte interpretieren. Die Bedeutung liegt in der gemeinsamen Position und Richtung aller Zahlen im Array.
Aufgabenspezifität: Embeddings werden meist für bestimmte Aufgaben trainiert. Ein für semantischen Textabruf optimierter Vektorraum unterscheidet sich daher von einem für Produktempfehlungen trainierten Raum.

Da Vektoren Verwandtschaft statt exakter Schreibweise kodieren, nennt OpenAI sechs häufige Produktionsaufgaben für Embeddings: Suche (Ergebnisse nach Relevanz für die Anfrage ordnen), Clustering, Empfehlungen, Anomalieerkennung, Diversitätsmessung und Klassifizierung (einer Zeichenfolge das nächstliegende Label zuweisen).

Wort-, Satz- und Dokument-Embeddings erklärt

Wort-, Satz- und Dokument-Embeddings unterscheiden sich darin, wie viel Text ein Modell in einem einzelnen Vektor verdichtet. Die Wahl der richtigen Granularität bestimmt, ob Ihr System einzelne Begriffe, kurze Nutzeranfragen oder Abschnitte mit mehreren Absätzen erfasst.

Wort-Embeddings

Ein Wort-Embedding ist ein dichter Vektor, der einem einzelnen Wort oder KI-Token zugewiesen wird. Statische Wort-Embeddings wie word2vec, das Tomas Mikolov und Kollegen 2013 vorstellten, weisen jedem Wort eines Vokabulars einen festen globalen Vektor zu. Wie der Machine Learning Crash Course von Google erklärt, gehen Modelle, die den Kontext eines Wortes vorhersagen sollen, davon aus, dass Wörter in ähnlichen Kontexten verwandte Bedeutungen tragen.

Statische Wort-Embeddings haben eine bekannte Einschränkung: Ein einzelner Vektor muss alle Bedeutungen eines Wortes zugleich darstellen, etwa Bank als Finanzinstitut und Bank als Sitzgelegenheit. Google merkt außerdem unter Verweis auf Deep Learning with Python von François Chollet an, dass statische Wort-Embeddings häufig Dimensionszahlen wie 256, 512 oder 1024 verwendeten.

Satz-Embeddings

Ein Satz-Embedding bildet eine ganze Phrase oder einen ganzen Satz auf einen Vektor ab, statt für jedes Wort einen eigenen Vektor zu erzeugen. IBM weist darauf hin, dass Satz-Embeddings die kombinierte semantische Bedeutung einer ganzen Phrase erfassen und häufig Nutzeranfragen in Such- und Frage-Antwort-Prozessen kodieren. Die Kodierung des ganzen Satzes hilft, Zeichenfolgen mit identischen Wörtern in unterschiedlicher Reihenfolge zu unterscheiden.

Dokument-Embeddings

Ein Dokument-Embedding stellt eine längere Passage, einen Artikelabschnitt oder einen ganzen Dokument-Chunk als einen Vektor dar. Ein einfacher Basisansatz kombiniert Wortvektoren durch Mittelwertbildung, wobei jedoch oft Struktur und Nuancen verloren gehen. Speziell entwickelte Text-Embedding-Modelle kodieren die gesamte Passage in einem Schritt. In realen Abrufsystemen verdichten Teams selten ein ganzes Buch zu einem Vektor; stattdessen teilen sie lange Dateien in kleinere Chunks und erzeugen pro Chunk ein Embedding.

Embedding-Typ	Eingabegranularität	Typische Vektoreinheit	Hauptfunktion und Einschränkung
Wort-Embedding	Einzelnes Wort oder Token	Ein Vektor pro Vokabulareintrag	Erfasst Begriffsähnlichkeit; statische Modelle wie word2vec vereinen alle Wortbedeutungen in einem Vektor
Satz-Embedding	Phrase oder einzelner Satz	Ein Vektor pro Anfrage oder Zeile	Erfasst die Absicht auf Phrasenebene; häufig für Suchanfragen und Fragenbeantwortung verwendet
Dokument-Embedding	Passage oder Dokument-Chunk	Ein Vektor pro Chunk oder Dokument	Unterstützt den Abruf aus einem Korpus; lange Dokumente müssen vor dem Embedding meist aufgeteilt werden

Was bedeuten Embedding-Dimensionen?

Embedding-Dimensionen messen die Länge eines Vektors, also wie viele Fließkommazahlen ein Modell für jede Eingabe ausgibt. Größere Vektoren bieten mehr Kapazität, um feine semantische Unterschiede zu kodieren; kleinere Vektoren reduzieren Speicherbedarf, Indexgröße und Rechenaufwand beim Vergleich.

Die Embedding-Modelle der dritten Generation von OpenAI zeigen diesen Kompromiss unmittelbar. Stand 14. November 2026 legt die offizielle Dokumentation von OpenAI die Standardlänge der Ausgabe auf 1536 Dimensionen für text-embedding-3-small und 3072 Dimensionen für text-embedding-3-large fest. Beide Modelle akzeptieren in der API-Anfrage den optionalen Parameter dimensions, mit dem Entwicklerinnen und Entwickler einen kürzeren Vektor anfordern können, ohne die Fähigkeit des Embeddings zur Darstellung von Konzepten zu verlieren.

OpenAI hat beide Modelle der dritten Generation so trainiert, dass sich Zahlen am Ende sauber entfernen lassen. Laut dem Embedding-Leitfaden von OpenAI übertrifft ein auf 256 Dimensionen gekürztes text-embedding-3-large-Embedding im MTEB-Benchmark Stand 14. November 2026 weiterhin ein ungekürztes text-embedding-ada-002-Embedding mit 1536 Dimensionen. Wenn eine Vektordatenbank eine feste Obergrenze von 1024 Dimensionen vorgibt, können Entwickler laut OpenAI text-embedding-3-large dennoch mit dimensions auf 1024 aufrufen und so für Kompatibilität und geringeren Speicherbedarf etwas Genauigkeit eintauschen.

Wer Vektoren nach dem Empfang über eine API manuell kürzt, muss anschließend eine L2-Längennormalisierung anwenden. Die direkte Übergabe des Parameters dimensions bei der Erstellung des Embeddings vermeidet manuelle Nachbearbeitung und ist der von OpenAI empfohlene Ablauf.

Wie vergleicht die Kosinusähnlichkeit Embeddings?

Die Kosinusähnlichkeit vergleicht zwei Embedding-Vektoren anhand des Kosinus des Winkels zwischen ihnen. Da sie die Ausrichtung im Embedding-Raum statt der reinen Vektorlänge bewertet, erzielen zwei Passagen mit derselben semantischen Richtung einen hohen Wert, auch wenn ihre Längen unterschiedlich sind.

Für allgemeine Vektoren reicht die Kosinusähnlichkeit von -1 bis 1:

1: Beide Vektoren zeigen in genau dieselbe Richtung; das bedeutet maximale Ähnlichkeit.
0: Beide Vektoren stehen orthogonal zueinander; ihre Bedeutungen sind nicht korreliert.
-1: Beide Vektoren zeigen in entgegengesetzte Richtungen.

Die euklidische Distanz ist eine alternative Metrik und misst die geradlinige Entfernung zwischen zwei Punkten im Embedding-Raum. Auf die Frage nach der passenden Distanzfunktion empfiehlt die Embedding-FAQ von OpenAI ausdrücklich die Kosinusähnlichkeit und weist zugleich darauf hin, dass die Wahl der Metrik bei OpenAI-Vektoren meist kaum einen Unterschied macht. Jedes von der API von OpenAI zurückgegebene Embedding ist bereits auf die Länge 1 normalisiert. Daher entspricht die Kosinusähnlichkeit dem Skalarprodukt, und Kosinusähnlichkeit und euklidische Distanz liefern identische Suchrangfolgen.

Wie werden Embeddings in RAG eingesetzt?

Embeddings ermöglichen Retrieval-Augmented Generation (RAG), indem sie die Frage einer Nutzerin oder eines Nutzers mit gespeicherten Dokument-Chunks abgleichen, bevor ein Sprachmodell eine Antwort formuliert. Statt sich allein auf im Vortraining gelernte Fakten zu verlassen, durchsucht eine RAG-Pipeline private oder aktuelle Textsammlungen anhand der Vektorähnlichkeit.

Im Einklang mit den Empfehlungen von OpenAI zur Fragenbeantwortung und Textsuche umfasst eine typische RAG-Pipeline fünf Schritte:

Korpus aufteilen: Teilen Sie lange Quelldokumente in kleinere Passagen, damit jeder Vektor einen klar umrissenen Gedanken darstellt. Konkrete Aufteilungsstrategien behandelt unser Leitfaden zum Aufteilen von Dokumenten für RAG.
Chunks einbetten und indexieren: Senden Sie jeden Chunk an ein Embedding-Modell und speichern Sie die resultierenden Vektoren zusammen mit ihrem Quelltext. OpenAI empfiehlt für die schnelle Suche in großen Sammlungen eine Vektordatenbank.
Nutzeranfrage einbetten: Geben Sie die eingehende Frage durch genau dasselbe Embedding-Modell, damit die Anfrage im selben mathematischen Raum wie die indexierten Chunks landet.
Nächste Nachbarn abrufen: Berechnen Sie Ähnlichkeitswerte, etwa Kosinusähnlichkeit oder Skalarprodukt bei normalisierten Vektoren, und rufen Sie die am besten passenden Chunks ab.
Kontext an das Modell übergeben: Fügen Sie die abgerufenen Text-Chunks in den Prompt des Sprachmodells ein, damit es anhand Ihres Quellmaterials eine fundierte Antwort erzeugen kann.

Chunk-Größe und Abrufschwellen unterscheiden sich je nach Dokumentstruktur und Anfragemustern stark. Teams sollten daher Aufteilungsstrategien an ihrem tatsächlichen Korpus testen, statt sich auf eine universelle Chunk-Größe zu verlassen.

OpenAI-Embedding-Modelle, Limits und Preise

Die Embedding-API von OpenAI bietet Stand 14. November 2026 drei zentrale Textmodelle mit festen Token-Limits und Preisen pro Token. Entwickler erzeugen Vektoren durch eine Anfrage POST https://api.openai.com/v1/embeddings mit input und model sowie optional dimensions (bei Modellen der dritten Generation) und encoding_format (standardmäßig float oder base64).

Für alle drei aufgeführten Embedding-Modelle von OpenAI gelten dieselben Anfragelimits: höchstens 8,192 Token pro einzelner Eingabe, bis zu 2,048 Elemente pro Eingabe-Array und insgesamt höchstens 300,000 Token über alle Eingaben eines API-Aufrufs. Leere Zeichenfolgen werden abgelehnt. Um Token vor dem Senden lokal zu zählen, empfiehlt OpenAI die Kodierung cl100k_base mit tiktoken. Alle drei Modelle unterstützen auch die Batch API von OpenAI.

Modell	Standarddimensionen	Maximale Eingabe-Token	Preis pro 1 Mio. Token (14. November 2026)	Ca. Seiten pro Dollar (~800 Token/Seite)	Von OpenAI veröffentlichter MTEB-Wert
`text-embedding-3-small`	1536	8,192	$0.02	62,500	62.3%
`text-embedding-3-large`	3072	8,192	$0.13	9,615	64.6%
`text-embedding-ada-002`	1536	8,192	$0.10	12,500	61.0%

Diese Zahlen stammen direkt von der Preisseite von OpenAI und aus dem Embedding-Leitfaden, Stand 14. November 2026. OpenAI beschreibt text-embedding-3-small als verbesserten Nachfolger von text-embedding-ada-002 und positioniert text-embedding-3-large als sein leistungsfähigstes Modell für englische und nicht englische Aufgaben. Die obigen MTEB-Prozentwerte sind ausschließlich als von OpenAI zu diesem Datum veröffentlichte Dokumentations-Benchmarks zu verstehen, nicht als aktuelle unabhängige branchenweite Rangliste aller Embedding-Anbieter.

FAQ

Was ist der Unterschied zwischen einem Vektor-Embedding und einem Token?

Ein Token ist ein Stück Eingabetext, etwa ein Wort oder Wortteil, das ein Modell liest und abrechnet. Ein Vektor-Embedding ist das dichte Array aus Fließkommazahlen, das das Modell ausgibt, um die Bedeutung eines oder mehrerer Token darzustellen. Sie können bis zu 8,192 Token in ein Embedding-Modell von OpenAI eingeben und einen Vektor erhalten.

Verringert der dimensions-Parameter von OpenAI die Genauigkeit von Embeddings?

Das Kürzen eines Vektors mit dem Parameter dimensions tauscht etwas Genauigkeit gegen geringere Speicher- und Rechenkosten ein. Laut OpenAI wurden die Modelle der dritten Generation so trainiert, dass sich Zahlen am Ende entfernen lassen, während die Darstellung von Konzepten erhalten bleibt. Stand 14. November 2026 übertrifft laut OpenAI ein text-embedding-3-large-Vektor mit 256 Dimensionen auf MTEB weiterhin einen ungekürzten text-embedding-ada-002-Vektor mit 1536 Dimensionen.

Sollte ich für OpenAI-Embeddings Kosinusähnlichkeit oder euklidische Distanz verwenden?

Kosinusähnlichkeit ist die von OpenAI empfohlene Metrik, obwohl beide Funktionen bei OpenAI-Vektoren identische Rangfolgen liefern. Da OpenAI-Embeddings auf die Länge 1 normalisiert sind, ist die Kosinusähnlichkeit mathematisch gleich dem Skalarprodukt, und die euklidische Distanz erhält genau dieselbe Reihenfolge. Bei allgemeinen, nicht normalisierten Vektoren aus anderen Quellen betrachtet die Kosinusähnlichkeit den Winkel unabhängig von der Länge.

Wissen Embedding-Modelle von aktuellen Ereignissen?

Die Embedding-Modelle der dritten Generation von OpenAI, text-embedding-3-small und text-embedding-3-large, kennen keine Ereignisse nach September 2021. OpenAI merkt in seiner Embedding-FAQ an, dass dieser Wissensstand Embeddings generell weniger einschränkt als Modelle zur Textgenerierung; bei bestimmten fachspezifischen oder späteren Anfragen kann die Qualität der Treffer dennoch sinken.

Wem gehören die über die OpenAI API erzeugten Embeddings?

Laut der offiziellen FAQ von OpenAI gehören Kundinnen und Kunden sowohl die gesendeten Eingaben als auch die von OpenAI-Modellen erzeugten Ausgabevektoren einschließlich der Embeddings. OpenAI erklärt, dass dies für seine Embedding-Endpunkte gilt, während Nutzerinnen und Nutzer dafür verantwortlich bleiben, dass ihre API-Nutzung geltendem Recht entspricht.

Was ist ein Embedding in der KI? Vektoren, Ähnlichkeit und RAG

Wie stellt ein Vektor-Embedding Bedeutung dar?