Phrase-based Indexing ist ein von Google patentiertes Indexierungsverfahren, das Dokumente über mehrwortige Phrasen statt über Einzelwörter erschließt. Das Patent US7536408B2 wurde am 26. Juli 2004 angemeldet, am 19. Mai 2009 veröffentlicht und ist Google Inc. zugewiesen (Anmeldenummer 10/900,055).
An information retrieval system uses phrases to index, retrieve, organize and describe documents. Phrases are identified that predict the presence of other phrases in documents. Abstract, US7536408B2
Die vier Kernfunktionen des Patents im Überblick
Das Patent definiert vier zentrale Mechanismen, die das Fundament der modernen Google-Suche bilden:
- Phrase Recognition: Findet wiederkehrende Wortgruppen, die das Auftreten anderer Phrasen im Text statistisch vorhersagen.
- Related Clusters: Gruppiert semantisch verbundene Phrasen zu thematischen Clustern, um die Gesamttopik einer Seite zu erfassen.
- Better Ranking: Nutzt Multi-Wort-Anfragen und Phrasen-Bitvektoren, um Suchergebnisse nach semantischer Vollständigkeit zu sortieren.
- Duplicate Removal: Erkennt doppelte oder inhaltlich redundante Dokumente über Phrasen-Analyse und filtert sie aus dem Index.
Diese vier Funktionen greifen ineinander und werden in den folgenden Abschnitten detailliert erklärt.
Alle folgenden Formeln, Schwellenwerte und Beispiele stammen aus dem Patentvolltext und sind dort nachprüfbar.
Was unterscheidet Phrase-based Indexing von Keyword-Indexierung?
Klassische Indexierung ordnet Dokumente einzelnen Wörtern zu und verliert dabei die Bedeutungseinheit mehrwortiger Begriffe. Das Patent nennt „Australian Shepherd“, „President of the United States“ und „Sundance Film Festival“ als Beispiele für Wortgruppen, die als Einheit ein Konzept tragen. Warum frühere Systeme darauf verzichteten, begründet das Patent rechnerisch: Bei angenommen 200.000 eindeutigen Termen in einem großen Korpus und Phrasen bis zu fünf Wörtern Länge ergäben sich rund 3,2 × 10²⁶ mögliche Phrasen — mehr, als ein System speichern oder verarbeiten könnte. Das Patent löst dieses Problem nicht durch Speichern aller Kombinationen, sondern durch eine Auswahllogik, die den Kandidatenraum radikal reduziert.
Wie identifiziert Google eine Good Phrase?
Google identifiziert Good Phrases in drei aufeinanderfolgenden Stufen, die Kandidaten aus dem Text sammeln, sie nach Häufigkeit klassifizieren und die verbliebenen nach ihrer Vorhersagekraft ausdünnen.
Das Patent grenzt sie explizit gegen Idiome ab: „fell down the stairs“, „top of the morning“ und „out of the blue“ sind zwar geläufige Wortfolgen, treten aber in zu vielen unverbundenen Kontexten auf und sagen deshalb nichts vorher. „President of the United States“ dagegen prognostiziert Phrasen wie „George Bush“ oder „Bill Clinton“.
Der Identifikationsprozess läuft in drei Stufen. Ein primäres Phrasenfenster der Länge n traversiert den Text — das Patent nennt mindestens 2, bevorzugt 4 bis 5 Terme, Stoppwörter eingeschlossen. Das Fenster endet an Zeilenumbrüchen, Absatzmarken oder Markup-Tags. Für jeden Kandidaten führt das System drei Zähler:
- P(p): Anzahl der Dokumente, in denen die Phrase erscheint
- S(p): Gesamtzahl aller Instanzen der Phrase
- M(p): Anzahl der Interesting Instances — Vorkommen, die sich durch Fettung, Unterstreichung, Anführungszeichen oder Ankertext vom umgebenden Inhalt abheben
Aus diesen Zählern folgt die Klassifikation:
| Klasse | Bedingung |
|---|---|
| Good Phrase | P(p) > 10 und S(p) > 20 — oder M(p) > 5 |
| Bad Phrase | P(p) < 2 und M(p) = 0 |
Die Schwellen skalieren mit der Partitionsgröße: Das Patent nennt rund 1.000.000 Dokumente pro Durchlauf; bei 2.000.000 verdoppeln sich die Werte näherungsweise. Es fügt ausdrücklich hinzu, dass die konkreten Werte und die Prüflogik variiert werden können.
Wie berechnet sich der Information Gain?
Der Information Gain ist der Quotient aus tatsächlicher und erwarteter Ko-Okkurrenz zweier Phrasen, wobei jedes Ergebnis über 1 anzeigt, dass beide häufiger gemeinsam auftreten, als der Zufall es hergäbe.
Erfasst wird die Ko-Okkurrenz in einem sekundären Fenster von ±h Wörtern um die aktuelle Position — das Patent nennt 30 Wörter. Dort führt eine m×m-Matrix drei Zähler pro Phrasenpaar: R(j,k) für rohe Ko-Okkurrenz, D(j,k) für disjunktiv-hervorgehobene und C(j,k) für konjunktiv-hervorgehobene Vorkommen. Der konjunktive Zähler existiert laut Patent, um Fälle wie einen Copyright-Hinweis auszuschließen, der zwar häufig in Fußzeilen erscheint, aber nichts vorhersagt.
Erwartete Ko-Okkurrenz-Rate:
$$E(j,k) = E(g_j) \cdot E(g_k) \quad \text{mit} \quad E(g_i) = \frac{N(g_i)}{T}$$
$N(g_i)$ = Dokumentenanzahl mit Phrase $g_i$ · $T$ = Gesamtzahl gecrawlter Dokumente
Tatsächliche Ko-Okkurrenz-Rate:
$$A(j,k) = \frac{R(k)}{T}$$
Information Gain:
$$I(j,k) = \frac{A(j,k)}{E(j,k)}$$
Diese Formel steht wörtlich in Claim 4 des Patents.
Warum arbeitet das Patent mit zwei verschiedenen Schwellenwerten?
Die beiden Schwellen trennen zwei unterschiedliche Entscheidungen — Pruning und Related-Phrase-Zuordnung.
| Schwelle | Wert | Funktion |
|---|---|---|
| Information-Gain-Schwelle | 1.5 (bevorzugt 1.1–1.7) | Pruning: Phrasen darunter fliegen aus der Good-Phrase-Liste |
| Related-Phrase-Schwelle | ~100 | Zuordnung: zwei Phrasen gelten als verwandt |
Zur unteren Schwelle vermerkt das Patent, dass ein Wert über 1.0 die Wahrscheinlichkeit senkt, dass zwei tatsächlich unverbundene Phrasen rein zufällig überdurchschnittlich ko-okkurrieren.
Die obere Schwelle von 100 ist die, aus der das bekannteste Beispiel des Patents stammt: Steht „Monica Lewinsky“ in einem Dokument, ist „Bill Clinton“ darin 100-mal wahrscheinlicher als in einem zufällig gewählten Dokument. Jeder Matrixeintrag unterhalb dieser Schwelle wird auf null gesetzt. Was übrig bleibt, ist das Netz verwandter Phrasen — anschließend zeilenweise nach Information-Gain-Wert sortiert.
Wie fließen Phrasen in das Ranking ein?
Phrasen wirken im Ranking über zwei linear kombinierte Teilscores, den Body Hit Score aus dem Dokumenttext und den Anchor Hit Score aus den Ankertexten verweisender Seiten.
$$\text{Score} = 0.30 \cdot (\text{body hit score}) + 0.70 \cdot (\text{anchor hit score})$$
Der Body Hit Score ist der numerische Wert des höchstwertigen Related-Phrase-Bit-Vektors eines Dokuments gegenüber den Query-Phrasen. Der Anchor Hit Score leitet sich aus den Related-Phrase-Bit-Vektoren referenzierender Dokumente ab. Das Patent hält unmittelbar nach der Formel fest, dass die Gewichte 0.30 und 0.70 nach Bedarf angepasst werden können — sie sind ein Ausführungsbeispiel, kein fixer Algorithmuswert.
Wie verhindert das Verfahren Link-Bombing?
Das Verfahren verhindert Link-Bombing, indem es den Related-Phrase-Bit-Vektor des Zieldokuments in die verlinkende Seite importiert. Damit zählt nicht mehr, wie viele Links auf eine Seite zeigen, sondern ob Ankertext, Quelle und Ziel thematisch zusammenpassen.
Erscheint eine Phrase als Ankertext eines Hyperlinks, importiert das System den Related-Phrase-Bit-Vektor des Zieldokuments in die Posting-List-Position der verlinkenden Seite. Claim 18 und 19 unterscheiden dabei Inlink-Score (verwandte Phrasen im Zieldokument) und Outlink-Score (verwandte Phrasen im verlinkenden Dokument).
Das Patent benennt den Angriff explizit: Ranking-Verfahren, die auf der Anzahl eingehender Links beruhen, lassen sich „bomben“, indem massenhaft Seiten mit identischem Ankertext auf eine Zielseite verweisen — die Zielseite rankt dann für diesen Ankertext, auch wenn sie inhaltlich nichts damit zu tun hat. Der Bit-Vektor-Import löst das, weil er die Bewertung von der reinen Link-Relation auf die thematische Übereinstimmung zwischen Ankertext, verlinkender Seite und Ziel verlagert.
Was passiert mit unvollständigen Phrasen?
Unvollständige Phrasen fliegen aus der Good-Phrase-Liste und landen auf einer eigenen Liste, die das System später zur Query-Erweiterung nutzt. Unvollständig ist eine Wortgruppe, die ausschließlich ihre eigenen Verlängerungen vorhersagt — das Patent nennt „President of the United“, das nur „President of the United States“ prognostiziert, also sich selbst plus ein Wort.
Die Prüfregel ist scharf: Sagt eine Phrase mindestens einen Begriff voraus, der keine Verlängerung ihrer selbst ist, gilt sie als vollständig und bleibt.
Aussortiert heißt nicht verworfen. Die unvollständigen Phrasen wandern auf eine eigene Liste und werden bei der Suche wiederverwendet. Trifft eine Suchanfrage auf einen Eintrag dieser Liste, schlägt das System die Verlängerung mit dem höchsten Information Gain vor — oder sucht direkt danach. Das Patentbeispiel: Aus der Anfrage „President of the United“ wird „President of the United States“.
Das Verfahren erzeugt damit aus einem Aufräumschritt eine zweite Funktion. Dieselbe Statistik, die eine Wortgruppe als unvollständig entlarvt, weiß auch, wie sie zu Ende gedacht gehört.
Wie entstehen thematische Cluster in den Suchergebnissen?
Thematische Cluster entstehen, indem das System für jede verwandte Phrase zählt, in wie vielen Treffern sie vorkommt, und die drei bis fünf häufigsten zu Clustern macht, die deren Namen tragen.
Das System zählt über alle Treffer hinweg, wie viele Dokumente eine bestimmte verwandte Phrase enthalten — technisch durch Aufaddieren der Bitwerte an der entsprechenden Position im Related-Phrase-Bit-Vektor. Die drei bis fünf häufigsten verwandten Phrasen bilden die Cluster und geben ihnen zugleich den Namen.
Das Patent führt das an der Anfrage „blue merle agility training“ vor. Als Query-Phrasen erkennt das System „blue merle“ und „agility training“, deren verwandte Phrasen unter anderem „Australian Shepherd“, „red merle“, „tricolor“, „weave poles“, „teeter“ und „border collie“ umfassen. Von 100 Treffern enthalten 75 die Phrase „weave poles“, 60 die Phrase „teeter“, 50 die Phrase „red merle“ — daraus entstehen die ersten drei Cluster, in dieser Reihenfolge.
Den Anlass dafür benennt das Patent nutzerseitig: Die meisten Suchenden sehen sich nicht mehr als die ersten 30 bis 40 Treffer an. Stammen die ersten 100 Dokumente aus drei Themengruppen und die nächsten 100 aus vier weiteren, bleiben diese vier unsichtbar — obwohl sie relevant sein können. Die Cluster-Darstellung löst das, indem sie aus jeder Gruppe eine Auswahl zeigt, entweder in fester Anzahl oder proportional zur Gruppengröße.
Wie erkennt das Verfahren doppelte Inhalte?
Die Duplikaterkennung vergleicht nicht ganze Dokumente, sondern deren kennzeichnende Sätze. Für jedes Dokument bestimmt das System die zugehörigen verwandten Phrasen, sortiert die Sätze nach der Häufigkeit dieser Phrasen und wählt die fünf bis zehn bestplatzierten aus. Diese Sätze werden aneinandergehängt und gehasht. Findet sich der Hashwert bereits in der Tabelle, gilt das Dokument als Duplikat.
Das Patent begründet den Aufwand am Beispiel einer Presseagenturmeldung, die auf einem Dutzend Zeitungsportalen identisch erscheint. Alle Kopien auszuliefern belastet den Nutzer mit Redundanz, ohne die Anfrage besser zu beantworten.
Welche Kopie überlebt, entscheidet ein von der Anfrage unabhängiges Qualitätsmaß — das Patent nennt ausdrücklich den PageRank. Die Konsequenz greift über die einzelne Suche hinaus: Das System kann das Duplikat auch aus dem Index entfernen, sodass es in keiner künftigen Suche mehr auftaucht. Derselbe Abgleich läuft schon beim Crawling, bevor ein Dokument überhaupt in den Index gelangt.
Bemerkenswert daran ist die Auswahllogik. Erkannt wird ein Duplikat nicht über Textähnlichkeit im Ganzen, sondern über die Sätze, die das Thema des Dokuments am dichtesten tragen. Wer einen fremden Text umformuliert, aber dieselben thematischen Kernsätze stehen lässt, bleibt in diesem Verfahren erkennbar.
Was folgt daraus für die Content-Arbeit?
Neu: Aus dem Patent folgen drei Prüffragen: Deckt der Text das Phrasenumfeld seines Themas ab? Passen Ankertext, Quell- und Zielseite jedes Links thematisch zusammen? Und trägt der Text eigene Kernsätze oder wiederholt er fremde?
Thematische Vollständigkeit vor Keyword-Frequenz.
Da der Body Hit Score über Related-Phrase-Bit-Vektoren gebildet wird, zählt die Abdeckung des Phrasenumfelds, nicht die Wiederholung des Hauptbegriffs. Ein Dokument zu „Australian Shepherd“ sollte die verwandten Phrasen des Themas — im Patentbeispiel „blue merle“, „red merle“, „agility training“ — natürlich mitführen.
Thematisch passende Verlinkung.
Inlink- und Outlink-Score prüfen die Übereinstimmung zwischen Ankertext, Quell- und Zielseite. Interne Links zwischen thematisch unverbundenen Seiten tragen in diesem Modell keinen Wert.
Vorsicht bei der Formatierungs-Empfehlung.
Interesting Instances verleiten zur Empfehlung, zentrale Begriffe zu fetten. Das greift zu kurz: M(p) ist im Patent ein korpusweiter Zähler zur Klassifikation einer Phrase — er entscheidet, ob eine Wortgruppe überhaupt in die Good-Phrase-Liste gelangt, nicht wie ein einzelnes Dokument rankt. Fettungen auf der eigenen Seite verschieben diesen Wert praktisch nicht.
FAQ
Ist Phrase-based Indexing heute noch in Google-Systemen aktiv? Das Patent belegt, dass Google das Verfahren 2004 angemeldet und 2009 erteilt bekommen hat. Ob und in welcher Form es im aktuellen Ranking-Stack läuft, ist öffentlich nicht dokumentiert. Belegbar ist die Mechanik, nicht ihr Einsatzstatus.
Was ist der Unterschied zwischen Information Gain im Phrase-based Indexing und dem Information Gain Score? Der Information Gain in US 7,536,408 B2 misst die Ko-Okkurrenz zweier Phrasen relativ zum Zufall und dient der Phrasen-Auswahl. Der Information Gain Score aus der späteren Patentfamilie (US 11,354,342 B2) bewertet, wie viel Neues ein Dokument gegenüber bereits gesehenen Dokumenten liefert. Gleicher Begriff, verschiedene Gegenstände.
Welche Fenstergrößen nennt das Patent? Das primäre Phrasenfenster umfasst mindestens 2, bevorzugt 4 bis 5 Terme und dient der Kandidatenbildung. Das sekundäre Fenster von ±30 Wörtern erfasst die Ko-Okkurrenz zwischen Phrasen für die Information-Gain-Berechnung.
Quelle: US7536408B2, „Phrase-based indexing in an information retrieval system“, Anmeldung 10/900,055 vom 26.07.2004, veröffentlicht 19.05.2009, Assignee Google Inc.
- Interne Verlinkung: „Information Gain Score“ einmal auf
/seo/information-gain-score/. Externer Link auf das Patent im Quellenblock, nicht als erster Content-Block.