Wie funktionieren Suchmaschinen?

In meinem letzten Artikel Robots Exclusion Protocol und das Geheimnis des X-Robots-Tag gibt es eine kurze Passage zum Thema Suchmaschinen, in der ich bereits flüchtig auf deren Funktionsweise eingehe. Daran möchte ich heute gerne anknüpfen und erläutern, wie Suchmaschinen funktionieren.

Wie funktioniert eine Suchmaschine?

Die Funktionsweise von Suchmaschinen besteht aus den Schritten Crawling und Indexierung. Zunächst ruft der Crawler (auch Spider oder Bot genannt) Webseiten auf und speichert diese in einer Datenbank ab. Anschließend werden diese Daten gesammelt und indexiert. Wird eine Suchanfrage gestellt, schaut die Suchmaschine im Index nach, auf welchen Internetseiten der gesuchte Begriff vorkommt. Ein Algorithmus entscheidet letztendlich, welches Ranking die Seite in den SERPs erzielt.

Volltext- und Metasuchmaschinen

Vertikale Suchmaschinen, Föderierte Suchmaschinen, Enterprise Search – wie soll man bei der Vielzahl an Kategorisierungsmöglichkeiten für Suchmaschinen den Überblick behalten? Ich halte es an dieser Stelle ganz einfach und unterteile Suchmaschinen in zwei wesentliche Arten: Metasuchmaschinen und Volltextsuchmaschinen. Letztere, zu denen u. a. Google und Bing zählen, durchsuchen und indizieren den gesamten Text einer Webseite bzw. eines Dokumentes. Das heißt, Suchmaschinen, die auf einer Volltextsuche basieren, verweisen bei der Abfrage nach einem beliebigen Begriff oder einer Wortgruppe auf alle relevanten Dokumente, die sie durchsucht haben und in denen der gesuchte Begriff enthalten ist.

© seo-trainee.de

Metasuchmaschinen wie MetaGer oder die „diskreteste Suchmaschine der Welt“ ixquick hingegen sammeln gar nicht selber, sondern übergeben eine Suchanfrage an mehrere andere Suchmaschinen, greifen deren Ergebnisse ab und verarbeiten die Informationen zu einer eigenen Trefferliste (SERPs).

© seo-trainee.de

Arbeitsweise von Suchmaschinen

Leider ist es so, dass die einzelnen Suchdienste unterschiedliche Algorithmen für den Suchprozess verwenden und weil diese mindestens genauso gut behütet sind wie die Kronjuwelen von Queen Elizabeth, kann man nicht exakt sagen, wie Suchmaschinen funktionieren – jedoch sind die allgemeinen Funktionen gleich.

Crawler

© Hemera / ThinkStock

Um die Funktionsweise von Suchmaschinen zu verstehen, ist es wichtig zu wissen, dass Suchmaschinen bei einer Suchanfrage (Query Processing) nicht das gesamte World Wide Web durchsuchen, sondern immer nur die Seiten, die sie in ihrem Index haben – demnach beginnt die Arbeit einer Suchmaschine weit vor der eigentlichen Suche.

An erster Stelle steht der Crawler, auch Spider, Robot oder Bot genannt. Er ist ein vollautomatischer Informationssammler, der für die Erfassung von Dokumenten im Web zuständig ist. Dafür ruft er eine Webseite nach der anderen auf und speichert diese in einer Datenbank (Repository) ab, beginnend mit den Websites und URLs, die von den Webmastern angemeldet wurden. Bei Google geht das ganz einfach mithilfe der Webmaster Tools.

Beim Crawlen stehen ganz klar HTML-Dokumente im Fokus, aber auch die Indexierung von Texten aus .ppt- oder .pdf-Dateien ist möglich. Der Crawler durchsucht aber nicht nur den Content einer Website sondern auch deren Meta-Tags. Außerdem folgt er den Links auf der Seite (Harvesting) und entdeckt mitunter Seiten, die sich noch nicht in der Datenbank befinden.

Weitere Keyfacts im Überblick:

• Crawler nehmen nur eine bestimmte Anzahl an Seiten einer Domain in die Datenbank auf
• Domains mit einer hohen Popularität (z. B. hoher PageRank) werden gründlicher erfasst
• Die Anzahl der Linkebenen, die ein Crawler in einer Site hinuntersteigt, unterscheidet sich von Suchmaschine zu Suchmaschine
• Die Zyklen, in denen Crawler zu einer Domain zurückkehren, variieren; wenn eine Site häufig aktualisiert wird, kommt z. B. der Googlebot täglich vorbei
• Meistens sind mehrere Crawler auf einmal unterwegs – 7% des gesamten Netzverkehrs wird durch Robots verursacht

Sollte der Crawler auf einer Seite unerwünscht sein, kann dieser mittels robots.txt ausgeschlossen werden.

Indexer

Der Indexer bereitet die vom Crawler gesammelten Daten, die er sich aus dem Repository abholt, auf und erstellt damit einen Index. Für jedes Wort wird ein Eintrag mit der genauen Position im Datenbestand erstellt (Invertierte Datei). Dadurch wird der Index schnell und effizient durchsuchbar gemacht. Wenn nun eine Suchanfrage gestellt wird, schaut die Suchmaschine zuerst im Index nach, auf welchen Internetseiten der gesuchte Begriff vorkommt. Danach holt sie sich aus dem Repository Informationen zu jeder Seite wie z. B. Title und Description und stellt diese in den SERPs dar – sollten keine vorhanden sein, generiert die Suchmaschine diese automatisch.

Um die Auswahl aus den mitunter Tausenden von Suchergebnissen zu erleichtern, wird von den Suchmaschinen eine automatische Bewertung des Index bzw. der Relevanz eines Suchtreffers vorgenommen (Ranking). Jede Suchmaschine setzt dabei andere Mechanismen ein, weshalb die einzelnen Suchmaschinen trotz gleicher Dokumente im Index unterschiedliche Ergebnisse liefern. Aspekte, die in diese Evaluation mit einbezogen werden, sind u. a. die Anzahl der übereinstimmenden Wörter, die Häufigkeit des Vorkommens von Suchbegriffen (URL, Title, Description, Hauptüberschrift) sowie deren Position oder die Verlinkung von anderen Websites.

Searcher

Der Searcher ist die einzig sichtbare Funktion einer Suchmaschine. Von ihm wird die Suchanfrage des Internetnutzers ausgewertet. Während einer Suchanfrage gleicht diese Systemkomponente die eingegebenen Begriffe mit den im Index gespeicherten Informationen ab und gibt die entsprechenden Ergebnisse als SERPs aus.

Puh, alles verstanden? Solltet ihr noch Fragen haben, stellt diese gerne in den Kommentaren.

Sandra und die SEO Trainees.

Sandra Stabenow

SEO Trainee

Online Marketing ist meine Welt! Warum? Mich reizen die vielen abwechslungsreichen Aufgaben in einem schnelllebigen, dynamischen Arbeitsumfeld. Besonders schlägt mein Herz dabei für Content- und Social Media Marketing – da blühe ich richtig auf! Aber nicht nur das Kreative hat es mir angetan, nein, auch die technischen und analytischen Aspekte der Suchmaschinenoptimierung faszinieren mich. Genau dieser Facettenreichtum macht SEO für mich so attraktiv!