Develop-Zone robot sketch
== Das Sicherheitslabor ==

Spiders, Robots & Suchmaschinen:
Wieso ich mich als Webmaster darum kümmern muß.

Viele automatische Programme durchsuchen alle verfügbaren Spider Sketch Webseiten und Maschinen und stellen mächtige Indexfunktionen zur Verfügung. In diesen Zusammenhang kann man jedoch einige böse Überraschungen erleben:

Veraltete Dokumente:

DiagrammStellen wir uns vor, wir haben ein geniales Produkt wie z.B. "Meier's Newspaper Utilities" und bieten es im Internet an. Die Preise veröffentlichen wir in der Html-Seite "pricelist.html". Eines Tages entschließen wir uns, die Preise zu erhöhen. Wir erzeugen eine neue Datei "pricelist2.html" und aktualisieren auf unserer Homepage den Link, so daß ein normaler Websurfer die alte Preisliste nicht mehr erreichen kann.
Leider ist die Datei immer noch erreichbar: Einer unser Kunden könnte sich ein Lesezeichen gesetzt haben. Schlimmer noch, ein Kunde könnte nach unseren genialen Produkt mit einer Suchmaschine suchen und würde noch mehrere Monate später unsere alte Preisliste erhalten.

Cgi Skripte

Wenn mal wieder ein neues Sicherheitsloch in einem häufig benutzten Cgi-Skript bekannt wird, kann ein Angreifer einfach nach allen Websites suchen, die dieses Cgi-Skript verwenden, und hat dann freie Auswahl in welchen Server er einbricht.
Dagegen kann man sich kaum wehren. Oft ist es sinnvoll, die Indizierung im cgi-bin Verzeichnis abzuschalten. Schließlich werden hier dynamisch Dokumente erzeugt, so das eine Indizierung hier meistens nicht sinnvoll ist. So können wir immerhin dem Angreifer das Finden unseres fehlerhaften Skriptes etwas erschweren. Leider kann man mit vielen Diensten nicht nur nach Seiten selber suchen, sondern auch nach Links auf Seiten, so das ein etwas intelligenterer Angreifer unsere fehlerhaftes Cgi-Skript trotzdem finden kann.

Datenschutz und Privatsphäre

Viele Webseiten bieten ein Diskussionsforum an. Ein Problem ist dabei, daß das Forum zum Diskutieren benutzt wird, tatsächlich jeder Beitrag aber veröffentlicht wird, und zwar über die Teilnehmer des Forums hinaus allen Benutzern von Suchmaschinen zugänglich ist.

Stellen Sie sich vor, alles was Sie einmal zu Freunden sagen, wird gespeichert und mit Hilfe von Stichworten weltweit bekanntgemacht, also nicht nur den Verfassungsschutz oder irgendeinen Big Brother sondern z.B. auch Ihren Vermieter oder Ihren Arbeitgeber.

Dann gibt es da noch Anwälte, die sich Ihr Geld mit Abmahnungen verdienen. Einmal ein Wort erwähnt für das es ein Trademark gibt, oder etwas Schlechtes über ein Produkt erzählt, und schon können sie bei Ihnen kassieren.

Verantwortungsvolle Webmaster sollten deshalb Suchmaschinen aus solchen Foren aussperren.

Wie sperre ich nun Suchmaschinen aus?

Die meisten Suchmaschinen überprüfen in jeder Domain, ob es eine Datei mit Namen "robots.txt" existiert. Wenn wir z.B. alle Suchmaschinen aus dem Verzeichnis "cgi-bin" aussperren wollen, müssen wir eine Textdatei "robots.txt" mit folgendem Inhalt anlegen:

User-agent: *                # directed to all spiders
Disallow: /cgi-bin           # disallow all in cgi-bin
Mehr Informationen hierzu erhält man hier:
http://www.robotstxt.org


home - contact - dev-zone
Copyright © 1998 by Karsten Meier. All Rights reserved.