GS-Computerhilfe.de

Nicht alle Seiten des Forums müssen bzw. sollten in den Suchmaschinen auftauchen. Daher gibt es eine Datei mit der man den Suchmaschinen mitteilen kann welche Dateien nicht gespidert werden sollen. Diese Datei nennt sich robots.txt und sollte im Stammverzeichnis der Domain liegen.

Für ein PHPBB-Forum das sich im Unterordner mit Namen forum befindet, sollte die robots.txt wie folgt aussehen:

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/db/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/faq.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/viewonline.php

Damit sollte gegeben sein das nur die wichtigen Dateien mit den Themen und Beiträgen von den Suchmaschinen aufgenommen werden.