Nicht alle Seiten des Forums müssen bzw. sollten in den Suchmaschinen auftauchen. Daher gibt es eine Datei mit der man den Suchmaschinen mitteilen kann welche Dateien nicht gespidert werden sollen. Diese Datei nennt sich robots.txt und sollte im Stammverzeichnis der Domain liegen.
Für ein PHPBB-Forum das sich im Unterordner mit Namen forum befindet, sollte die robots.txt [...]