# robots.txt fuer cogbyte.de
# Diese Webcrawler schliesse ich aus
User-agent: Sidewinder
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden
User-agent: *
Disallow: /Cogbyte/content/create_tree/*.php
Disallow: /Hexplorer/
Disallow: /cgi-bin/
Disallow: /imagemagick-4.2.9/
Disallow: /typo3_src-4.0.1/
Disallow: /project/fileadmin/
Disallow: /project/media/
Disallow: /project/t3lib/
Disallow: /project/tslib/
Disallow: /project/typo3/
Disallow: /project/typo3_src/
Disallow: /project/typo3conf/
Disallow: /project/typo3temp/
Disallow: /project/uploads/

#Mit den folgenden Befehlen wird google gesteuert.
User-agent: Googlebot/2.1
Allow: /project/
Allow: /*.html