# ==============================================================
# ROBOTS.TXT
# Name: robots.txt
# Erstellungdatum: 07.11.2007
# Modifiziert: 10.12.2008 13:58:17
# Author: sfluri(at)gmail.com
# Version: $3.1.0
# 
# Anfragen fuer Aenderungen
# Request for Updates
# http://www.domain.dd/de/kontakt
# ==============================================================

#
# Collectors & Spambots und alle anderen die wir nicht wollen!
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: EmailCollector
Disallow: /

User-agent: Java
Disallow: /

#
# Bots die den gesamten Inhalt fuer Offlineverwendung kopieren.
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#  

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

User-agent: WebReaper
Disallow: /

#
# Anweisung fuer Google
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: Googlebot
Disallow: /*/__*
Disallow: /*/admin/
Disallow: /*/auth/
Disallow: /*/authent/
Disallow: /*/conf/
Disallow: /*/documentXt/
Disallow: /*/demo/
Disallow: /*/dev/
Disallow: /*/doc/
Disallow: /*/draftwTmp*/
Disallow: /*/format/
Disallow: /*/function/
Disallow: /*/includes/
Disallow: /*/intern/
Disallow: /*/import/
Disallow: /*/list/
Disallow: /*/master/
Disallow: /*/profil/
Disallow: /*/schulung/
Disallow: /*/script/
Disallow: /*/scripts/
Disallow: /*/style/
Disallow: /*/styles/
Disallow: /*/temp/
Disallow: /*/templates/
Disallow: /*/tmp/
Disallow: /*/wConf/
Disallow: /*/wData/
Disallow: /*/wEdit*/
Disallow: /*/wInstaller/
Disallow: /*/wMails/
Disallow: /*/wApplication.xml$
Disallow: /*/wConf.xml$
Disallow: /*/weblication.xml$
Disallow: /*/wImages.xml$
Disallow: /*/wMedia.xml$
Disallow: /*.bak$
Disallow: /*.eml$
Disallow: /*.js$
Disallow: /*.csv$
Disallow: /*.css$
Disallow: /*.tpl$
Disallow: /*.wfb$
Disallow: /*.wLocked$
Allow: /cgi-bin/wContentaccess.cgi?$
Allow: /cgi-bin/wMobileview.cgi?$

#
# Anweisung fuer Microsoft
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#	

User-Agent: msnbot
Disallow: wApplication.xml$
Disallow: wConf.xml$
Disallow: weblication.xml$
Disallow: wImages.xml$
Disallow: wMedia.xml$
Disallow: *.bak$
Disallow: *.eml$
Disallow: *.js$
Disallow: *.css$
Disallow: *.csv$
Disallow: *.tpl$
Disallow: *.wfb$
Disallow: *.wLocked$
Allow: /*?$
Allow: /cgi-bin/wContentaccess.cgi?$
Allow: /cgi-bin/wMobileview.cgi?$

# 
# Inhalte die nicht indiziert werden duerfen
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: *

Disallow: /admin/
Disallow: /administration/
Disallow: /auth/
Disallow: /authent/
Disallow: /cgi-bin/
Disallow: /cgi-php/
Disallow: /demo/
Disallow: /dev/
Disallow: /de/dev/
Disallow: /de/img/
Disallow: /de/admin/
Disallow: /de/drucken/
Disallow: /de/login/
Disallow: /de/password/
Disallow: /de/profil/
Disallow: /de/registrierung/
Disallow: /de/schulung/
Disallow: /de/templates/
Disallow: /de/wInstaller/
Disallow: /de/wLayout/
Disallow: /de/wLayout/format/
Disallow: /de/wPrintpreview/
Disallow: /demo/
Disallow: /dev/
Disallow: /error/
Disallow: /format/
Disallow: /function/
Disallow: /import/
Disallow: /intern/
Disallow: /kunden/
Disallow: /login/
Disallow: /schulung/
Disallow: /shared/
Disallow: /spam/
Disallow: /statistics/
Disallow: /temp/
Disallow: /tmp/
Disallow: /weblication/
Disallow: /wp/

# 
# Fuer Alle die wir hier wollen ;-)
# Bots und Spiders duerfen folgende Inhalte indizieren
# 

Allow: /cgi-bin/wContentaccess.cgi/
Allow: /cgi-bin/wMobileview.cgi/
Allow: /de/
Allow: /de/sitemap/index.php   
Allow: /de/standard.wNavigation.xml
Allow: /de/fastfinder.wNavigation.xml
Allow: /wai/
Allow: /favicon.ico
Allow: /index.php
Allow: /index_right.php
Allow: /info.txt
Allow: /robots.txt 
Allow: /de.fastfinder.php
Allow: /de.fastfinder.php?wai=1
Allow: /de.sitemap.php
Allow: /de.sitemap.php?wai=1
Allow: /de.stichwortverzeichnis.php
Allow: /de.stichwortverzeichnis.php?wai=1

#
# Sitemap-Adressen fuer Suchmaschinen
# 

Sitemap: http://dev4.format-ag.ch/de.sitemap.php
Sitemap: http://dev4.format-ag.ch/de.sitemap.php?wai=1
Sitemap: http.//dev4.format-ag.ch/de.fastinder.php
Sitemap: http://dev4.format-ag.ch/de.fastfinder.php?wai=1
Sitemap: http://dev4.format-ag.ch/de.stichwortverzeichnis.php
Sitemap: http://dev4.format-ag.ch/de.stichwortverzeichnis.php?wai=1