2 Antworten zu diesem Thema

[Networker-Office]

Wenn eine robots.txt als Datei im Rootverzeichnis liegt, dann kommt beim Aufruf der Url für diese Datei ein Fehler. Entfernt man diese Datei, dann ist der Fehler weg und es kommt die dynamisch erzeugt robots.txt. 

Es macht allerdings Sinn gelegentlich die dynamische durch eine statische Datei zu ersetzen (z.B. bei Shop auf Test-Domain soll alles für Crawler gesperrt sein). Es sollte also bei vorhandener statischer robots.txt diese statt der dynamischen verwendet werden.

[Murat Cakir]

Der einzige Weg, dieses im Moment zu ermöglichen, ist eine kleine Anpassung in der Datei web.config:

<add name="robots" path="robots.txt" verb="*" type="System.Web.Routing.UrlRoutingModule" resourceType="Unspecified" preCondition="integratedMode" />

Diese Zeile (147) muss gelöscht bzw. auskommentiert werden. Das selbe gilt im Übrigen für die sitemap.xml (Zeile 145)

[Networker-Office]

Prima, funktioniert.

Danke für die schnelle Lösung.