Wenn eine robots.txt als Datei im Rootverzeichnis liegt, dann kommt beim Aufruf der Url für diese Datei ein Fehler. Entfernt man diese Datei, dann ist der Fehler weg und es kommt die dynamisch erzeugt robots.txt.
Es macht allerdings Sinn gelegentlich die dynamische durch eine statische Datei zu ersetzen (z.B. bei Shop auf Test-Domain soll alles für Crawler gesperrt sein). Es sollte also bei vorhandener statischer robots.txt diese statt der dynamischen verwendet werden.