User-agent: * 
Disallow: /logs 
Visit-time: 0300-0400 #esta opción obligaría a rastrear las paginas solo de 3 am a 4 am Disallow: /tmp/prueba.html