Archivo robots.txt

Archivo robots.txt: El archivo robots.txt contiene instrucciones de rastreo dirigidas a robots compatibles con el protocolo. Se publica en la raíz del host y permite indicar qué rutas pueden solicitarse, pero no es una herramienta fiable para ocultar información privada ni para desindexar URLs.

En SEO técnico, entender este concepto ayuda a separar los problemas de acceso, interpretación y visibilidad. Una auditoría útil no se limita a detectar una etiqueta o un código: comprueba qué ocurre realmente con las URLs importantes y qué decisión conviene tomar según el tipo de contenido.

Cómo funciona

Las directivas más conocidas son User-agent, Disallow y Allow. También puede incluir una referencia al sitemap. Su alcance depende del protocolo, host y puerto: el robots.txt de un subdominio no controla automáticamente otro subdominio diferente.

Ejemplo práctico

Una web puede impedir que un robot rastree determinadas rutas de búsqueda interna para reducir URLs de poco valor. Sin embargo, bloquear CSS o JavaScript necesarios para representar una página puede dificultar su interpretación. Cada regla debe revisarse según el funcionamiento real del sitio.

Qué significa para el SEO

La directiva Disallow no garantiza que una URL desaparezca de los resultados. Si recibe enlaces externos, el buscador puede conocer su existencia sin poder leer una meta robots noindex. Para impedir acceso a información sensible se necesitan controles de autenticación y autorización, no un archivo público.

Errores frecuentes

Un error grave es publicar Disallow: / para los robots principales en producción después de migrar desde un entorno de pruebas. También son frecuentes las reglas demasiado amplias, las rutas mal escritas y las expectativas incorrectas sobre el uso de comodines.

Cómo comprobarlo en una auditoría

Consulta el robots.txt real, revisa el código de respuesta y prueba rutas representativas. Contrasta sus reglas con las URLs importantes, el sitemap y las directivas meta robots. Tras un cambio, observa los informes de rastreo y confirma que el buscador puede acceder a los recursos necesarios.

Recomendación editorial

Antes de bloquear parámetros o rutas, identifica si contienen enlaces que el robot necesita seguir para descubrir páginas importantes. En entornos de desarrollo es razonable limitar el acceso, pero al publicar hay que revisar de nuevo las directivas. Los cambios de robots.txt no sustituyen una revisión de seguridad.

Buenas prácticas antes de publicar cambios

Trabaja con una lista de URLs representativas, conserva un registro de los cambios y valida el resultado desde el navegador y con una herramienta que muestre el código HTTP. Comprueba también la versión móvil, las plantillas y los contenidos creados automáticamente, porque un ajuste global puede afectar a cientos de páginas. Prioriza las rutas que generan tráfico, leads o ventas y documenta las excepciones para no repetir errores en futuras actualizaciones.

Cuando el problema afecte a muchas URLs, busca primero la causa común en el tema, los plugins, las reglas del servidor o la configuración SEO. Corregir la plantilla suele ser más fiable que editar manualmente cada entrada. Después, realiza un nuevo rastreo y compara los resultados con el estado inicial. Los informes automáticos sirven como guía, pero la decisión final requiere revisar contexto, intención de búsqueda y experiencia del usuario.