Bloquear la indexación de archivos PDF
El uso del fichero robots.txt para el control de rastreo e indexación de un sitio web es muy conocido y utilizado para evitar la indexación de páginas o directorios, aunque menos de lo que sería deseable, pero si hay algo a lo que muchos responsables de un sitio web no prestan atención sobre la indexación son los archivos que contienen las páginas bloqueadas desde el robots.txt
Me he encontrado muchos casos en los que me dicen que tienen bloqueado un directorio desde el fichero robots.txt y sin embargo los archivos PDF o las imágenes enlazadas desde ese directorio si que están indexados e incluso con buenas posiciones en búsquedas relevantes.
Google es un devorador de información y si localiza un fichero PDF en tu sitio web por otros medios, como puede ser un enlace desde otro sitio web, lo indexará y mostrará en los resultados de búsqueda.
Como evitar que Google indexe ficheros PDF
Para solucionar este problema podemos hacerlo de 2 maneras:
- Bloqueándolo desde el fichero robots.txt
- Bloqueándolo desde el fichero .htaccess con la etiqueta
X-Robots-Tag
Para evitar la indexación de todos los ficheros PDF de tu sitio web a través del fichero robots.txt bastará con añadir esta instrucción:
Disallow: *.pdf$
Si prefieres hacerlo desde el fichero .htaccess la instrucción a añadir sería esta:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Debes saber que los robots responsables del rastreo de tu sitio web comprobarán antes el fichero robots.txt y sólo si éste autoriza el rastreo se aplicaría la instrucción desde el fichero .htaccess
¿Cómo elimino un PDF de los resultados de Google?
Si el fichero PDF que quieres bloquear ya está indexado por Google debes añadir la instrucción de bloqueo bien a través de robots.txt o de .htaccess y después acceder a tu cuenta de Search Console y solicitar la eliminación de esa URL en el apartado Índice de Google
Te mucho cuidado con el uso de estas instrucciones en el fichero robots.txt o en .htaccess. Una mala implementación puede causar estragos en la indexación de tu sitio web
Si quieres más información sobre este asunto, puedes visitar la documentación de Google a este respecto
Soy Consultor SEO
Puedo ayudar a su proyecto online a conseguir la visibilidad que necesita