¿Qué es el crawling de una web en SEO?
El crawling o rastreo de sitios web es el recorrido que hace un bot de software (un crawler) para leer y analizar el código y contenido de una web, saltando de página en página a través de los enlaces que va encontrando. En el caso del GoogleBot (el crawler de Google), este se encarga de rastrear y examinar nuestras webs, para posteriormente incorporarlas a su índice.
¿Te ha ocurrido que al crawlear una web, la herramienta de la rana verde te deja con las ganas?
Recibir un error 5xx puede ser habitual hoy día, muchos webmaster, celosos de sus secretos, prefieren evitar que los motores/arañas, más comunes en herramientas SEO se paseen a sus anchas por el Site.
Generalmente, es la misma empresa de hosting, la que añade reglas para evitar scrapeos «no deseados». Web Scraping del inglés, su significado vendría a ser algo así como “escarbar una web”.
Por fortuna, si tu intención es mejorar el SEO de cualquier página web, y no te lo ponen fácil, a la hora de usar Screaming Frog, la solución es tan fácil, como seleccionar la Araña de Google, ya que, obviamente, a nadie le interesa frenar el avance de éste bot.
Ve al menú Configuración y en User-Agent, selecciona Google (en cualquiera de sus variantes)..
Listo, ya puede proceder con el crawleo de la web objetivo. ¡Espero que te hayamos servido de ayuda!