Volver al Indice – Estrategia SEO y Posicionamiento en Buscadores
Por Alejandro Franco – contáctenos
¿Qué son los robots y spiders de internet? Los robots son programas automatizados, y las arañas (spiders ) son un tipo de robots que se desplazan continuamente por la red, saltando de un lugar a otro con el fin de compilar estadísticas sobre el Web o crear bases de datos con el contenido del mismo (Altavista, Lycos, WebCrawler los utilizan).
Las arañas hacen un valioso trabajo para todos; sin ellas sería imposible crear índices actualizados de la red. Pero también tiene sus desventajas: aumentan el tráfico en la red, además de que una araña mal diseñada puede visitar tantas veces a un sitio que impide el acceso a los usuarios. Tampoco pueden discernir sobre páginas permanentes y temporales, a menos que los sitios que visiten sean concientes de los robots.
¿Cómo funcionan?
Básicamente, un visualizador es un programa que responde a información introducida por el usuario, enviando comandos HTTP (HyperText Transport Protocol – Protocolo de transporte de hipertexto) a través de internet. Las páginas Web son archivos de HTML que contienen texto, códigos de formato y otros datos que definen su contenido.
Hacer clic en un vínculo ejecuta una serie de acciones:
El visualizador recupera la URL (Uniform Resource Locator – Localizador de recursos uniformes) del destino a la página actual.
Establece una conexión con el servidor remoto, transmite un código Get http para recuperar el archivo HTML y presenta el documento en la pantalla.
Pues bien, un robot Web es un visualizador con piloto automático. En vez del usuario haciendo clics, el robot baja una página del Web y busca vínculos hacia otros sitios, selecciona una URL y salta hacia ella; desde allí, salta a otro sitio Web y comienza todo de nuevo. Cuando llega a páginas sin vínculos, regresa uno o dos niveles, y salta hacia uno de los que omitió la vez anterior.
¿Qué hacen?
¿Qué hace un robot con las páginas que visita?. Bueno, depende de la razón para lo cual fue creado. Los robots que hacen índices del Web, utilizan algoritmos para generar resúmenes de documentos que se almacenan en inmensas bases de datos.
Otros robots sirven para identificar los vínculos hacia páginas que ya no existen; otros para llevar estadísticas relacionadas con su uso (sitios más populares, por ejemplo), etc.
¿Cómo controlar su comportamiento?
Gracias al SRE (Standard for Robot Exclusion – Estándar para la exclusión de robots), protocolo que permitirá a administradores de sitios indicar instrucciones hacia los distintos robots.
Por ejemplo, se puede indicar que no revisen el contenido completo de un sitio, que no trabajen en las páginas en construcción o no ingrese a directorios que no poseen páginas HTML, haciendo además más eficiente y rápido su trabajo.
Para traspasar las instrucciones deseadas a una araña, sólo debe crearse un archivo de texto denominado “robots.txt”.
Este archivo de texto contendrá comandos de un sencillo lenguaje indicando las políticas de acceso de un sitio a estos extraños seres del cyberespacio.
¿Cómo es un archivo robots.txt?
Por ejemplo, a continuación se muestra un archivo sencillo que solicita al robot que se aleje de /dibujos/imagenes y de sus subdirectorios.
# Ejemplo archivo robots.txt
User-agent:*
Disallow: /dibujos/imagenes
La primera línea corresponde a un comentario (#).
La segunda línea indica a que robot se le hace la solicitud; en este caso, la orden es para todos (*).
La tercera línea muestra a que ruta se le quita el acceso, conjuntamente con los directorios que le siguen en orden jerárquico.
Si se desea indicar una orden específica para un robot:
# Ejemplo archivo robots.txt
User-agent:*
Disallow: /dibujos/imagenes
Disallow: /en_construccion
User-agent:Scooter
Disallow:
En el ejemplo, el robot Scooter tiene acceso ilimitado dentro del sitio, pero prohibe a otros a ingresar a las rutas especificadas. [Scooter es el robot de AltaVista].
Si desea prohibir el acceso de cualquier robot a su sitio:
# Ejemplo archivo robots.txt
User-agent: *
Disallow: /