| Los robots son programas
automatizados, y las arañas (spiders ) son un tipo de robots
que se desplazan continuamente por la red, saltando de un lugar
a otro con el fin de compilar estadísticas sobre el Web o
crear bases de datos con el contenido del mismo (Altavista, Lycos,
WebCrawler los utilizan).
Las arañas hacen un valioso trabajo
para todos; sin ellas sería imposible crear índices
actualizados de la red. Pero también tiene sus desventajas:
aumentan el tráfico en la red, además de que una araña
mal diseñada puede visitar tantas veces a un sitio que impide
el acceso a los usuarios. Tampoco pueden discernir sobre páginas
permanentes y temporales, a menos que los sitios que visiten sean
concientes de los robots.
¿ Cómo funcionan ?
Básicamente, un visualizador es un
programa que responde a información introducida por el usuario,
enviando comandos HTTP (HyperText Transport Protocol - Protocolo
de transporte de hipertexto) a través de internet. Las páginas
Web son archivos de HTML que contienen texto, códigos de
formato y otros datos que definen su contenido.
Hacer clic en un vínculo ejecuta una
serie de acciones:
El visualizador recupera la URL (Uniform
Resource Locator - Localizador de recursos uniformes) del destino
a la página actual.
Establece una conexión con el servidor remoto, transmite
un código Get http para recuperar el archivo HTML y presenta
el documento en la pantalla.
Pues bien, un robot Web es un visualizador con piloto automático.
En vez del usuario haciendo clics, el robot baja una página
del Web y busca vínculos hacia otros sitios, selecciona una
URL y salta hacia ella; desde allí, salta a otro sitio Web
y comienza todo de nuevo. Cuando llega a páginas sin vínculos,
regresa uno o dos niveles, y salta hacia uno de los que omitió
la vez anterior.
¿ Qué hacen ?
¿Qué hace un robot con las
páginas que visita?. Bueno, depende de la razón para
lo cual fue creado. Los robots que hacen índices del Web,
utilizan algoritmos para generar resúmenes de documentos
que se almacenan en inmensas bases de datos.
Otros robots sirven para identificar los
vínculos hacia páginas que ya no existen; otros para
llevar estadísticas relacionadas con su uso (sitios más
populares, por ejemplo), etc.
¿ Cómo controlar su comportamiento?
Gracias al SRE (Standard for Robot Exclusion
- Estándar para la exclusión de robots), protocolo
que permitirá a administradores de sitios indicar instrucciones
hacia los distintos robots.
Por ejemplo, se puede indicar que no revisen
el contenido completo de un sitio, que no trabajen en las páginas
en construcción o no ingrese a directorios que no poseen
páginas HTML, haciendo además más eficiente
y rápido su trabajo.
Para traspasar las instrucciones deseadas
a una araña, sólo debe crearse un archivo de texto
denominado "robots.txt".
Este archivo de texto contendrá comandos
de un sencillo lenguaje indicando las políticas de acceso
de un sitio a estos extraños seres del cyberespacio.
¿ Cómo es un archivo robots.txt?
Por ejemplo, a continuación se muestra
un archivo sencillo que solicita al robot que se aleje de /dibujos/imagenes
y de sus subdirectorios.
# Ejemplo archivo robots.txt
User-agent:*
Disallow: /dibujos/imagenes
La primera línea corresponde a un comentario (#).
La segunda línea indica a que robot
se le hace la solicitud; en este caso, la orden es para todos (*).
La tercera línea muestra a que ruta
se le quita el acceso, conjuntamente con los directorios que le
siguen en orden jerárquico.
Si se desea indicar una orden específica
para un robot:
# Ejemplo archivo robots.txt
User-agent:*
Disallow: /dibujos/imagenes
Disallow: /en_construccion
User-agent:Scooter
Disallow:
En el ejemplo, el robot Scooter tiene acceso
ilimitado dentro del sitio, pero prohibe a otros a ingresar a las
rutas especificadas. [Scooter es el robot de AltaVista].
Si desea prohibir el acceso de cualquier
robot a su sitio:
# Ejemplo archivo robots.txt
User-agent: *
Disallow: / |
