Respuestas
Con el objeto de localizar, es decir, ordenar y clasificar los temas que nos interesan, dentro de esa gigantesca maraña de información, se han desarrollado ciertos mecanismos automatizados de búsqueda (o "buscadores de información") que en cuestión de segundos encuentran y presentan al usuario la información solicitada.
Para realizar tan compleja tarea, imposible para cualquier ser humano, los buscadores utilizan un tipo de software denominado "spiders" (arañas). Éstas se deslizan a través de toda la Web (recordemos que su traducción es, justamente, ("telaraña") visitando millones de páginas y registrando sus direcciones en grandes bases de datos. A partir de allí, algunos buscadores envían "robots" a cada una de estas direcciones, los cuales se encargan de almacenar el texto de dichas páginas.
En rigor, tanto spiders (arañas), robots, y wanderers (viajeros, vagabundos) son palabras que se usan indistintamente, y sirven para calificar a la clase de programas que recorren la Web recolectando algún tipo de información sobre cada lugar visitado (por ej. título, texto, imágenes, etc.). El "viaje" del robot continúa con la visita a las páginas que han sido referenciadas por ésta, y así sucesivamente.