Las criaturas que tejen la Word Wide Web (crawlers)
Spiders es lo mismo, pero suena mejor ;)
Worms Igual que los robots pero se pueden autoreplicar (o reproducirse).
Web crawlers Robot específico para analizar páginas Web
WebAnts Robots que interactúan entre ellos para diversas funciones en Internet
Googlebot/2.1 Es el "crawler" que utiliza el buscador Google para indexar sus páginas Web.
Googlebot-Image/1.0 Este bot es nuevo y lo usan exclusivamente para indexar imágenes.Mediapartners-Google/2.1 Sirve de soporte para actualizar los anuncios del AddSense de Google.
Googlebot/Test De este creo que no se sabe nada, su función es aún indeterminada. Comentan que analizan JavaScripts.
Origen de estos posts: http://googlemania.ojobuscador.com/useragent.php
Página principal de GoogleBots: http://www.google.com/support/webmasters/bin/topic.py?topic=8843
En este enlace puedes encontrar un FAQ completo sobre este tema (es muy interesante): http://www.robotstxt.org/faq.html
Y en este curioso enlace puedes ver una página Web tal y como la vería un bot: http://www.smart-it-consulting.com/internet/google/googlebot-spoofer/index.htm
Este tema es muy complejo y además es fundamental si tienes una página Web y quieres posicionarla mejor en los buscadores.
Todos estos programas están creando la “Gaia” digital ;) un organismo “vivo” en contínua evolución …
Buscar
Entradas Recientes
- Posts
- Reemplazando la bateria del AirTag
- OpenExpo Europe décima edición, 18 de mayo: El Epicentro de la Innovación y la Transformación Digital
- Docker Init
- Kubernetes para profesionales
- Agenda: OpenExpo Europe 2022 llega el 30 de junio en formato presencial
- Libro 'Manual de la Resilencia', de Alejandro Corletti, toda una referencia para la gestión de la seguridad en nuestros sistemas
- Mujeres hackers en ElevenPaths Radio
- Creando certificados X.509 caducados
- Generador de imágenes Docker para infosec