Creando tu propio Web Crawler / Web Spider
Ya hemos hablado antes en CyberHades sobre los Web Spiders, ahora os proponemos crear uno propio. Básicamente, un Web Spider es una aplicación que realiza una acción cuando encuentra una página web en concreto (o un link). Por ejemplo puedes crear uno que busque entre todos los links de tus páginas si alguna está caída (error 404), y que luego cree un informe, te envíe un email, etc …