Spider, crawler y robots son las herramientas de indexación de los motores de busqueda, estos programas lo que hacen es analizar cada parte de la web, la clasifican y la almacenan. Para un Seo es de vital importancia conocer cómo funcionan, cómo rastrean, cómo clasifican y cómo indexan. Todo lo que hace un spider es almacenar la información relevante del algoritmo que el motor tiene detrás.
Recolectados los datos, el motor de busqueda creará consultas sobre esa base de datos, cuando introducimos una busqueda en el navegador, lo que realmente esta ocurriendo es que le planteamos un problema al motor de busqueda, este, consulta en su base de datos las palabras clave que hemos introducido, busca que páginas y que url contienen esas palabras clave y nos devuelve la solución, los resultados de la busqueda.
A primera vista, el mecanismo es sencillo, pero los algoritmos de busqueda de los motores no son tan sencillos, no sólo se basa en las palabras, toma en cuenta, hasta doscientos parametros (en el caso de google) de clasificación, antes de devolvernos la búsqueda.
Los motores de busqueda siguen distintos algoritmos de planificación para cada query o consulta, dependerán de la planificación de esos datos, busqueda en lista, busqueda en árbol, busqueda sql y busqueda de satisfación de restriciones son algunas de los algoritmos que puede estar usando un buscador.
Para un Seo, saber qué es y cómo actua una spider y como resuelve las consulta un motor de búsqueda serán los primeros pasos, para emprezar a trabajar en el posicionamiento.
Algunas de las spider y sus registros al pasar por la web:
-
Google
- Buscador de Google:
Googlebot/2.1 (http://www.google.com/bot.html) - Buscador de Google:
Googlebot/2.1 (http://www.googlebot.com/bot.html) - Buscador de imágenes de Google:
Googlebot-Image/1.0 - Buscador de imágenes de Google:
Googlebot-Image/1.0 (http://www.googlebot.com/bot.html)
- Buscador de Google:
-
Yahoo
- Buscador multimedia de Yahoo:
Yahoo-MMAudVid/1.0 (mms dash mmaudvidcrawler dash support at yahoo dash inc dot com) - Buscador de Blogs Yahoo:
Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5;http://help.yahoo.com/help/us/ysearch/crawling/crawling-02.html - Buscador de productos de Yahoo:
YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5;http://help.yahoo.com/help/us/shop/merchant/)
- Buscador multimedia de Yahoo:
-
Bing
msnbot/1.0 (+http://search.msn.com/msnbot.htm)msnbot/1.1 (+http://search.msn.com/msnbot.htm)msnbot/2.0bmsnbot-media/1.0 (+http://search.msn.com/msnbot.htm)msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)MSNBOT_Mobile MSMOBOT Mozilla/2.0 (compatible; MSIE 4.02; Windows CE; default)msnbot-Products Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; livebot-searchsense/0.1; +http://search.msn.com/msnbot.htm)
-
Alexa
ia_archiveria_archiver-web.archive.orgia_archiver/1.6
Disponemos de varias herramientas para ver una página cómo la vería un robot, lo podemos hacer de forma visual, sin ver el código fuente, con la herramienta web developer de firefox, desactivando los estilos, veremos qué elementos estan en primer lugar de lectura para la spider, con el navegador de texto lynx, tenemos un complemento lynx para firefox podríamos ver también cómo se verá o con herramientas específicas para ver cómo ven nuestro sitios las arañas.
Para acabar un video de Matt Cutts explicando brevemente cómo trabaja google
[...] buscadores (motores de búsqueda) utilizan unas aplicaciones llamadas spiders, crawlers o robots (arañas, rastreadores o robots) para analizar nuestra web. El funcionamiento de estas aplicaciones [...]