En ocasiones nos interesa conocer como está siendo indexado nuestro sitio web por los buscadores. En este artículo os mostramos un método sencillo para detectar el crawler de Google, el cuál se encarga de recorrer las páginas web de Internet. Además de las páginas también recoge la información de ficheros DOC, PDF, XLS y algunos otros más. La frecuencia de visitas del crawler va en un función del pagerank, aquellas páginas con pagerank más elevado son visitadas más veces.
Para saber si Googlebot ha accedido a nuestro sitio web se deben revisar los logs del servidor. En el log del servidor hay que buscar si existen referencias a Googlebot. Normalmente no se suele tener acceso a los logs del servidor, pero existe un método sencillo para saber que páginas han sido visitadas por Googlebot, tan solo teneis que incluir el siguiente código fuente en el index.php de vuestra plantilla.
El funcionamiento de este programa php es muy sencillo, consiste en enviar un email con la url de la página visitada cuando se detecte la visita del bot de Google. Normalmente la utilidad de este código esta limitada a los primeros días de una web, en los que se suele estar muy pendiente de la correcta indexación de la web.
if ( strpos( $_SERVER['HTTP_USER_AGENT'], 'Googlebot' ) !== false ) visitado tu pagina: '.$_SERVER['REQUEST_URI']); |
Si tienes una web nueva y deseas que Google indexe la página solamente tienes que colocar un enlace hacia tu página en otra página web (por ejemplo foros, blogs, perfiles de usuario, redes sociales, …) o dar de alta la url en google
