Los motores de búsqueda visitan las páginas Web y realizan la indexación. La manera en que se efectúa dicha indexación es propia de cada motor. Uno de los elementos claves de un motor de búsqueda es el crawler (araña) que se
ocupa de recuperar páginas web, generalmente se lo describe como un softbot (robot de software) usado por los motores de búsqueda automatizados que crean índices de URLs, palabras claves, textos, etc.