Programação Paralela em Arquiteturas Multi-Core/Aplicações Internet: diferenças entre revisões

Um crawler geralmente começa a funcionar a partir de um conjunto inicial de URLs [[Wikipediahttp:|URL]//en.wikipedia.org/wiki/Uniform_Resource_Locator]s, <math>S_{O}</math>, armazenadas numa fila. Partindo do conjunto inicial, o crawler pega alguma URL, em alguma ordem pré-definida, coleta a página, extrai novas URLs encontradas a partir da página coletada, e insere essas novas URLs na fila. O processo se repete até que o crawler decide parar. As páginas coletas podem ser utilizadas para aplicações como em máquinas de busca, em web [[Wikipedia:|cache]] ou em estudos científicos, por exemplo.