Programação Paralela em Arquiteturas Multi-Core/Aplicações Internet: diferenças entre revisões

Uma outra aplicação interessante do paralelismo na internet é na construção de Web crawlers, também conhecidos como robôs [http://en.wikipedia.org/wiki/Web_crawler robôs]. Um crawler é um programa que coleta e armazena páginas da Internet, sendo muito utilizados em [[http://en.wikipedia.org/wiki/Search_machine máquinas de busca]].

Um crawler geralmente começa a funcionar a partir de um conjunto inicial de URLs [http://en.wikipedia.org/wiki/Uniform_Resource_Locator URL]s, <math>S_{O}</math>, armazenadas numa fila. Partindo do conjunto inicial, o crawler pega alguma URL, em alguma ordem pré-definida, coleta a página, extrai novas URLs encontradas a partir da página coletada, e insere essas novas URLs na fila. O processo se repete até que o crawler decide parar. As páginas coletas podem ser utilizadas para aplicações como em máquinas de busca, em Web [[http://en.wikipedia.org/wiki/Cache cache]]s ou em estudos científicos, por exemplo.

*[[Banda]] de Comunicação: periodicamente os processos precisam se comunicar para prevenir a sobreposição de dados ou melhorar a qualidade da coleta. Entretando, essa comunicação pode crescer bastante à medida em que o número de processos aumentam.

*[[http://en.wikipedia.org/wiki/Scalability Escalabilidade]]: devido ao enorme tamanho da Web, é quase que uma obrigação utilizar crawlers paralelos. Um crawler de um único processo simplesmente pode não atingir a taxa de coleta desejada em certos casos.

*```NETWORK-LOAD DISPERSION```Dispersão: os múltiplos processos de um crawler paralelo podem rodar em lugares geograficamente distantes, cada um coletando dados de locais próximos geograficamente. Por exemplo, um processo no Brasil pode coletar páginas dos países da América do Sul, enquanto um outro processo na Alemanha coleta dados da Europa. Essa dispersão pode ser necessária quando um crawler serial não consegue lidar com uma carga pesada de uma coleta em larga escala.

*```NETWORD-LOAD REDUCTION```Redução: um crawler paralelo pode também reduzir a carga na rede. Por exemplo, assuma que um crawler na América do Norte precise coletar uma página da Europa. Primeiramente, a página deve ir pela rede na Europa, passando pela rede inter-continental Europa-para-América do Norte, e finalmente passa pela rede na América do Norte. Se um processo de um crawler paralelo coleta todas as páginas européias, e outro processo coleta as páginas da América do Norte, então o tráfego total na rede será reduzido.

A figura acima nos mostra a arquitetura geral de um crawler paralelo, que consiste de múltiplos processos, referidos por <math>C-proc</math>. Cada <math>C-proc</math> é responsável por executar uma tarefa básica de um crawler não paralelo. Ele coleta páginas da Web, armazena as páginas localmente, extrai todas as URLs que encontrar e segue os [[link]]s. Dependendo da forma com que as tarefas são divididas entre os <math>C-proc</math>, pode ser necessário a troca de dados entre os processos. A distribuição de tarefas entre os <math>C-proc</math> pode ser feita numa rede local (como uma [[http://en.wikipedia.org/wiki/LAN LAN]]), ou em localizações geograficamente distantes (como uma [[http://en.wikipedia.org/wiki/Wide_area_network WAN]]).