Programação Paralela em Arquiteturas Multi-Core/Aplicações Internet: diferenças entre revisões

==== Arquitetura de um crawler paralelo ====

 

 

A figura acima nos mostra a arquitetura geral de um crawler paralelo, que consiste de múltiplos processos, referidos por <math>C-proc</math>. Cada <math>C-proc</math> é responsável por executar uma tarefa básica de um crawler não paralelo. Ele coleta páginas da Web, armazena as páginas localmente, extrai todas as URLs que encontrar e segue os [http://en.wikipedia.org/wiki/Hyperlink link]s. Dependendo da forma com que as tarefas são divididas entre os <math>C-proc</math>, pode ser necessário a troca de dados entre os processos. A distribuição de tarefas entre os <math>C-proc</math> pode ser feita numa rede local (como uma [http://en.wikipedia.org/wiki/LAN LAN]), ou em localizações geograficamente distantes (como uma [http://en.wikipedia.org/wiki/Wide_area_network WAN]).