Programação Paralela em Arquiteturas Multi-Core/Aplicações Internet: diferenças entre revisões

A Internet é um conglomerado de redes em escala mundial de milhões de computadores interligados pelo [http[w://pt.wikipedia.org/wiki/Protocolo_de_InternetProtocolo de Internet|Protocolo de Internet]] que permite o acesso a informações e todo tipo de transferência de dados. A Internet é a principal das novas tecnologias de informação e comunicação (NTICs). Ao contrário do que normalmente se pensa, Internet não é sinónimo de World Wide Web. Esta é parte daquela, sendo a [http[w://pt.wikipedia.org/wiki/World_Wide_WebWorld Wide Web|World Wide Web]], que utiliza hipermídia na formação básica, um dos muitos serviços oferecidos na Internet. De acordo com dados de março de 2007, a Internet é usada por 16,9% da população mundial[http://www.internetworldstats.com/stats.htm].

Sistemas de banco de dados altamente paralelos estão começando a substituir os tradicionais [http[w://pt.wikipedia.org/wiki/Mainframe |mainframes]] para maiores bancos de dados e tarefas de transações.

A partir da hegemonia do [http[w://pt.wikipedia.org/wiki/Modelo_relacionalModelo relacional|modelo de dados relacional]], sistemas de [http[w://pt.wikipedia.org/wiki/Banco_de_dados_relacionalBanco de dados relacional|banco de dados relacionais]] começaram a aparecer no mercado. As consultas relacionais são idealmente convertidas para execução em paralelo, pois elas consistem em operações uniformes aplicadas a conjuntos de dados uniformes. Cada operação produz uma nova relação, então as operações podem ser decompostas em fluxos de dados altamente paralelos.

Ao utilizamos a saída de um operador na entrada de outro, os dois operadores podem trabalhar em série, o que gera um [http[w://pt.wikipedia.org/wiki/Pipeline |pipeline]] paralelo. Podemos também particionar os dados de entrada entre vários [http[w://pt.wikipedia.org/wiki/Processador |processadores]] e [http[w://pt.wikipedia.org/wiki/Mem%C3%B3ria_%28computador%29Memória (computador)|memórias]], pois uma operação pode, com grande freqüência, ser dividida em várias operações independentes, cada um trabalhando em uma parte dos dados. Esta divisão de dados e execução gera um paralelismo particionado.

Esta técnica requer uma comunicação entre os sistemas de bancos de dados paralelos, seja através de mensagens, seja através de recursos compartilhados ou de outros métodos possíveis. Esses métodos se baseiam na [http[w://pt.wikipedia.org/wiki/Arquitetura_de_softwareArquitetura de software|arquitetura]] do sistema de banco de dados.

Apesar do grande número de arquiteturas de sistemas de banco de dados paralelos e [http[w://pt.wikipedia.org/wiki/Computa%C3%A7%C3%A3o_distribu%C3%ADdaComputação distribuída|distribuídos]], há um consenso quanto ao uso da arquitetura sem compartilhamento. Nesses sistemas, as tuplasduplas de cada relação no banco de dados são particionadas dentre as unidades de disco que estão ligadas diretamente a cada processador. Isso permite que vários processadores possam buscar em grandes relações paralelamente sem precisar de dispositivos de [http[w://pt.wikipedia.org/wiki/E/s |E/S]] sofisticados.

Os otimizadores de consultas a banco de dados não consideram todos as possíveis formas de otimização em uma consulta relacional devido a sua [http[w://pt.wikipedia.org/wiki/Complexidade_%28inform%C3%A1tica%29Complexidade (informática)|complexidade]] e, apesar dos modelos de custos para consultas relacionais executadas em um único processador serem bem conhecidos, eles ainda dependem de [http[w://pt.wikipedia.org/wiki/Estimador |estimativas]] de custo, que no melhor caso, adivinham.

[http[w://pt.wikipedia.org/wiki/Algoritmos |Algoritmos]] paralelos para cada operação e organização das [http[w://pt.wikipedia.org/wiki/%C3%81rvore_%28estrutura_de_dados%29Árvore (estrutura de dados)|árvores]] de consultas podem ser usados para aumentar significativamente o número de otimizações possíveis encontradas a cada consulta, aumentando consideravelmente a velocidade das consultas.

O aumento da demanda por conteúdo [http[w://pt.wikipedia.org/wiki/Multimidia |multimídia]], atualizações dentre outros, tornaram os servidores distribuídos cada vez mais utilizados para suprir esta demanda, sem o congestionamento na transmissão e falha do servidor por falha em um ponto único, que são problemas comuns de servidores centralizados. Além disso, servidores centralizados só podem responder a um número limitado de clientes, devido ao limite de conexões.

Servidores distribuídos permitiram que recursos sejam disponibilizados em pontos de grande demanda, aliviando o problema de congestionamento em servidores centralizados. Apesar disso, as [http[w://pt.wikipedia.org/wiki/Taxa_de_transfer%C3%AAnciaTaxa de transferência|taxas de transferências]] continuam as mesmas dos servidores centralizados, pois apenas um nó no sistema distribuído realiza a transferência. Paralelismo pode melhorar a transmissão.

O objetivo dos protocolos paralelos é provê suporte a transferências de [http[w://pt.wikipedia.org/wiki/Arquivo_de_computadorArquivo de computador|arquivos]] paralelas em servidores distribuídos.

Além disso, existem dois problemas básicos ao utilizar [http[w://pt.wikipedia.org/wiki/Download "|''download"'']] distribuído: [http[w://pt.wikipedia.org/wiki/Balanceamento_de_cargaBalanceamento de carga|balanceamento de carga]] dinâmico e transparência ao usuário.

Enquanto o “download”''download'' está ocorrendo, a carga dos servidores deve ser checada para garantir que a carga continue baixa, senão o desempenho é reduzido. Quando um servidor ultrapassa sua capacidade, replicas são migradas para outros servidores até o servidor carregado atingaatinja o nível adequado de carga. Se a demanda for muito alta, uma replica é criada ao invés de migrada e é destruída se a demanda for baixa.

Balanceamento dinâmico de carga é essencial para manter transmissões efetivas de arquivos. Apesar de manter a demanda no máximo parecer lógico, as vezes, isto atrapalha a transmissão. Focar somente na demanda gera outros problemas na rede como congestionamento, o que degenera o propositopropósito dos sistemas distribuídos.

A transparência ao usuário, permite sistemas de software mudem sem alterar os sistemas ao redor, usando [http[w://pt.wikipedia.org/wiki/Interface_%28programa%C3%A7%C3%A3o%29Interface (programação)|interfaces]]. A transparência é obtida ao construir uma interface para o sistema e depois construir os sistemas ao redor baseados na interface. Ao realizar isto, o sistema atrás da interface pode ser mudado sem afetar os sistemas em volta.

A computação em grade (do Inglês ''[http[w://en.wikipedia.org/wiki/Grid_computing:Grid computing|grid computing]]'') é um modelo computacional capaz de alcançar uma alta taxa de processamento dividindo as tarefas entre diversas máquinas, podendo ser em rede local ou rede de longa distância, que formam uma [http[w://en.wikipedia.org/wiki/Virtual_machine:Virtual machine |máquina virtual]]. Esses processos serão executados no momento em que as máquinas não estão sendo utilizadas pelo usuário, evitando assim o desperdício de processamento da máquina utilizada. A metáfora adotada na computação em grade é a da rede eletricaelétrica (''grid'', em Inglêsinglês). Isto é, o poder computacional deveria estar disponível na Internet da mesma forma que energia elétrica está disponível na tomada: sob demanda e de maneira transparente.

O surgimento das ''Grids'' Computacionais nasceu da comunidade de Processamento de Alto Desempenho (PAD). O conceito foi apresentado pelos pesquisadores Ian Foster e Carl Kesselman, sendo composto por uma infra-estrutura de hardware e software que permite-nos acesso a grandes capacidades computacionais geograficamente distribuídas, de forma confiável, consistente, econômica e persistente. Na verdade o conceito é antigo, mas com uma nova dinâmica, em que se pode utilizar a capacidade de computação (ex. Storage/CPU) sem ter que se preocupar de onde vem, como é mantida, fazendo uma metáfora às redes elétricas.

Grids são construídos como um grupamento de serviços básicos independentes. Um aspecto essencial dos serviços de Grid é que esses estão disponíveis uniformemente através dos ambientes distribuídos na Grid. Os serviços são agrupados em um sistema integrado, também chamado de ''middleware''. Exemplos de ferramentas atuais de Grid incluem Globus, Legion, OpenGrid, AppLeS.

O Grid permite também o uso de técnicas de programação paralela por passagem de mensagens. O ambiente MPI (“Message"Message Passing Interface”Interface") está disponível no Grid através da versão MPICH-G2 (versão portátil do MPI para o Globus). O padrão MPI define uma biblioteca de rotinas que implementam uma comunicação ponto a ponto, em que a operação “send”"send" é usada para iniciar uma transferência de dados entre dois programas concorrentes e a operação “receive”"receive" é usada para obter dados do sistema no espaço de memória da aplicação; existem ainda operações coletivas envolvendo múltiplos processos. Mas que devido a alta latência provocada na comunicação entre processos, as aplicações devem ser construídas com uma granularidade bem projetada de tal forma que se comuniquem o mínimo possível. Então, as aplicações mais adequadas ao Grid são as que possuem tarefas independentes (bag of tasks), pois as tarefas não dependem da execução de outras e podem ser executadas em qualquer ordem.

A Internet surgiu no início da década de 70 com o objetivo de interligar diferentes ambientes computacionais e geograficamente dispersos. Os ''web sites'' desenvolvidos pela indústria sempre foram interoperáveis em relação usuário-''site'', por meio de aplicações criadas neste contexto, em que o usuário dispõe de um menu de serviços fechados. O que ocorre em um ambiente de ''Grid'' é o inverso, onde o usuário tem de submeter suas aplicações para serem resolvidas dentro do ambiente por ele montado.

Um ambiente de ''cluster'' constitui em um sistema formado por hardware e software conectados em um local apenas, servindo a usuários que estão trabalho somente em um projeto, usado exclusivamente para resolver os problemas computacionais de uma determinada organização. Por outro lado, um ''Grid'' presta serviços de uma forma geograficamente distribuída. Em um ''cluster'', os recursos são gerenciados por uma entidade central, e os computadores agem como se fosse um único dispositivo. Nas configurações em ''Grid'', cada “organização"organização virtual”virtual" faz o gerenciamento de seus recursos não tendo a visão de uma imagem única do sistema. Ou seja, o usuário tem consciência dos diversos serviços disponíveis e que deverá requisitá-los para sua utilização. Portanto, os ''Grids'' são mais heterogêneos, complexos e distribuídos.

Um ''Grid'' possui muitos benefícios, entre os quais podemos citar:

*Organizações podem agregar recursos - a computação em ''Grid'' permite que as organizações possam agregar recursos com toda a infraestrutura dos ITs, não importando localização global. Isso elimina situações onde um ''site'' esteja sendo executado com sua capacidade máxima, enquanto outros tenham ciclos disponíveis.

*Aproveitamento de recursos ociosos – pode-se aproveitar os ciclos de processamento ''idle'' disponíveis dos PCs ''desktops'' que se encontram em várias localidades pelo planeta. Por exemplo, os computadores que se encontram tipicamente ociosos durante a noite de uma empresa em TókioTóquio pode ser utilizado durante o dia para operações na América do Sul.

O ''Grid Computing'' é um desafio bem maior do que formas mais simples de computação paralela e distribuída. Hoje, a maioria dos projetos de ''Grid'' permanecem localizados nos centros de supercomputação e laboratórios universitários. Os centros de pesquisa são ligados a conexões em rede cerca de 20 vezes mais rápidas do que as conexões de banda largas normais, são equipadas com sistemas de armazenamento capazes de lidar com vastos arquivos de dados e com computadores de alta performance. O ''Grid Computing'' é um conceito sobre o qual existe ainda uma grande expectativa e que poderá evoluir em diferentes direções, mas que é já hoje entendido como a próxima geração da ''Web'' para a comunidade científica.

Os nós da rede Peer-to-Peer podem diferir em termos de configuração local, capacidade de processamento, capacidade de armazenamento, largura de banda, entre outras características particulares. O primeiro uso da expressão Peer-to-Peer foi em 1984, com o desenvolvimento do projeto Advanced Peer-to-Peer Networking Architecture na [http[w://en.wikipedia.org/wiki/:IBM |IBM]].

O termo é também utilizado em diferentes tecnologias que adotam o modelo conceitual ponto-a-ponto, tais como o protocolo [http[w://en.wikipedia.org/wiki/:NNTP |NNTP]] (para Usenet News), [http[w://en.wikipedia.org/wiki/:SMTP |SMTP]] (para envio de ''e-mails'') e sistemas de trocas de mensagens instantâneas ([http[w://en.wikipedia.org/wiki/:MSN |MSN]], [http[w://en.wikipedia.org/wiki/:ICQ |ICQ]], [http[w://en.wikipedia.org/wiki/:Gtalk |GTalk]]).

Na Internet, Peer-to-Peer é um tipo de rede transiente que permite a um grupo de computadores usuários com um mesmo programa conectarem e terem acesso direto a arquivos no disco rígido um dos outros. Esses programas de compartilhamento de arquivos, como por exemplo o [http[w://en.wikipedia.org/wiki/:Napster Napster]], [http[w://en.wikipedia.org/wiki/:Emule |eMule]] e [http[w://en.wikipedia.org/wiki/:Kazaa |Kazaa]], entre outros, forma responsáveis por popularizar o termo P2P.

Há também outros tipos de recursos podem ser compartilhandoscompartilhados em redes Peer-to-Peer, tal como capacidade de processamento de máquinas, espaço de armazenamento de arquivos, serviços de software (analogamente aos [http[w://en.wikipedia.org/wiki/Web_services:Web services|Web Services]]), entre outros.

==== Arquitetura e Classificaçãoclassificação ====

* [http[w://en.wikipedia.org/wiki/Streaming_media:Streaming media|Streaming de midia]], como áudio e videovídeo

As aplicações Peer-to-Peer puras são raras. Em geral é utilizada uma arquitetura híbrida, utilizando alguns elementos centralizadores na execução de algumas tarefas cujo desempenho é crítico. As questões de desempenho são o que induzem a uma centralização parcial das atividades em ``''peers``'' de maior capacidade.

Uma outra aplicação interessante do paralelismo na internet é na construção de ''Web crawlers'', também conhecidos como [http[w://en.wikipedia.org/wiki/Web_crawler:Web crawler|robôs]]. Um ''crawler'' é um programa que coleta e armazena páginas da Internet, sendo muito utilizados em [http[w://en.wikipedia.org/wiki/Search_machine:Search machine|máquinas de busca]].

Um ''crawler'' geralmente começa a funcionar a partir de um conjunto inicial de [http[w://en.wikipedia.org/wiki/Uniform_Resource_Locator:Uniform URLResource Locator|URLs]]s, <math>S_{O}</math>, armazenadas numa fila. Partindo do conjunto inicial, o crawler pega alguma URL, em alguma ordem pré-definida, coleta a página, extrai novas URLs encontradas a partir da página coletada, e insere essas novas URLs na fila. O processo se repete até que o crawler decide parar. As páginas coletas podem ser utilizadas para aplicações como em máquinas de busca, em Web [http[w://en.wikipedia.org/wiki/:Cache cache|caches]]s ou em estudos científicos, por exemplo.

*Banda de Comunicação: periodicamente os processos precisam se comunicar para prevenir a sobreposição de dados ou melhorar a qualidade da coleta. EntretandoEntretanto, essa comunicação pode crescer bastante à medida em que o número de processos aumentam.

*[http[w://en.wikipedia.org/wiki/:Scalability |Escalabilidade]]: devido ao enorme tamanho da Web, é quase que uma obrigação utilizar crawlers paralelos. Um crawler de um único processo simplesmente pode não atingir a taxa de coleta desejada em certos casos.

Note que as páginas coletadas devem ser transferidas para uma central de comando, a fim de se construir um indiceíndice geral. Essa transferência de dados pode ser bastante reduzida usando algum dos seguintes métodos:

*Sumarização: em muitos casos é necessário apenas um indiceíndice central, e não as páginas originais. Nesses casos, apenas as informações relevantes precisam ser enviadas ao centro de comando.

A figura acima nos mostra a arquitetura geral de um crawler paralelo, que consiste de múltiplos processos, referidos por <math>C-proc</math>. Cada <math>C-proc</math> é responsável por executar uma tarefa básica de um crawler não paralelo. Ele coleta páginas da Web, armazena as páginas localmente, extrai todas as URLs que encontrar e segue os [http[w://en.wikipedia.org/wiki/:Hyperlink link|links]]s. Dependendo da forma com que as tarefas são divididas entre os <math>C-proc</math>, pode ser necessário a troca de dados entre os processos. A distribuição de tarefas entre os <math>C-proc</math> pode ser feita numa rede local (como uma [http[w://en.wikipedia.org/wiki/:LAN |LAN]]), ou em localizações geograficamente distantes (como uma [http[w://en.wikipedia.org/wiki/Wide_area_network:Wide area network|WAN]]).

*Crawler distribuidodistribuído: quando todos os processos rodam em localizações geograficamente distantes. Quando os processos nessas localizações distantes se conectam via Internet, se torna importante determinar a frequência e a quando os processos devem se comunicar.

Web crawlers vem sendo utilizados com cada vez mais frequência para coletar dados da Web para máquinas de busca, caches e [http[w://en.wikipedia.org/wiki/Data_mining:Data mining|mineração de dados]]. Como o tamanho da Web aumenta a cada dia que passa, o uso de crawlers paralelos vem se tornando cada vez mais importante. Conforme observado nessa subseção, construir um crawler paralelo eficiente é muito mais complicado do que uma simples paralelização.

===== AJAX -(requisições Requisições Concorrentesconcorrentes) =====