Processamento de Dados Massivos/Aspectos gerais do ambiente de Big Data: diferenças entre revisões

[edição não verificada][edição não verificada]
Conteúdo apagado Conteúdo adicionado
Inclusão da figura ArquiteturaDC.png
Linha 8:
Em um ''datacenter'', recursos computacionais são organizados de forma concentrada, a fim de melhor controlar o consumo de energia necessária para o funcionamento dos equipamentos e para a refrigeração dos mesmos <ref>Barroso, L., e Holzle, U. [http://www.morganclaypool.com/doi/pdf/10.2200/s00193ed1v01y200905cac006 ''The Datacenter as a Computer: An Introduction to the Design of Warehouse-scale Machines'']. Synthesis lectures in computer architecture. Morgan & Claypool, 2009.</ref>. Dada a economia de escala envolvida, os computadores utilizados são computadores convencionais, “''off-the-shelf''”, cada um com boa capacidade de processamento, memória e discos. Os computadores são instalados em ''racks'', com dezenas de máquinas por ''rack''. Em cada ''rack'' é instalado um comutador (''switch'') Ethernet, denominado ''switch'' de topo de rack (TOR), que interliga as máquinas do rack à velocidade de 1 Gigabit por segundo, de forma não bloqueante (todas as máquinas podem se comunicar a 1 Gpbs, desde que o padrão de comunicação seja igualmente distribuído entre elas). Os ''switches'' TOR são então interligados por ''switches'' de ''backbone'' utilizando diversos ''links'' para cada rack, ou mesmo ''links'' de 10 Gpbs. Uma representação geral dessa infraestrutura é ilustrada na figura a seguir. Em ''datacenters'' muito grandes, pode até existir um segundo nível de comutadores, para expandir o alcance da rede <ref>Greenberg, A., Hamilton, J., Maltz, D. A., and Patel, P. The cost of a cloud: research problems in data center networks. SIGCOMM Computer Communication Review 39(1), Dec. 2008, 68–73.</ref>.
 
[[File:ArquiteturaDC.png|thumb|Esta figura descreve uma arquitetura simples de rede de datacenter.]]
[[Imagem:ArquiteturaDatacenter|Center]]
 
No caso de ambientes em nuvem essa tende a ser a organização mais comum para as unidades de processamento, sem servidores de armazenamento dedicados, pois eles se tornam gargalos para os grandes volumes de processamento envolvidos. Qualquer solução de armazenamento e processamento deve, então, considerar que todos os elementos do sistema têm arquitetura semelhante, apesar de poderem ser heterogêneos em capacidade. Além disso, é importante manter em mente que a comunicação entre unidades em um mesmo ''rack'' pode se dar a uma velocidade maior que entre máquinas de ''racks'' diferentes, uma vez que a capacidade dos ''links'' que ligam os ''switches'' TOR ao ''backbone'' é quase sempre menor que a capacidade agregada das máquinas em um rack. Por exemplo, um ''rack'' pode ter de 20 a 40 máquinas, cada uma com pelo menos uma interface Ethernet Gigabit. Usualmente, a conexão dos TORs para o ''backbone'' não passará de quatro ''links'' de 1 Gbps ou, no máximo, um ''link'' de 10 Gbps.