Processamento de Dados Massivos/Introdução: diferenças entre revisões

 

Considerando todos esses fatores, o restante deste livro abordará os elementos principais para viabilizar o processamento de dados massivos. Na seção [sec:datacenters], o ambiente dos ''datacenters'' atuais é discutido em mais detalhes, para caracterizar melhor as restrições e demandas impostas sobre os ambientes de execução. Um aspecto essencial associado ao ambiente de execução é o sistema de armazenamento dos dados, que também será discutido. Com base nessa análise, a seção [sec:escalabilidade] discute os desafios enfrentados para se garantir o alto desempenho nesse ambiente. Em seguida, a seção [sec:mr] introduz o modelo de programação MapReduce, que se tornou um dos mais populares na área, e a seção [sec:hadoop] dá detalhes do Hadoop, a principal implementação do modelo. Apesar de sua popularidade, entretanto, MapReduce e Hadoop não são a solução para todos os problemas. A seção [sec:outros] apresenta ambientes desenvolvidos para facilitar o processamento de certos tipos de dados e certos tipos de algoritmos que não se adaptam bem ao modelo MapReduce. Ainda nesse sentido, a seção [sec:devel] descreve uma metodologia para o desenvolvimento de aplicações ''big-data''. Finalmente, a seção [sec:conclusao] apresenta algumas considerações finais.