Processamento de Dados Massivos/Introdução: diferenças entre revisões

Considerando todos esses fatores, o restante deste livro abordará os elementos principais para viabilizar o processamento de dados massivos. Na seção 2, o ambiente dos ''datacenters'' atuais é discutido em mais detalhes, para caracterizar melhor as restrições e demandas impostas sobre os ambientes de execução. Um aspecto essencial associado ao ambiente de execução é o sistema de armazenamento dos dados, que também será discutido. Com base nessa análise, a seção 3 discute os desafios enfrentados para se garantir o alto desempenho nesse ambiente. Em seguida, a seção 4 introduz o modelo de programação MapReduce, que se tornou um dos mais populares na área, e a seção 5 dá detalhes do Hadoop, a principal implementação do modelo. Apesar de sua popularidade, entretanto, MapReduce e Hadoop não são a solução para todos os problemas. A seção 6 apresenta ambientes desenvolvidos para facilitar o processamento de certos tipos de dados e certos tipos de algoritmos que não se adaptam bem ao modelo MapReduce. Ainda nesse sentido, a seção 7 descreve uma metodologia para o desenvolvimento de aplicações ''big-data'' e a seção 8 traz diversos estudos de caso desenvolvidos pelos alunos da disciplina Processamento de Dados Massivos do Departamento de Ciência da Computação da Universidade Federal de Minas Gerais (DCC/UFMG). Finalmente, a seção 98 apresenta algumas considerações finais.