Processamento de Dados Massivos/Introdução: diferenças entre revisões

Uma segunda dimensão é a '''velocidade''' com que os dados são gerados e com que precisam ser processados em diversos casos. Por exemplo, o Observatório da Web <ref>[http://observatorio.inweb.org.br/</ref> Observatório da Web] coleta um grande volume de informações em tempo real de diversas fontes, como sítios de notícias, ''blogs'' e ''Twitter'', para gerar diversas análises atualizadas a cada minuto durante eventos transmitidos ao vivo. Nesse caso, o desafio é processar o volume de dados gerado ao longo do tempo e em tempo hábil, o que é denominado processamento de ''streams''.

Considerando todos esses fatores, o restante deste livro abordará os elementos principais para viabilizar o processamento de dados massivos. Na seção [sec:datacenters]2, o ambiente dos ''datacenters'' atuais é discutido em mais detalhes, para caracterizar melhor as restrições e demandas impostas sobre os ambientes de execução. Um aspecto essencial associado ao ambiente de execução é o sistema de armazenamento dos dados, que também será discutido. Com base nessa análise, a seção [sec:escalabilidade] 3 discute os desafios enfrentados para se garantir o alto desempenho nesse ambiente. Em seguida, a seção [sec:mr]4 introduz o modelo de programação MapReduce, que se tornou um dos mais populares na área, e a seção [sec:hadoop]5 dá detalhes do Hadoop, a principal implementação do modelo. Apesar de sua popularidade, entretanto, MapReduce e Hadoop não são a solução para todos os problemas. A seção [sec:outros]6 apresenta ambientes desenvolvidos para facilitar o processamento de certos tipos de dados e certos tipos de algoritmos que não se adaptam bem ao modelo MapReduce. Ainda nesse sentido, a seção [sec:devel]7 descreve uma metodologia para o desenvolvimento de aplicações ''big-data'' e a seção 8 traz diversos estudos de caso desenvolvidos pelos alunos da disciplina Processamento de Dados Massivos do Departamento de Ciência da Computação da Universidade Federal de Minas Gerais (DCC/UFMG). Finalmente, a seção [sec:conclusao] 9 apresenta algumas considerações finais.