Processamento de Dados Massivos/Introdução: diferenças entre revisões

m
sem resumo de edição
[edição não verificada][edição não verificada]
mSem resumo de edição
mSem resumo de edição
Exatamente o que se entende por ''big-data'' depende bastante do contexto . Apesar de normalmente se associar o conceito apenas a volumes extremamente grandes de dados, na verdade a definição abrange três dimensões, que devem ainda ser consideradas em perspectiva para cada usuário: volume, velocidade e variedada .
 
Certamente, '''volume''' é uma dimensão claramente associada a dados massivos. Um [[infográfico produzido por GOOD, Oliver Munday e IBM <ref>http://www.bimeanalytics.com/wp-content/uploads/2011/09/world-of-data.jpeg infográfico produzido por GOOD, Oliver Munday e IBM]]</ref> representa alguns desses volumes. Entre eles, pode-se ver que a cada minuto são carregados no Youtube o equivalente a 20 horas de vídeo, que há em média 50 milhões de tweets por dia e que 2,9 milhões de mensagens de e-mail são enviados por segundo. Entretanto, a definição de volume massivo deve ser também ajustada em função dos recursos disponíveis para seu processamento. Nem todas as organizações possuem os recursos computacionais de uma empresa como Google ou Facebook; em muitos casos, dados na casa de centenas de Gigabytes já apresentam um desafio para serem processados, considerando-se os recursos disponíveis.
 
Uma segunda dimensão é a '''velocidade''' com que os dados são gerados e com que precisam ser processados em diversos casos. Por exemplo, o [Observatório da Web <ref>http://observatorio.inweb.org.br/ Observatório da Web]</ref> coleta um grande volume de informações em tempo real de diversas fontes, como sítios de notícias, ''blogs'' e ''Twitter'', para gerar diversas análises atualizadas a cada minuto durante eventos transmitidos ao vivo. Nesse caso, o desafio é processar o volume de dados gerado ao longo do tempo e em tempo hábil, o que é denominado processamento de ''streams''.
 
Finalmente, a '''variedade''' dos dados e dos resultados esperados também são determinantes para a definição de ''big-data''. A possibilidade de se coletar informações textuais, fotos, áudio e vídeo tornam muitas vezes inviável o uso de sistemas de gerência de bancos de dados tradicionais. A exploração de informações de redes complexas, representando relacionamentos entre pessoas e/ou eventos dá origem a grafos complexos, que também não são facilmente armazenados em sistemas convencionais.
Considerando todos esses fatores, o restante deste livro abordará os elementos principais para viabilizar o processamento de dados massivos. Na seção 2, o ambiente dos ''datacenters'' atuais é discutido em mais detalhes, para caracterizar melhor as restrições e demandas impostas sobre os ambientes de execução. Um aspecto essencial associado ao ambiente de execução é o sistema de armazenamento dos dados, que também será discutido. Com base nessa análise, a seção 3 discute os desafios enfrentados para se garantir o alto desempenho nesse ambiente. Em seguida, a seção 4 introduz o modelo de programação MapReduce, que se tornou um dos mais populares na área, e a seção 5 dá detalhes do Hadoop, a principal implementação do modelo. Apesar de sua popularidade, entretanto, MapReduce e Hadoop não são a solução para todos os problemas. A seção 6 apresenta ambientes desenvolvidos para facilitar o processamento de certos tipos de dados e certos tipos de algoritmos que não se adaptam bem ao modelo MapReduce. Ainda nesse sentido, a seção 7 descreve uma metodologia para o desenvolvimento de aplicações ''big-data'' e traz diversos estudos de caso desenvolvidos pelos alunos da disciplina Processamento de Dados Massivos do Departamento de Ciência da Computação da Universidade Federal de Minas Gerais (DCC/UFMG). Finalmente, a seção 8 apresenta algumas considerações finais.
 
{{AutoCat}}
[[Imagem:1de8.svg]]
 
==Referências==
<references/>
49

edições