Diferenças entre edições de "Processamento de Dados Massivos/Projeto e implementação de aplicações Big Data/Classificação associativa incremental (LAC)"

m
O ficheiro Hadoop-chunking1.png teve de ser removido pois foi apagado no Commons por Fastily: Media without a license as of 23 February 2013
m (O ficheiro Hadoop-chunking1.png teve de ser removido pois foi apagado no Commons por Fastily: Media without a license as of 23 February 2013)
Por padrão o Hadoop divide cada arquivo de entrada em vários chunks que são processador por diferentes mappers, este processo é feito para aumentar o grau de paralelismo.
 
 
[[Ficheiro:Hadoop-chunking1.png|commoldura|centro|Divisão de um arquivo de Entrada em Chunks]]
 
Contudo, este processo não é o adequado para nossa aplicação, visto que queremos processar cada arquivo em um único mapper desta forma a cache do LAC será aproveitada adequadamente. Para garantir que cada arquivo seja processado por apenas um mapper foi extendida a classe de input desejada, no nosso caso '''KeyValueTextInputFormat''', e sobrecarregamos o método '''isSplitable()''' de forma que retornase '''false'''.
1 829

edições