Diferenças entre edições de "Processamento de Dados Massivos/Projeto e implementação de aplicações Big Data/R-tree"

m
adicionadas extensões aos arquivos de imagens
(Criação do capítulo sobre R-trees)
 
m (adicionadas extensões aos arquivos de imagens)
 
Toda a solução apresentada pode ser resumida no seguinte esquema:
[[Ficheiro:Esquema solucao.png|commoldura|centro|Modelo esquemático da solução proposta]]
 
=== Abordagem de filtros (streams) para construção da R-tree ===
Se analisarmos a figura apresentada ao final da seção anterior, embora essa represente a solução apresentada, é difícil ver naturalmente três fases nesse esquema. Isso significa que esse abordagem é artificial ao problema. E de fato trata-se de uma abordagem que se deve muito mais ao modelo map-reduce do que ao problema em si.
Mas podemos pensar em um modelo que represente melhor esse esquema, de fato, podemos mapear muitas dessas entidades desse esquema a filtros de processamento, conforme a seguinte figura, em que os filtros estão pintados:
[[Ficheiro:Esquema solucao filtros.png|commoldura|centro|Esquema da solução mostrando filtros]]
 
Os filtros fazem parte do modelo, naturalmente, servindo uns de entradas aos outros e resultando na R-tree dos pontos de entrada. Embora do ponto de vista da modelagem esse esquema faça mais sentido, o resultado final e o esforço computacional serão o mesmo da abordagem map-reduce apresentada anteriormente.
A segunda vantagem é que esses filtros poderiam ser retroalimentados, aumentando o auto-conhecimento do processamento e assim possibilitando uma maior eficiência. Podemos adicionar os seguintes canais de comunicação entre os filtros, apresentados com linhas tracejadas:
 
[[Ficheiro:Modelo solucao filtros comunic.png|commoldura|centro|Modelo de filtros com comunicação entre si]]
Essa comunicação permitiria, por exemplo, adicionar um comportamento que verificasse o tamanho das partições à medida em que os dados são lidos pelo filtro “particiona pontos”, e no caso em que a partição estiver muito desbalanceada o procedimento de definição da função de partição, que envolve três filtros, pode ser realizado novamente.
Outro comportamento que poderia surgir com esse modelo seria o de analisar o comportamento dos filtros que calculam as r-trees de cada partição em comparação com o resto do processo que poderia definir se o número de partições escolhido é um bom compromisso em termos da quantidade de paralelismo.
4

edições