quinta-feira, 7 de março de 2019

Deploy de hadoop


#hadoop #bestPractices #technologyRadar

Isso é algo que aprendi com muita dor! O Hadoop (e o HDFS) são sistemas com estado e você não deve usar o "pensamento em nuvem" ao implementá-los. Este é o melhor conselho que já conheci.
"Quando as organizações escolhem uma distribuição vanilla Hadoop ou Spark em vez de uma das distribuições do fornecedor, elas precisam decidir como desejam provisionar e gerenciar o cluster. Ocasionalmente, vemos "handcranking" de clusters do Hadoop usando ferramentas de gerenciamento de configuração, como Ansible, Chef e outras. Embora essas ferramentas sejam ótimas no provisionamento de componentes de infraestrutura imutáveis, elas não são muito úteis quando você precisa gerenciar sistemas com estado e geralmente podem levar a um esforço significativo para tentar gerenciar e desenvolver clusters usando essas ferramentas. Em vez disso, recomendamos o uso de ferramentas como o Ambari para provisionar e gerenciar seus clusters Hadoop ou Spark com preservação de estado."

Nenhum comentário:

Postar um comentário