Aula 10 - Pig | Mindmap

Aula 10 - Pig

MapReduce
1. Abordagem de baixo nível, em relação ao modelo mapreduce, maior controle e desempenho
2. Consome mais tempo e mais propenso a erros na fase de implantação. Google informeou que um dev demorava 4h para fazer em mapreduce e 15min em pig
3. Utilizado quando controle e desempenho sao muito importantes
Motivação
1. - MapReduce é baixo nível - MapReduce é difícil de manter e reutilizar - Desenvolvedores não estavam confortáveis com MapReduce e linguagem SQL
  1. DEsenvolvedores estavam acostumados ao desenvolvimento anterior orientado a grafos
2. Necessitavam de uma solucao menos complicada, mas que aceitasse dados nao estruturados
Caracteristicas
1. Utilizar em grandes volumes. algumas queries demoram até 20 segundos para iniciar.
2. pode ter desempenho superior ao map reduce puro
Aplicacoes
1. Processamentos dados brutos
2. ETL
3. Pipeline de dados
4. Exemplos de dados utilizados: • Tweets • Dados de usuarios • Notificações • Retweets • Seguidores • Uso de SMS • Logs do servidor • Logs de busca • Logs de queries
5. Exemplos de análises realizadas com Pig: • Quantidade de requisições diárias • Latência média • Quantidade de pesquisas diárias • Distribuição geográfica • Testes A/B • Descoberta de padrão de comportamento do usuário • Análise de sentimento • Análise de reputação do usuário
Arquitetura
1. Executa jobs map e reduces
2. é uma lingugaem de fluxo de dados se precisar de estruturas diversas tem que associar com outras linguagem
3. Scripts são convertidos para mapreduce jobs
4. possui funcoes especificas, por exemplo para ordenar pela frequencia. algo que não existe no mapreduce
5. linguagem procedural de script
Uso
1. /scripts em linguagem Pig Latin
2. Grunt shell - interativo, faz e testa
3. pode utilizar local sem enviar para o mapreduce

Nächster

Aula 10 - Pig

Beschreibung

Zusammenfassung der Ressource

ähnlicher Inhalt

	Erstellt von Ronaldo Pimentel vor etwa 7 Jahre