7910719
Descrição
FlashCards por Primo Deckers, atualizado more than 1 year ago
|
Criado por Primo Deckers
mais de 7 anos atrás
|
|
| Questão | Responda |
| Engine de execução generalista ? | Spark |
| Sua exeção é baseada em Resilient Distributed Datasets? | RDD |
| Outros Frameworks especializam | O Spark generaliza |
| RDDs | São coleções particionadas de dados; Criados por operações determinísticas (Transformações) em outro RDD ou arquivo; O usuário define o particionamento (otimizações de localidade) e armazenamento (RAM, disco). |
| É uma Engine de execução generalista | Seu processamento é: Iterativo; em Batch; Streaming(simulado) |
| O Spark possui? | Armazenamento Temporario em Ram ou disco; Leitura e escrita em diversos formatos: CVS; Json; Parquet; Arquivos de texto simples; Leitura escrita de diversas fontes: Arquivos locais; HDFS; S3; JDBC/ODBC; |
| O Spark possui? | Mais de 80 operadores, intercambiaveis com consultas SQL: Map; reduceByKey; Filter; SortByKey; Três APIs principais de uso: RDDs; Datarames; Datasets (experimental) |
| Linguagens: | Scala (principal); Java; Python; R; |
| O spark é executado em varios ambientes | Standalone; Hadoop Yarn (gerenciador de recursos e tarefas do hadoop); Mesos; |
| Sub-projetos SPARK | Spark Streaming (simula operações em tempo real utilizando mini batch); Spark SQL; MLLib (Aprendizado de maquina); GraphX (processamento de grafos com suporte a Pregel) |
| Comparativo com outros frameworks |
Quer criar seus próprios Flashcards gratuitos com GoConqr? Saiba mais.