10990523
Descrição
Mapa Mental por Ronaldo Pimentel , atualizado more than 1 year ago
|
Criado por Ronaldo Pimentel
aproximadamente 7 anos atrás
|
|
Aula 01 - BigData Conceitos
- Big Data é o termo que descreve o imenso volume de
dados – estruturados e não estruturados – que
impactam os negócios no dia a dia. Mas o importante
não é a quantidade de dados. E sim o que as
empresas fazem com os dados que realmente
importam. Big Data pode ser analisado para a
obtenção de insights que levam a melhores decisões e
direções estratégicas de negócio.
- Necessidades
- As pessoas estão conectadas por meio de
operações bancárias, acesso a internet, sinal do
celular e das redes sociais. Agora trabalhar com
dados não estruturados é uma necessidade
- Aumento do uso dos dispositivos
- Crescimento da população on line
- Incontáveis transações por
segundo
- Volume dos dados - 8ZB em 2015 para 35 ZB
em 2020. Mais de 1/3 dos dados estará na
nuvem ou passará por ela.
- As pessoas estão conectadas por meio de
operações bancárias, acesso a internet, sinal do
celular e das redes sociais. Agora trabalhar com
dados não estruturados é uma necessidade
- DADO É O NOVO PETRÓLEO! Precisamos
encontrá-lo, extraí- lo, refiná-lo,
distribuí-lo e monetizá-lo! David
Buckingam
- “Big Data demanda formas
inovadoras e rentáveis de
processamento da informação para
melhor percepção e tomada de
decisão.” Gartner, 2012
- 7 V’s de Big Data VOLUME ● Terabytes ●
Transações ● Eventos ●
Tabelas/Arquivos VARIEDADE ●
Estruturados ● Não-estruturados ●
Multi-fator ● Linkados ● Dinamicos
VELOCIDADE ● Batch ● Tempo Real ●
Processos ● Stream VISUALIZAÇÃO ●
Informações ● Insights ● Apresentação
VERACIDADE ● Segurança dos dados ●
Confiança ● Origem / Reputação ●
Disponibilidade VALOR ● Previsões ●
Estatístico ● Gerenciamento ●
Hipóteses VIABILIDADE ● Seleção de
Variáveis ● Relevância das variáveis ●
Relações das variáveis
- Desafios
- Aramazenamento - Habase, CouchDB,
Redis, MongoDb, RavenDB, Membase, riak,
cassandra, apache Solr, elasticsearch
- Orientado a
Chave-valor
- Orientado a colunas
- Orientado a
Documentos
- Orientado a Grafos
- Orientado a
Chave-valor
- NoSQL
- NoSQL = Not Only SQL “Conjunto de conceitos que
permite o processamento rápido e eficiente de
conjuntos de dados com foco em desempenho,
confiabilidade e agilidade”. Making sensing of
NoSQ
- NoSQL = Not Only SQL “Conjunto de conceitos que
permite o processamento rápido e eficiente de
conjuntos de dados com foco em desempenho,
confiabilidade e agilidade”. Making sensing of
NoSQ
- NoSQL x relacional - Há um limiar
de performance x volume de dados
no qual a tecnlogia NoSQL se torna
indispensável.
- Organizacao dos
dados
- Relacional - Data
Warehouse dividido
por tipos de dados
- Big Data - conceito de data
lake - dados em sua forma
original.
- Relacional - Data
Warehouse dividido
por tipos de dados
- Análises
- Sas, julia, R, python,
tableau, ggplot2, stata
- Analytics x
Interferência
humana
- Sas, julia, R, python,
tableau, ggplot2, stata
- Aramazenamento - Habase, CouchDB,
Redis, MongoDb, RavenDB, Membase, riak,
cassandra, apache Solr, elasticsearch
- Ambiente
favorável
- Baixo Custo de armazenamento
- Aumento no poder de
processamento
- Tomada de decisoes de forma mais
veloz
- AGILIDADE E PRECISÃO 40% das operações na
bolsa de valores brasileira foram feitas de
forma automática em 2014. E cada operação
durou em média 10ms Nos Estados Unidos
essas operações chegam a 70% de todo o
volume negociado.
- Internet das coisas -
infinidade de dispositivos
conectados e poduzindo
dados
- Baixo Custo de armazenamento
- Aplicacoes
- Detecção de
fraude
- Utilização no
varejo
- Aplicação de Big Data para melhorar
experiência do cliente no BIG DATA
setor varejista
- Ponto de venda
- Trabalhar a tecnologia no
ponto de vendas para
melhorar a experiência do
usuário.
- Trabalhar a tecnologia no
ponto de vendas para
melhorar a experiência do
usuário.
- Aplicação de Big Data para melhorar
experiência do cliente no BIG DATA
setor varejista
- Mercado on
line
- Oferecer produtos com base no
interesse de navegação
multiplataforma já é uma realidade.
Mas como utilizar todos esses dados
para o nosso negócio? M
- Oferecer produtos com base no
interesse de navegação
multiplataforma já é uma realidade.
Mas como utilizar todos esses dados
para o nosso negócio? M
- Redes Sociais
- Como criar uma experiência
individualizada para cada cliente
com base nas fotos adicionadas no
Instagram, check-in no Facebook ou
status do Twitter?
- Como criar uma experiência
individualizada para cada cliente
com base nas fotos adicionadas no
Instagram, check-in no Facebook ou
status do Twitter?
- Algoritmos de
recomendação
- Saúde - detecção de
doenças
- RH
- PREVENÇÃO DE FRAUDES TRABALHISTAS
Análise de talentos A análise de talentos
reúne e analisa os dados dos funcionários
atuais e potenciais da empresa. Retenção de
colaboradores As empresas com altas taxas
de rotação acabam gastando milhares de
dólares em empregados que não acabam
ficando com a empresa, o que é um
desperdício dispendioso de recursos.
Business.com Processos mais eficaz de
contratação Uma pesquisa da CareerBuilder
descobriu que 27% dos empregadores
acreditavam que uma única contratação
incorreta poderia custar até US $ 50.000.
Entrepreneur.
- PREVENÇÃO DE FRAUDES TRABALHISTAS
Análise de talentos A análise de talentos
reúne e analisa os dados dos funcionários
atuais e potenciais da empresa. Retenção de
colaboradores As empresas com altas taxas
de rotação acabam gastando milhares de
dólares em empregados que não acabam
ficando com a empresa, o que é um
desperdício dispendioso de recursos.
Business.com Processos mais eficaz de
contratação Uma pesquisa da CareerBuilder
descobriu que 27% dos empregadores
acreditavam que uma única contratação
incorreta poderia custar até US $ 50.000.
Entrepreneur.
- Análise de Rede
Social
- Pessoas se conectam por diversas razões, desde por
relações de amizades, familiares, etc. Será que
conseguimos prever características suas baseado nas
informações de quem você se relaciona? “Me diga com
quem tu andas que direi quem tu és.”
- Identificar líderes e seguidores para
divulgação de novos produtos ou
serviços
- Pessoas se conectam por diversas razões, desde por
relações de amizades, familiares, etc. Será que
conseguimos prever características suas baseado nas
informações de quem você se relaciona? “Me diga com
quem tu andas que direi quem tu és.”
- Precificação de seguro de auto com base na
condução do veículo
- Previsoes no
esporte
- Filme MOney Ball - A análise do Big Data fornecia o percentual de acerto de
cada jogador em cada posição do campo ocupada por ele. A análise foi
feita por meio da análise das imagens. Com os dados projetados sobre o
desempenho futuro de cada atleta, o treinador conseguiu prever quantos
pontos cada jogador faria nos jogos seguintes.
- Filme MOney Ball - A análise do Big Data fornecia o percentual de acerto de
cada jogador em cada posição do campo ocupada por ele. A análise foi
feita por meio da análise das imagens. Com os dados projetados sobre o
desempenho futuro de cada atleta, o treinador conseguiu prever quantos
pontos cada jogador faria nos jogos seguintes.
- Gestão
empresarial
- Previsão de faturamento ● Previsão de
demandas e controle de estoque ●
Recursos humanos ● Finanças
corporativas
- Previsão de faturamento ● Previsão de
demandas e controle de estoque ●
Recursos humanos ● Finanças
corporativas
- Analise de texto
- Tem o objetivo de identificar o que está sendo
digitado nos meios de comunicação. A separação de
Fátima Bernardes e William Bonner agitou as redes
sociais. Tal acontecimento surpreendeu tanto as
pessoas que foi mais falado no Twitter do que o
Impeachment da Presidente Dilma Rousseff.
- Tem o objetivo de identificar o que está sendo
digitado nos meios de comunicação. A separação de
Fátima Bernardes e William Bonner agitou as redes
sociais. Tal acontecimento surpreendeu tanto as
pessoas que foi mais falado no Twitter do que o
Impeachment da Presidente Dilma Rousseff.
- auto atendimento Chat bot
- Cesto de compras
- IoT
- Cidades
Inteligentes
- Setor
automotivo
- Agricultura
- Amor
https://www.youtube.com/watch?v=ZZZgAw7HBf4
- Cidades
Inteligentes
- Detecção de
fraude
- Profissões
- Profissões que estarão em alta nos próximos anos, segundo
a Catho (levantamento encomendado pela InfoMoney – 11
de outubro de 2016): Fonte: Infomoney - Profissões e áreas
que estarão em alta nos próximos anos • Área de Tecnologia
da Informação • Profissionais de Big Data • Especialista em
Cloud Computing
- Altos
salarios
- Capacitação profissional - Falta de qualificação
- Quais habilidades as empresas
estão procurando em um
profissional de Big Data?
- Multidisciplinaridade
- Multidisciplinaridade
- Quais habilidades as empresas
estão procurando em um
profissional de Big Data?
- Profissões que estarão em alta nos próximos anos, segundo
a Catho (levantamento encomendado pela InfoMoney – 11
de outubro de 2016): Fonte: Infomoney - Profissões e áreas
que estarão em alta nos próximos anos • Área de Tecnologia
da Informação • Profissionais de Big Data • Especialista em
Cloud Computing
- Mineração de dados
- Clássica
- Escalabilidade vertical Aumento
de recursos computacionais em
uma única máquina
- Problemas: • Custo •
Desempenho •
Escalabilidade limitada
- Problemas: • Custo •
Desempenho •
Escalabilidade limitada
- Escalabilidade vertical Aumento
de recursos computacionais em
uma única máquina
- Atual
- Escalabilidade horizontal
Adição de máquinas ao
cluster
- Adição de máquinas ao cluster
Problemas: • Adaptação de
tecnologias tradicionais a esse
ambiente • Desenvolvimento e
manutenção complexa
- Necessidade Novas tecnologias capazes de oferecer
escalabilidade, disponibilidade, flexibilidade e
desempenho para o processamento de grande
volume de dados (Big Data)
- Escalabilidade horizontal
Adição de máquinas ao
cluster
- Clássica
Quer criar seus próprios Mapas Mentais gratuitos com a GoConqr? Saiba mais.