Big Data O que é e qual a importância?

Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados, e sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.

A história do Big Data e considerações atuais

Embora o termo “big data” seja relativamente novo, o ato de recolher e armazenar grandes quantidades de informações para eventual análise de dados é bem antigo. O conceito ganhou força no início dos anos 2000, quando um analista famoso deste setor, Doug Laney, articulou a definição de big data como os três Vs:

Volume. Organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina. No passado, armazenar tamanha quantidade de informações teria sido um problema – mas novas tecnologias (como o Hadoop) têm aliviado a carga.

Velocidade. Os dados fluem em uma velocidade sem precedentes e devem ser tratados em tempo hábil. Tags de RFID, sensores, celulares e contadores inteligentes estão impulsionado a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real.

Variedade. Os dados são gerados em todos os tipos de formatos – de dados estruturados, dados numéricos em bancos de dados tradicionais, até documentos de texto não estruturados, e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras.

No SAS, consideramos duas dimensões adicionais quando falamos sobre big data:

Variabilidade. Além da velocidade e variedade de dados cada vez maiores, os fluxos de dados podem ser altamente incosistentes com picos periódicos. Existe algo em tendência nas redes sociais? Diariamente, picos de dados sazionais ou picos gerados com base em eventos podem ser um desafio de gerenciar. Ainda mais quando falamos de dados não estruturados.

Complexidade. Os dados de hoje vem de várias fontes, o que torna difícil estabelecer uma relação, corresponder, limpar e transformar dados entre diferentes sistemas. No entanto, para que seus dados não saiam rapidamente de controle, é necessário ligar e correlacionar relações, hierarquias e as várias ligações de dados.

O grande potencial do Big data

A quantidade de dados que está sendo criada e armazenada em um nível global é quase inconcebível. E esta quantidade só continua aumentando. Isso significa que há ainda mais potencial para extrair insights de negócios provenientes destas informações – mesmo que apenas uma pequena porcentagem destes dados é realmente analizada. O que isso significa para as empresas? Como elas podem utilizar melhor as informações que fluem para dentro de suas organizações todos os dias?

 Por que Big Data é importante?

A importância do big data não gira em torno da quantidade de dados que você tem, mas em torno do que você faz com eles. Você pode analisar dados de qualquer fonte para encontrar respostas que permitam 1) redução de custos, 2) redução de tempo, 3) desenvolvimento de novos produtos e ofertas otimizadas, 4) decisões mais inteligentes. Quando você combina big data com a alta potência do analytics, você pode realizar tarefas relacionadas a negócios, tais como:

  • Determinar a causa raiz de falhas, problemas e defeitos em tempo quase real;
  • Gerar cupons no ponto de venda com base em hábitos de compra dos clientes;
  • Recalcular carteiras de risco inteiras, em questão de minutos;
  • Detectar comportamentos fraudulentos antes que eles afetem sua organização.

Big Data no mundo moderno

Big data – e a maneira como as organizações gerenciam e extraem insights disso – está mudando a maneira como o mundo utiliza informações de negócios. Saiba mais sobre o impacto do big data.

Quem utiliza Big Data?

Big Data afeta organizações em praticamente todas as indústrias. Veja como cada uma pode se beneficiar deste ataque devastador de informações.

Banco

Com grandes quantidades de informações fluindo partir inúmeras fontes, os bancos são desafiados a encontrar maneiras novas e inovadoras de gerenciar big data. Ao mesmo tempo em que big data é importante para compreender os clientes e aumentar sua satisfação, é igualmente importante para minimizar os riscos e fraudes enquanto mantém uma conformidade regulatória. Big Data traz ótimos insights, mas também exige que as instituições financeiras estejam um passo à frente neste jogo, com análises avançadas.

Ensino

Educadores armados com uma visão orientada a dados podem ter um impacto significativo sobre os sistemas escolares, estudantes e currículos. Analisando big data, eles podem identificar alunos em risco, assegurar que os estudantes estão progredindo de forma adequada, e podem implementar um sistema melhor de avaliação e apoio aos professores e diretores.

Governo

Quando as organizações governamentais são capazes de aproveitar e aplicar analytics em big data, elas progridem significativamente quando se trata de gerenciar serviços públicos, lidar com o congestionamento ou a prevenir a criminalidade. Mas, enquanto existem muitas vantagens com o uso de big data, os governos também devem abordar as questões de transparência e privacidade das informações.

Saúde

Registros de pacientes. Planos de tratamento. Informações de prescrição. Quando se trata de cuidados com a saúde, tudo precisa ser feito rapidamente, com precisão e, em alguns casos, com suficiente transparência para satisfazer as regulamentações rigorosas desta indústria. Quando grandes quantidades de dados são geridas de forma eficaz, os prestadores de cuidados de saúde podem descobrir insights escondidos que melhoram o atendimento ao paciente.

Manufatura

Armados com uma visão que big data pode fornecer, os fabricantes podem aumentar a qualidade e a produção, minimizando o desperdício – processos que são fundamentais no mercado altamente competitivo de hoje. Mais e mais fabricantes estão trabalhando em uma cultura baseada em análise de dados, o que significa que eles podem resolver problemas mais rapidamente e tomar decisões de negócios mais ágeis.

Varejo

A construção de relacionamento com o cliente é fundamental para o setor de varejo – e a melhor maneira de gerenciar este relacionamento é gerenciando big data. Os varejistas precisam saber a melhor maneira de vender aos clientes, a maneira mais eficaz de lidar com transações, e a maneira mais estratégica de aumentar o número de negócios repetidos. Big data permanece no coração de todas essas coisas.

Big Data em ação: UPS

Como uma empresa com muitos ativos e encomendas constantemente em movimento, a UPS armazena grandes quantidades de dados – sendo que muitos deles vem de sensores em seus veículos. Estes dados não somente monitoram o desempenho diário, mas também desencadeiam uma grande reformulação de estruturas nas rotas  dos motoristas da UPS. A iniciativa foi chamada de ORION (On-Road Integration Optimization and Navigation), e é discutível que o chamemos de um dos maiores projetos de pesquisa operacional do mundo. Este projeto dependeu fortemente dos dados de mapas on-line para reconfigurar em tempo real as cargas e descargas dos motoristas.

O projeto levou a uma economia de mais de 8,4 milhões de litros de combustível, cortando 85 milhões de milhas de rotas diárias. A UPS estima que economizando apenas uma milha por dia de cada motorista, economiza US $30 milhões para a companhia, portanto as economias financeiras são substanciais.

É importante lembrar que o valor principal de big data não vem dos dados em sua forma bruta, mas do processamento e análise destes dados e os insights, produtos e serviços que surgem desta análise. As mudanças radicais nas tecnologias e abordagens de gerenciamento de big data devem ser acompanhadas, de forma semelhante, por mudanças dramáticas na forma como os dados suportam decisões e geram inovação de produtos e serviços.

Como isso funciona?

Antes de descobrir como big data pode favorecer o seu negócio, você deve primeiro entender de onde isso vem. As fontes de big data geralmente caem em uma das três categorias:

Transmissão de dados (streaming data)

Esta categoria inclui dados que chegam aos seus sistemas de TI a partir de uma rede de dispositivos conectados. Você pode analisar esses dados ao ponto em que eles chegam e tomar decisões sobre quais dados você deve manter, não manter e quais requerem uma análise posterior mais aprofundada.

Dados de redes sociais

Os dados sobre interações sociais são um conjunto cada vez mais atraente de informação, particularmente para marketing, vendas e funções de apoio. São muitas vezes capturados de formas não estruturada ou semi-estruturada, por isso representam um desafio único quando se trata de consumo e análise.

Fontes publicamente disponíveis 

Enormes quantidades de dados estão disponíveis por meio de canais públicos como o dados.gov.br do governo federal brasileiro, o livro de fatos da CIA (World Factbook) ou o Portal de Dados Abertos da União Européia.

Após identificar todas as potenciais fontes de dados, considere as decisões que você precisará tomar uma vez que você começar a fazer uso destas informações. Estas incluem:

Como armazenar e gerenciar

Embora o armazenamento de dados teria sido um problema anos atrás, agora há opções de baixo custo para armazenamento de dados caso esta seja a melhor estratégia para seu negócio.

Quanto se deve analisar

Algumas organizações não excluem quaisquer dados de suas análises, o que é possível com as tecnologias atuais de alto desempenho, como a computação em grade (grid computing) ou análises em memória (in-memory analytics). Outra abordagem é determinar antecipadamente quais dados são relevantes antes de analisá-los.

Como utilizar os insights descobertos

Quanto mais conhecimento você tiver, mais confiante você estará para tomar suas decisões de negócio. É importante ter uma estratégia desenhada para quando você tiver uma abundância de informações em mãos.

O passo final para fazer big data trabalhar a favor do seu negócio é procurar tecnologias que o ajudarão a tirar melhor proveito da enorme quantidade de informações e das análises de big data. Considere:

  • Armazenamento barato de grandes quantidades de dados;
  • Processadores mais rápidos;
  • Open source acessível e plataformas distribuidas de big data, como o Hadoop;
  • Processamento paralelo, clusterização, MPP, virtualização, grandes ambientes de grid, alta conectividade e altas taxas de transferência;
  • Computação em nuvem (cloud computing) e outros arranjos de alocação flexível de recursos.

FONTE: SAS