Data Warehouse, OLAP e Data Mining

O que é data warehouse?

Data warehouse é um depósito de dados digitais que serve para armazenar informações detalhadas relativamente a uma empresa, criando e organizando relatórios através de históricos que são depois usados pela empresa para ajudar a tomar decisões importantes com base nos fatos apresentados.

Para além de manter um histórico de informações, o Data Warehouse cria padrões melhorando os dados analisados de todos os sistemas, corrigindo os erros e restruturando os dados sem afetar o sistema de operação, apresentando somente um modelo final e organizado para a análise. 

Ferramentas

As ferramentas de back end são as responsáveis pelo processo de extração, limpeza, carga e restauração dos dados utilizados num sistema de Data Warehouse (DW). Essa etapa é também denominada de ETL - Extração, Limpeza, Transformação e Carga dos Dados. Embora tenhamos hoje em dia ferramentas que auxiliam na execução do trabalho, ainda assim é um processo trabalhoso, complexo e também muito detalhado. As ferramentas de extração de dados são caras, deve-se adquirir, se for o caso, após a definição dos requisitos de extração e transformação. Se a equipe de projetistas do DW optar por desenvolver um software, o sistema de gerenciamento deverá executar, pelo menos, 11 processos ou a maior parte deles, para que seja possível extrair os dados de um banco de dados de produção e enviá-los para o DW. O conjunto desses processos é chamado por Ralph Kimball de Sistema de Extração de Dados de Produção - SEDP, os processos são:

* Extração primária;

* Identificação dos registros modificados;

* Generalização de chaves para dimensões em modificações;

* Transformação em imagens de registro de carga;

* Migração do sistema legado para o sistema DDW;

* Classificação e construção de agregados;

* Generalização de chaves para agregados;

* Carregamento;

* Processamento de exceções;

* Garantia de qualidade;

* Publicação.

OLAP - Online Analytical Processing (Processamento Analítico Online)

OLAP é um conceito de interface com o usuário que proporciona a capacidade de ter idéias sobre os dados, permitindo analisá-los profundamente em diversos ângulos. As funções básicas do OLAP são:
* Visualização multidimensional dos dados;
* Exploração;
* Rotação;

O OLAP e o Data Warehouse são destinados a trabalharem juntos, enquanto o DW armazena as informações de forma eficiente, o OLAP deve recuperá-las com a mesma eficiência, porém com muita rapidez. As duas tecnologias se complementam, ao ponto de que um Data Warehouse para ser bem sucedido, já na sua concepção, deve levar em consideração o que se deseja apresentar na interface OLAP.

Data Mining

Data Mining é uma expressão inglesa ligada à informática cuja tradução é mineração de dados. Consiste em uma funcionalidade que agrega e organiza dados, encontrando neles padrões, associações, mudanças e anomalias relevantes.

O data mining pode ser divido em algumas etapas básicas que são: exploração, construção de modelo, definição de padrão e validação e verificação.

O conceito de data mining é muitas vezes associado à extração de informação relativa ao comportamento de pessoas. Por esse motivo, em algumas situações, a mineração de dados levanta aspectos legais e questões relativas à privacidade e ética. Apesar disso, muitas pessoas afirmam que a mineração de dados é eticamente neutra, pois não apresenta implicações éticas.