Fale Conosco
Índice:
A adoção de plataformas de Business Intelligence cresce nas empresas para extrair valor dos dados, mas a infraestrutura de armazenamento nem sempre acompanha o volume de consultas e o crescimento das bases.
Consultas analíticas demoram para retornar resultados e processos de ETL estouram a janela de execução. A demora na entrega dos relatórios compromete a tomada de decisão e gera atrito entre as áreas de negócio e a TI.
O gargalo frequentemente reside na camada de armazenamento, que não foi projetada para a carga mista e intensa de um data warehouse. Isso exige uma arquitetura de dados que separe e otimize o substrato para essas aplicações críticas.
A resposta está em uma infraestrutura de armazenamento com arquitetura balanceada, capaz de escalar desempenho e capacidade de forma previsível. Analisar a fundo essa camada é fundamental para o sucesso de projetos de data warehouse e BI.
A base de um data warehouse responsivo
Um projeto de Business Intelligence bem-sucedido depende diretamente de uma camada de armazenamento que suporte, sem contenção, o alto volume de leituras aleatórias gerado por consultas analíticas e as escritas sequenciais massivas dos processos de ETL, garantindo que os dashboards de gestão sejam atualizados no prazo e que os analistas de dados recebam as informações sem longas esperas ou travamentos. Os sistemas Infortrend são projetados com uma arquitetura interna que endereça exatamente essa carga de trabalho mista, comum em ambientes de data warehouse.
Muitas empresas tentam apoiar suas operações de BI em servidores de arquivos de uso geral. Essa abordagem costuma falhar rapidamente.
Um NAS departamental padrão não foi construído para a intensidade e a concorrência de I/O de um banco de dados analítico. O resultado é uma disputa constante por recursos que degrada o desempenho para todos os usuários.
A solução passa por um sistema de armazenamento dedicado. Ele isola fisicamente a carga de trabalho do BI e oferece recursos de otimização específicos para esse fim.
Essa separação garante que a extração de relatórios complexos não impacte o acesso aos arquivos da operação diária. A previsibilidade do ambiente aumenta de forma considerável.
Arquitetura de rede e acesso aos dados
A performance de um data warehouse não depende apenas dos discos. A rede é um componente igualmente crítico.
Para essas aplicações, a conectividade de 1GbE se torna um gargalo evidente. A infraestrutura de rede precisa oferecer alta largura de banda para mover grandes volumes de dados entre os servidores de aplicação e o storage.
O uso de interfaces de 10GbE ou 25GbE é o padrão mínimo para garantir que o tráfego flua sem restrições. Os sistemas Infortrend suportam essas conexões e permitem que a equipe de TI configure a topologia mais adequada.
A equipe de redes pode implementar a segregação de tráfego com VLANs. Uma VLAN dedicada para o tráfego de armazenamento iSCSI ou NFS isola as operações do BI e protege o desempenho contra flutuações na rede corporativa geral.
Essa organização de rede evita que picos de acesso em outros sistemas afetem a latência das consultas. Isso mantém a resposta do ambiente analítico estável e previsível.
Desempenho consistente para ETL e consultas
Ambientes de BI geram dois padrões de I/O muito distintos. Os processos de ETL executam escritas sequenciais longas, enquanto as consultas dos usuários geram leituras aleatórias e imprevisíveis.
Um sistema de armazenamento precisa lidar com ambos simultaneamente. A arquitetura dos storages Infortrend foi pensada para esse desafio.
Muitos modelos adotam uma arquitetura híbrida. Eles combinam a capacidade dos discos rígidos (HDDs) com a velocidade das unidades de estado sólido (SSDs).
O sistema pode usar SSDs como uma camada de cache inteligente. Os dados mais acessados, ou "quentes", são mantidos no cache para acelerar as leituras das consultas mais frequentes.
Outra abordagem é o tiering automático. O próprio storage move blocos de dados entre as camadas de SSD e HDD conforme a frequência de uso, sem intervenção manual do administrador.
Essa automação otimiza o custo por gigabyte e entrega performance onde ela é mais necessária. O resultado é uma redução drástica no tempo de resposta das consultas e um encurtamento da janela para as rotinas de ETL.
Escalabilidade sem paradas ou degradação
Data warehouses crescem de forma contínua e, por vezes, imprevisível. A infraestrutura de armazenamento precisa acompanhar essa expansão sem exigir paradas programadas.
A arquitetura deve permitir o crescimento modular. Isso evita a necessidade de uma substituição completa do sistema a cada ciclo de aumento de volume.
Os sistemas Infortrend permitem a conexão de gavetas de expansão (JBODs). O administrador de infraestrutura adiciona novos discos ao sistema de forma simples e rápida.
Essa operação é feita com o sistema online. Os serviços de BI e o banco de dados continuam operando normalmente durante a expansão da capacidade.
Após a adição dos discos, o storage redistribui os dados de forma transparente. O processo é gerenciado para minimizar o impacto no desempenho das aplicações em produção.
Proteção de dados e recuperação ágil
A integridade dos dados em um ambiente de BI é crítica. A perda ou corrupção de informações invalida todo o propósito da análise.
O uso de arranjos RAID é a primeira linha de defesa. Ele protege o volume de dados contra a falha física de um ou mais discos.
RAID, no entanto, não protege contra erro humano, exclusão acidental ou um ataque de ransomware. Para isso, são necessárias outras camadas de proteção.
A tecnologia de snapshots é fundamental nesse cenário. Ela cria cópias instantâneas e pontuais dos volumes de dados, com baixo consumo de espaço.
O time de banco de dados pode criar um snapshot antes de uma grande atualização ou de um processo massivo de carga de dados. Se algo der errado, a restauração para o ponto anterior leva poucos minutos.
Para proteção contra desastres, a replicação remota para uma unidade secundária é a prática recomendada. Os storages Infortrend incluem mecanismos de replicação assíncrona que enviam os dados para outro local e garantem a continuidade do negócio.
Limites e cenários de aplicação
A arquitetura de armazenamento híbrida da Infortrend se encaixa muito bem em médias e grandes empresas. Ela atende com excelência a carga mista de data warehouses tradicionais.
O balanço entre custo e performance é o seu ponto forte. A combinação de SSD e HDD oferece um desempenho robusto para consultas e ETL sem o custo de uma solução all-flash.
Existem cenários onde outras abordagens podem ser mais adequadas. Aplicações que exigem latência ultrabaixa de forma consistente, como bancos de dados transacionais de altíssima frequência, podem se beneficiar de um array totalmente flash.
Da mesma forma, para arquivamento de dados frios com acesso raro, um sistema NAS mais simples e focado em capacidade pode apresentar um custo por terabyte mais vantajoso.
A análise correta do perfil de I/O da aplicação é o que define a escolha. O time de infraestrutura precisa avaliar a demanda real para dimensionar a solução certa.
Ajustando a infraestrutura para o futuro
Investir em uma plataforma de BI sem planejar a infraestrutura de armazenamento subjacente é uma receita para o fracasso. O software não entrega valor se os dados não chegam com agilidade.
Uma arquitetura de armazenamento bem desenhada, como a oferecida pelos sistemas Infortrend, remove gargalos e permite que o ambiente analítico cresça de forma saudável e previsível.
Dimensionar corretamente essa camada de armazenamento é um desafio complexo. Converse com os especialistas da Storage House para desenhar uma solução que suporte o crescimento do seu ambiente de BI.
