Estratégias de Sincronização

Em um mundo onde os dados fluem de diversas fontes e em ritmos variados, a sincronização eficaz torna-se uma peça-chave para a manutenção da integridade e relevância da informação. Dependendo da natureza dos dados e da frequência de suas mudanças, diferentes estratégias de sincronização podem ser usadas, de acordo com cada cenário.

Nesta seção, exploramos as abordagens fundamentais que orientarão como os dados são sincronizados entre sua fonte original e o Looqlake:

• Carga Substitutiva: Onde todos os dados são reenviados e substituem o conjunto anterior, ideal para datasets menores ou que necessitam de atualizações completas.

• Carga Incremental: Uma estratégia que envia apenas os novos registros ou mudanças desde a última sincronização, otimizando o uso de recursos e tempo.

• Incremental com Janela de Substituição: Combina aspectos das duas estratégias anteriores, permitindo a atualização de registros em uma janela de tempo específica.

Ao compreender cada uma dessas estratégias, você estará equipado para tomar decisões informadas sobre como manter seus dados atualizados e consistentes.

Carga Substitutiva

Descrição: Nesta abordagem, todos os dados são carregados na primeira execução. Nas subsequentes, os novos dados são adicionados, substituindo os antigos no Looqlake.

Aplicação: Usado predominantemente para volumes menores de dados, como em tabelas de produtos que precisam estar sempre atualizadas, mas sem manter o histórico de alterações.

Carga Incremental

Descrição: Na primeira execução, todos os dados são carregados. Nas execuções subsequentes, os novos registros são adicionados aos dados antigos, construindo assim um histórico.

Aplicação: Comum para tabelas de vendas que necessitam ser atualizadas diariamente com as vendas do dia anterior, sempre incrementando os dados na tabela existente (ex.: carga d-1 ou d0).

Incremental com Janela de Substituição

Descrição: Similar à carga incremental, porém com a diferença de que, nas execuções subsequentes, novos dados são adicionados e parte dos registros existentes é deletada e substituída (a partir de uma regra de negócio previamente definida).

Aplicação: Útil para tabelas que possuem atualizações retroativas até determinados dias no passado. Por exemplo, uma tabela de vendas que atualiza retroativamente até os últimos 5 dias (carga d-5).