Pipelines - API

Tipos de APIs

Há uma variedade de interfaces de API que se pode encontrar, dentre as mais comuns estão:

• RESTful APIs: Este é o tipo mais comum, utilizado para realizar operações CRUD (Create, Read, Update e Delete) usando URLs e verbos HTTP.

• SOAP: Uma abordagem mais antiga, baseada em XML, para criar APIs.

• Webhooks: Diferente das APIs tradicionais que são solicitadas, os webhooks enviam informações automaticamente quando algo acontece. Para eles, uma função de nuvem é geralmente necessária para receber esses eventos.

Mecanismos de Autenticação

A autenticação garante que apenas usuários autorizados acessem a API. Os clientes precisam informar o mecanismo de autenticação:

• Token: Alguns clientes simplesmente fornecem um token, que é usado como parâmetro em todas as requisições.

• Oauth2: Um protocolo mais robusto, que pode exigir informações adicionais, como client_id e client_secret. Dependendo do mecanismo, pode haver necessidade de gerar um novo token após um período ou reutilizá-lo se ainda estiver válido.

Complexidade na Implementação

As APIs podem ser mais desafiadoras de integrar do que bancos de dados ou buckets devido a:

• Documentação: A documentação é crucial para entender a autenticação e os endpoints. No entanto, para APIs internas, essa documentação pode não ser tão clara ou abrangente.

• Desconhecimento do Cliente: Muitas vezes, o cliente não sabe exatamente como a API funciona, apenas deseja os dados.

• Endpoints Variados: Cada endpoint pode ter suas peculiaridades. Alguns podem aceitar parâmetros, outros não. Alguns podem depender de outros endpoints para fornecer dados completos.

Tratamento de Dados da API

Os dados provenientes de APIs podem exigir tratamentos específicos devido à sua natureza bruta. Exemplos incluem:

• Conversão de datas de formatos diversos para um formato compatível.

• Padronização de strings para uniformidade.

• Remoção de duplicatas.

Estratégias de Sincronização de Dados

A periodicidade padrão varia de uma vez por dia até uma vez a cada 30 minutos. As principais estratégias de obtenção são:

• Carga Substitutiva

• Carga Incremental

• Incremental com Janela de Substituição

A abordagem pode depender das especificidades do endpoint escolhido.

Periodicidade de Atualização

É crucial definir a frequência com que o Looqlake consultará a API alvo. Entenda mais sobre as possibilidades de configuração:

• Scheduled/Agendamento

• Webhook

Embora a periodicidade de atualização possa ser alta em bancos de dados, para APIs, ela tende a ser menos frequente devido a:

• Limitações de Taxa (Rate Limit): Muitas APIs possuem restrições quanto ao número de chamadas em um período.

• Tempo de Processamento: Devido a possíveis atrasos entre as chamadas, o processo de carga pode ser mais lento.

Para atualizações de alta frequência, o uso de webhooks é geralmente recomendado.

---

Ao trabalhar com APIs, é vital entender as especificidades de cada API e planejar a integração de forma meticulosa para garantir uma coleta de dados eficiente e confiável.