Automatizando ETL para servidor SFTP usando Python e SQL | por Mary Ara | agosto de 2024

Aprenda a automatizar um processo quotidiano de transferência de dados no Windows, do banco de dados PostgreSQL para um servidor remoto

 

 

Sua visita nos ajuda a continuar oferecendo o melhor para você! 4) and (max-width: 700px) 50vw, (min-resolution: 3dppx) and (max-width: 700px) 67vw, (-webkit-min-device-pixel-ratio: 3) and (max-width: 700px) 65vw, (min-resolution: 2.5dppx) and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 700px" data-testid="og" />

O processo de transferência de arquivos de um sítio para outro é obviamente um candidato perfeito para automação. Pode ser tremendo fazer isso repetidamente, principalmente quando você tem que executar todo o processo ETL (Extract, Transform, Load) para vários grupos de dados.

Imagine que sua empresa tem seus dados em seu data warehouse e, portanto, decide terceirizar troço de suas análises para um fornecedor extrínseco de estudo de dados. Oriente fornecedor está oferecendo um software de estudo personalizado que exibirá painéis e relatórios para a equipe de produção principal de sua empresa.

A implicação disso é que você, porquê engenheiro de dados, terá que transferir dados para esse fornecedor diariamente, a cada hora, a cada 30 minutos ou em qualquer outra frequência decidida pelo contrato de terceirização.

Oriente cláusula explica em detalhes esse processo ETL que inclui um upload SFTP. Incorporaremos o Secure File Transfer Protocol (SFTP), que é um meio seguro de transferir arquivos entre dois servidores remotos, criptografando os arquivos usando o que é divulgado porquê protocolo Secure Shell (SSH).