Teste eficiente de pipelines ETL com Python | b…

Sua visita nos ajuda a continuar oferecendo o melhor para você! ij ik il cq du">Porquê detectar instantaneamente problemas de qualidade de dados e identificar suas causas

Sua visita nos ajuda a continuar oferecendo o melhor para você! and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 700px" type="image/webp"/>Sua visita nos ajuda a continuar oferecendo o melhor para você! https://miro.medium.com/v2/resize:fit:1100/0*ly2GnWInhG46Bunr 1100w, https://miro.medium.com/v2/resize:fit:1400/0*ly2GnWInhG46Bunr 1400w" sizes="(min-resolution: 4dppx) and (max-width: 700px) 50vw, (-webkit-min-device-pixel-ratio: 4) and (max-width: 700px) 50vw, (min-resolution: 3dppx) and (max-width: 700px) 67vw, (-webkit-min-device-pixel-ratio: 3) and (max-width: 700px) 65vw, (min-resolution: 2.5dppx) and (max-width: 700px) 80vw, (-webkit-min-device-pixel-ratio: 2.5) and (max-width: 700px) 80vw, (min-resolution: 2dppx) and (max-width: 700px) 100vw, (-webkit-min-device-pixel-ratio: 2) and (max-width: 700px) 100vw, 700px"/>

No mundo atual, orientado por dados, as organizações dependem fortemente de dados precisos para tomar decisões comerciais críticas. Porquê engenheiro de dados responsável e confiável, prometer a qualidade dos dados é fundamental. Mesmo um breve período de exibição de dados incorretos em um tela pode levar à rápida disseminação de informações incorretas por toda a organização, da mesma forma que um vírus altamente infeccioso se espalha por um organização vivo.

Mas porquê podemos evitar isso? Idealmente, evitaríamos totalmente problemas de qualidade dos dados. No entanto, a triste verdade é que é impossível evitá-los completamente. Ainda assim, existem duas ações principais que podemos tomar para mitigar o impacto.

1. Seja o primeiro a saber quando surgir um problema de qualidade de dados
2. Minimize o tempo necessário para emendar o problema

Neste blog, mostrarei porquê implementar o segundo ponto diretamente em seu código. Criarei um pipeline de dados em Python usando dados gerados pelo Mockaroo e aproveitarei o Tableau para identificar rapidamente a justificação de quaisquer falhas. Se você está procurando uma estrutura de teste escolha, confira meu cláusula sobre Uma introdução às grandes expectativas com python.