Imagem gerada com FLUX.1 [dev] e editado com Canva Pro
Você já se perguntou por que seu projeto de ciência de dados parece desorganizado ou por que os resultados são piores do que um padrão de base? É provável que você esteja cometendo 5 erros comuns, mas significativos. Felizmente, eles podem ser facilmente evitados com uma abordagem estruturada.
Neste blog, discutirei cinco erros comuns cometidos por cientistas de dados e fornecerei soluções para superá-los. É tudo sobre reconhecer essas armadilhas e trabalhar ativamente para mourejar com elas.
1. Precipitar-se em projetos sem objetivos claros
Se você recebesse um conjunto de dados e seu gerente pedisse para você realizar uma estudo de dados, o que você faria? Normalmente, as pessoas esquecem o objetivo do negócio ou o que estamos tentando depreender ao explorar os dados e pulam diretamente para o uso de pacotes Python para visualizar os dados e dar sentido a eles. Isso pode levar ao desperdício de recursos e resultados inconclusivos. Sem objetivos claros, é fácil se perder nos dados e perder os insights que realmente importam.
Porquê evitar isso:
- Comece definindo claramente o problema que você quer resolver.
- Interaja com as partes interessadas/clientes para entender suas necessidades e expectativas.
- Desenvolva um projecto de projeto que descreva os objetivos, o escopo e as entregas.
2. Desconsiderando o vital
Negligenciar etapas fundamentais uma vez que limpeza de dados, transformação e compreensão de cada recurso no conjunto de dados pode levar a análises falhas e suposições imprecisas. A maioria dos cientistas de dados nem mesmo entende fórmulas estatísticas e unicamente usa código Python para executar análises exploratórias de dados. Esta é a abordagem errada. Você precisa escolher qual método estatístico deseja usar para o caso de uso específico.
Porquê evitar isso:
- Invista tempo em dominar os conceitos básicos da ciência de dados, incluindo estatística, limpeza de dados e estudo exploratória de dados.
- Mantenha-se atualizado lendo recursos Sua visita nos ajuda a continuar oferecendo o melhor para você! e trabalhando em projetos práticos para erigir uma base sólida.
- Baixe o guia sobre vários tópicos de ciência de dados e leia-o regularmente para prometer que suas habilidades permaneçam afiadas e relevantes.
3. Escolhendo as visualizações erradas
Escolher um gráfico de visualização de dados multíplice ou juntar cor ou descrição importa? Não. Se sua visualização de dados não legar as informações corretamente, ela será inútil e, às vezes, poderá enganar as partes interessadas.
Porquê evitar isso:
- Entenda os pontos fortes e fracos dos diferentes tipos de visualização.
- Escolha visualizações que melhor representem os dados e a história que você deseja descrever.
- Use várias ferramentas uma vez que Seaborn, Plotly e Matplotlib para juntar detalhes, animação e visualização interativa e instaurar a melhor e mais eficiente maneira de legar suas descobertas.
4. Falta de engenharia de recursos
Ao erigir os dados do padrão, os cientistas se concentrarão na limpeza de dados, transformação, seleção de modelos e montagem. Eles se esquecerão de executar a lanço mais importante: engenharia de recursos. Os recursos são as entradas que impulsionam as previsões do padrão, e recursos mal escolhidos podem levar a resultados inferior do ideal.
Porquê evitar isso:
- Crie mais recursos a partir de recursos já existentes ou elimine recursos completos de inferior impacto usando vários métodos de seleção de recursos.
- Dedique tempo para entender os dados e o domínio para identificar recursos significativos.
- Colabore com especialistas do domínio para obter insights sobre quais recursos podem ser mais preditivos ou execute análises Shap para entender quais recursos têm mais impacto em um determinado padrão.
5. Focando mais na precisão do que no desempenho do padrão
Priorizar a precisão sobre outras métricas de desempenho pode levar a modelos tendenciosos que têm desempenho ruim em ambientes de produção. Subida precisão nem sempre equivale a um bom padrão, principalmente se ele superajusta os dados ou tem bom desempenho em rótulos principais, mas ruim em rótulos menores.
Porquê evitar isso:
- Avalie modelos usando uma variedade Sua visita nos ajuda a continuar oferecendo o melhor para você! métricas, uma vez que precisão, recall, pontuação F1 e AUC-ROC, dependendo do contexto do problema.
- Interaja com as partes interessadas para entender quais métricas são mais importantes para o contexto empresarial.
Desenlace
Esses são alguns dos erros comuns que uma equipe de ciência de dados comete de tempos em tempos. Esses erros não podem ser ignorados.
Se você deseja manter seu serviço na empresa, sugiro fortemente que melhore seu fluxo de trabalho e aprenda a abordagem estruturada para mourejar com quaisquer problemas de ciência de dados.
Neste blog, aprendemos sobre 5 erros que cientistas de dados cometem regularmente e eu forneci soluções para esses problemas. A maioria dos problemas ocorre devido à falta de conhecimento, habilidades e problemas estruturais no projeto. Se você puder trabalhar nisso, tenho certeza de que se tornará um investigador de dados sênior em pouco tempo.
Abid Ali Awan (@1abidaliawan) é um investigador de dados profissional certificado que adora erigir modelos de tirocínio de máquina. Atualmente, ele está se concentrando na geração de teor e na escrita de blogs técnicos sobre tirocínio de máquina e tecnologias de ciência de dados. Abid tem mestrado em gestão de tecnologia e bacharelado em engenharia de telecomunicações. Sua visão é erigir um resultado de IA usando uma rede neural de gráfico para alunos que lutam contra doenças mentais.
