|
Getting your Trinity Audio player ready... |
Lições aprendidas ao levar produtos baseados em LLM para a produção
O que acontece quando você pega um chatbot funcional que já atende milhares de clientes por dia em quatro idiomas diferentes e tenta entregar uma experiência ainda melhor usando Large Language Models? Boa pergunta.
É muito sabido que julgar e confrontar LLMs é complicado. Conjuntos de dados de referência podem ser difíceis de obter, e métricas uma vez que BLEU são imperfeitas. Mas essas são preocupações amplamente acadêmicas: uma vez que as equipes de dados do setor estão lidando com essas questões ao incorporar LLMs em projetos de produção?
No meu trabalho uma vez que Engenheiro de IA Conversacional, estou fazendo exatamente isso. E foi logo que acabei no meio do palco em uma conferência recente de ciência de dados, dando a palestra (intitulada de forma otimista), “Sem traço de base? Sem benchmarks? Zero demais!” O post de hoje é uma recapitulação disso, apresentando:
- Sua visita nos ajuda a continuar oferecendo o melhor para você! ow ox oy oz pa pb pc pd pe bk">Os desafios de julgar um PoC em evolução, nutrido por LLM, em verificação com um chatbot funcional
- Uma vez que estamos usando diferentes tipos de testes em diferentes estágios do processo de PoC para produção
- Prós e contras práticos de diferentes tipos de teste
Não perdida a chance de explorar nossos produtos na loja.
Dê um passo primeiro e conquiste sua liberdade financeira trabalhando no conforto da sua vivenda ou escritório.
