Neste cláusula vou mostrar uma vez que gerar seu próprio conjunto de dados RAG formado por contextos, perguntas e respostas de documentos em qualquer linguagem.
Geração Aumentada de Recuperação (RAG) [1] é uma técnica que permite aos LLMs acessar uma base de conhecimento externa.
Ao fazer upload de arquivos PDF e armazená-los em um banco de dados vetorial, podemos restabelecer esse conhecimento por meio de uma pesquisa de similaridade vetorial e, em seguida, inserir o texto renovado no prompt do LLM uma vez que contexto suplementar.
Isto fornece ao LLM novos conhecimentos e reduz a possibilidade de o LLM inventar factos (alucinações).
O pipeline RAG imprescindível. Imagem do responsável do cláusula “Uma vez que erigir um chatbot LLM lugar de código lhano com RAG”No entanto, há muitos parâmetros que precisamos definir em um pipeline RAG, e os pesquisadores estão sempre sugerindo novas melhorias. Uma vez que sabemos quais parâmetros escolher e quais métodos realmente melhorarão o desempenho para nosso caso de uso específico?
É por isso que precisamos de um conjunto de dados de validação/desenvolvimento/teste para calcular nosso pipeline RAG. O conjunto de dados deve ser do domínio que estamos interessados…
Tags:
Crédito: Natividade Original
Adriano Pina
Análise de Sistemas | SEO e Google Ads | Fundador da Loja Script PHP Aqui & Marca Shoslh de tecnologia
Especialista em transformar ideias em soluções digitais e acelerar o crescimento online.
