O estado da automação em equipas pequenas e médias
Onde é que as equipas em crescimento perdem tempo, que processos automatizam primeiro e o que distingue os projetos que vingam dos que ficam parados.
Ler mais Voltar à investigação
Artigo
Um método simples para avaliar assistentes com LLM em produção
Um ciclo de avaliação prático e barato que as equipas de produto pequenas podem correr a cada nova versão de uma funcionalidade de IA.
Resumo
Propomos um método de avaliação simples para equipas que lançam assistentes baseados em LLM sem uma equipa dedicada de ML. Combina um conjunto selecionado de perguntas, avaliação por critérios e feedback de produção num ciclo que corre a cada versão.
Principais conclusões
- Um pequeno conjunto selecionado de perguntas reais apanha a maioria das regressões.
- Avaliar por critérios é mais estável do que atribuir uma nota única.
- O feedback de polegar para cima/para baixo em produção é a melhor fonte de novos casos de teste.
Motivação
A maioria das equipas lança funcionalidades de IA depois de testar meia dúzia de prompts "a olho". Funciona até deixar de funcionar — uma mudança de modelo ou um ajuste no prompt estraga, sem aviso, respostas em que os utilizadores confiavam.
O ciclo
- Recolher — junta perguntas reais dos utilizadores e as respostas que gostarias de ver.
- Avaliar — pontua cada resposta com critérios simples: correta, fundamentada, útil, segura.
- Comparar — testa cada alteração contra o conjunto e compara com a versão anterior.
- Aprender — transforma o feedback de produção em novos casos de teste.
Exemplo de critérios
| Critério | Pergunta |
|---|---|
| Correta | A resposta está factualmente certa? |
| Fundamentada | Apoia-se nas fontes recuperadas? |
| Útil | Resolve o problema do utilizador? |
| Segura | Evita ações ou afirmações que não deveria fazer? |
Conclusão
A avaliação não precisa de ser cara para ser útil. Precisa de ser consistente.
Comentários 0
Modo de demonstração — os comentários ficam guardados apenas neste navegador. Adiciona as chaves do Firebase ao .env para ativar o início de sessão com Google.
A carregar comentários…