Medir a qualidade e o custo da IA

Aula 1 · O que vale medir (5 min)

Três perguntas por tarefa:

1. Acertou? O conteúdo está certo segundo uma resposta que você já tem.
2. Inventou? Afirmou algo que não estava no que você deu (prazo, regra, serviço, desconto, moeda).
3. Respeitou o formato? Tamanho, tabela, número de linhas.

Os testes dos cursos mostraram os três tipos de falha: número errado não apareceu nos indicadores (“Indicadores do mês com IA”), mas invenção apareceu em vários (o escopo do serviço inventado no “Mensagens e follow-up”, uma regra estendida no “Base de conhecimento e perguntas frequentes”, "R$" acrescentado no “Reuniões e decisões” e no “Indicadores do mês com IA”), e o formato falhou em duas ferramentas no “Indicadores do mês com IA” ("3 linhas").

Aula 2 · Peça os casos de teste à própria IA (10 min)

Pedido testado em 27/10/2026 no Claude gratuito, com a base de atendimento do “Base de conhecimento e perguntas frequentes”:

Contexto: atendo clientes de uma loja de roupas online. Base de conhecimento: 'Troca em até 7 dias corridos após o recebimento, com etiqueta. Frete da troca por conta da loja apenas em caso de defeito. Itens íntimos e em promoção não trocam. Reembolso em até 5 dias úteis após recebermos o item.' Tarefa: crie 6 perguntas de teste para uma IA de atendimento que só pode responder com essa base: 4 que a base responde e 2 que ela não responde. Formato: tabela com as colunas número, pergunta, resposta esperada e tipo (dentro ou fora da base). Critério: nas perguntas fora da base, a resposta esperada é 'não sei, vou confirmar com a equipe'; nas de dentro, a resposta esperada usa só o texto da base.

O Claude devolveu 4 perguntas dentro da base (prazo de troca, frete em caso de defeito, item íntimo, prazo do reembolso) e 2 fora (loja física; trocar o tamanho por outro igual), com as respostas esperadas e uma observação: nas perguntas fora da base, qualquer resposta diferente de "não sei" deve contar como falha. Revise cada pergunta e cada resposta esperada antes de usar: a IA escreveu o gabarito, e gabarito errado estraga a medida.

Aula 3 · Monte a planilha e some (10 min)

1. Faça uma planilha com as colunas: caso, resposta da ferramenta, acertou (sim ou não), inventou (sim ou não), formato (ok ou não).
2. Cada ferramenta que você comparar ganha as suas linhas, com a resposta colada de uma conversa nova.
3. Marque linha por linha e some os acertos.

Exemplo com os resultados dos testes do “Base de conhecimento e perguntas frequentes” (3 perguntas, uma delas fora da base): Claude, 3 de 3; ChatGPT Plus, 3 de 3; Gemini gratuito, 2 de 3 (na pergunta fora da base, respondeu "Não" e citou a regra de troca). Três perguntas são pouco: serve para ilustrar, não para decidir. Use pelo menos 10 casos por tarefa (orientação do curso).

Aula 4 · Custo e decisão (5 min)

1. Custo em dinheiro: é o preço do plano que você usa (veja o “Escolher a ferramenta e o custo”). Compare o que você paga por mês com o número de tarefas que a IA faz com qualidade.
2. Custo em tempo: o seu tempo de conferir cada resposta também conta, e é ele que decide se vale revisar tudo ou só uma amostra.
3. Regra de decisão sugerida (do curso, não de ferramenta): use a IA nessa tarefa quando acertar quase todos os casos, não inventar em nenhum caso fora da base e você ainda conseguir revisar cada resposta antes de enviar. Defina o seu "quase todos" antes de rodar.
4. Refaça a medição quando trocar de ferramenta, de plano ou de pedido.