# Medir a qualidade e o custo da IA

Curso da DNACX (IA by DNACX). Mini curso de 30 minutos, nível operar, na prateleira "Operação".

- Você sai com: Uma lista de casos de teste para uma tarefa sua, uma planilha de avaliação e uma regra simples para decidir se a IA já pode ser usada nessa tarefa
- Ferramentas: Claude · gratuito
- Antes de começar, faça: Base de conhecimento e perguntas frequentes, Escolher a ferramenta e o custo
- Testado: Testado em 27/10/2026 em Claude gratuito (criação dos casos de teste); o exemplo de medição usa os resultados do “Base de conhecimento e perguntas frequentes”, testados em 27/10/2026.
- Reconferir até 25/01/2027
- Página: https://dnacx.online/ia/cursos/medir-a-qualidade-e-o-custo-da-ia

## Antes de começar

"Está funcionando" não é medida. Este curso ensina a medir com **casos de teste**: perguntas ou pedidos para os quais você já sabe a resposta certa, rodados na ferramenta, com acerto e erro marcados. Serve para escolher entre ferramentas e para saber quando uma mudança (nova versão, novo pedido) piorou o resultado.

**Privacidade:** casos de teste não levam dado real de cliente. Troque por casos fictícios parecidos (“Segurança, dados e custo”).

## Aula 1 · O que vale medir (5 min)

Três perguntas por tarefa:

1. **Acertou?** O conteúdo está certo segundo uma resposta que você já tem.
2. **Inventou?** Afirmou algo que não estava no que você deu (prazo, regra, serviço, desconto, moeda).
3. **Respeitou o formato?** Tamanho, tabela, número de linhas.

Os testes dos cursos mostraram os três tipos de falha: número errado **não** apareceu nos indicadores (“Indicadores do mês com IA”), mas **invenção** apareceu em vários (o escopo do serviço inventado no “Mensagens e follow-up”, uma regra estendida no “Base de conhecimento e perguntas frequentes”, "R$" acrescentado no “Reuniões e decisões” e no “Indicadores do mês com IA”), e o **formato** falhou em duas ferramentas no “Indicadores do mês com IA” ("3 linhas").

## Aula 2 · Peça os casos de teste à própria IA (10 min)

Pedido testado em 27/10/2026 no Claude gratuito, com a base de atendimento do “Base de conhecimento e perguntas frequentes”:

`Contexto: atendo clientes de uma loja de roupas online. Base de conhecimento: 'Troca em até 7 dias corridos após o recebimento, com etiqueta. Frete da troca por conta da loja apenas em caso de defeito. Itens íntimos e em promoção não trocam. Reembolso em até 5 dias úteis após recebermos o item.' Tarefa: crie 6 perguntas de teste para uma IA de atendimento que só pode responder com essa base: 4 que a base responde e 2 que ela não responde. Formato: tabela com as colunas número, pergunta, resposta esperada e tipo (dentro ou fora da base). Critério: nas perguntas fora da base, a resposta esperada é 'não sei, vou confirmar com a equipe'; nas de dentro, a resposta esperada usa só o texto da base.`

O Claude devolveu 4 perguntas dentro da base (prazo de troca, frete em caso de defeito, item íntimo, prazo do reembolso) e 2 fora (loja física; trocar o tamanho por outro igual), com as respostas esperadas e uma observação: nas perguntas fora da base, qualquer resposta diferente de "não sei" deve contar como falha. **Revise cada pergunta e cada resposta esperada antes de usar:** a IA escreveu o gabarito, e gabarito errado estraga a medida.

## Aula 3 · Monte a planilha e some (10 min)

1. Faça uma planilha com as colunas: caso, resposta da ferramenta, **acertou (sim ou não)**, **inventou (sim ou não)**, formato (ok ou não).
2. Cada ferramenta que você comparar ganha as suas linhas, com a resposta colada de uma conversa nova.
3. Marque linha por linha e some os acertos.

**Exemplo com os resultados dos testes do “Base de conhecimento e perguntas frequentes”** (3 perguntas, uma delas fora da base): Claude, 3 de 3; ChatGPT Plus, 3 de 3; Gemini gratuito, 2 de 3 (na pergunta fora da base, respondeu "Não" e citou a regra de troca). Três perguntas **são pouco**: serve para ilustrar, não para decidir. Use pelo menos 10 casos por tarefa (orientação do curso).

## Aula 4 · Custo e decisão (5 min)

1. **Custo em dinheiro:** é o preço do plano que você usa (veja o “Escolher a ferramenta e o custo”). Compare o que você paga por mês com o número de tarefas que a IA faz com qualidade.
2. **Custo em tempo:** o seu tempo de conferir cada resposta também conta, e é ele que decide se vale revisar tudo ou só uma amostra.
3. **Regra de decisão sugerida (do curso, não de ferramenta):** use a IA nessa tarefa quando acertar quase todos os casos, **não inventar em nenhum caso fora da base** e você ainda conseguir revisar cada resposta antes de enviar. Defina o seu "quase todos" antes de rodar.
4. **Refaça a medição** quando trocar de ferramenta, de plano ou de pedido.

## Prática (a executar por você)

1. Escolha uma tarefa sua (por exemplo, responder uma dúvida frequente).
2. Peça à IA os casos de teste, alguns deles fora do que ela sabe, e revise o gabarito.
3. Rode cada caso na ferramenta, em conversa nova, e cole a resposta na planilha da Aula 3.
4. Marque acertou, inventou e formato linha por linha e some os acertos.
5. Escreva a sua regra de decisão e a data do próximo teste.

## Checklist

- [ ] Revisei o gabarito que a IA escreveu.
- [ ] Os casos têm perguntas fora do que a IA deve saber.
- [ ] Montei a planilha com acerto, invenção e formato.
- [ ] Rodei os casos na ferramenta e marquei cada resposta.
- [ ] Defini minha regra de decisão antes de rodar.
- [ ] Marquei a data de refazer a medição.

## Como testamos

| Passo | Conta | Resultado |
| --- | --- | --- |
| Criar 6 casos de teste com a base do “Base de conhecimento e perguntas frequentes” | Claude gratuito | 4 dentro e 2 fora da base, com gabarito |

## Fontes

Testes da DNACX de 27/10/2026. Nenhuma alegação sobre preços neste curso; os preços estão no “Escolher a ferramenta e o custo”.