CX para SaaS · 7 min
Como analisar as respostas abertas de uma pesquisa de satisfação
As regras para transformar comentário solto em direção de decisão: contagem por pessoa, a queixa depois do mas, o que a lista de palavras não resolve, e como medir se a sua análise acerta.
Por Diogo Kammers · 08/09/2026
O que a nota não conta
Uma pesquisa de satisfação devolve dois tipos de dado. A nota diz se foi bom ou ruim. O comentário diz sobre o quê. Operações que olham só a nota sabem que o número caiu e não sabem o que consertar.
Analisar respostas abertas é o trabalho de transformar texto solto em direção de decisão. O que segue são as regras que a DNACX usa para fazer isso, incluindo as que nasceram de erro corrigido, e o número que mede se a análise acerta.
Regra 1: conte por pessoa, nunca por linha
Quem responde NPS e CSAT no mesmo formulário escreveu um comentário. Se a contagem for por linha, essa pessoa vira duas.
O efeito é maior do que parece. Numa pesquisa que mistura métricas, os percentuais de sentimento somam mais de 100% e ninguém percebe, porque cada número isolado parece plausível. Aqui isso foi corrigido em 22/08/2026, depois de uma análise mista fechar em 200%.
A regra vale para tudo: sentimento, palavras mais citadas, temas. Uma pessoa, uma vez.
Regra 2: adjetivo de polaridade pura fica fora da contagem de temas
"Ótimo", "excelente", "péssimo" e "positiva" dizem se foi bom ou ruim. Não dizem sobre o quê. Se esses adjetivos entram na lista de palavras mais citadas, a lista devolve o que você já sabia pela nota, e o tema real fica embaixo deles.
Pelo mesmo motivo saem os pronomes de pessoa indefinida. "Ninguém" e "alguém" apontam que faltou alguém, e não sobre o que faltou.
Quem mede polaridade é o sentimento. A contagem de palavras existe para responder outra pergunta.
Regra 3: a queixa é o que vem depois do "mas"
Esta é a regra que mais muda o resultado, e a mais fácil de errar.
Em "a equipe foi cordial, mas faltou agilidade", a queixa é agilidade. A palavra "equipe" está na parte elogiada da frase. Uma contagem ingênua registra as duas, e conclui que os clientes reclamam da equipe.
A regra tem escopo, e o escopo importa:
- Vale quando a pergunta é "do que os clientes reclamam".
- Deixa de valer quando a pergunta é "sobre o que os clientes falam", porque aí as duas metades contam.
E a citação mostrada ao time deve ser a frase inteira. É o "mas" que dá o contexto, e cortar a primeira metade transforma um elogio com ressalva numa reclamação.
Regra 4: quatro construções que invertem o sentido
Classificar sentimento por vocabulário funciona até a frase virar. Quatro casos precisam de tratamento explícito, e nenhum deles é raro em pesquisa de cliente.
Negação. "Não tive nenhum problema" é elogio, e carrega a palavra "problema".
Adversativa. Em "X mas Y", quem decide é Y. "Bom, mas péssimo" é reclamação.
Expressão de várias palavras. "Deixa a desejar", "vale a pena", "bem atendido", "poderia ser mais barato", "nunca mais". Nenhuma se resolve palavra por palavra.
Superlativo com negador. "Nunca foi tão simples" é elogio, e começa com "nunca".
O que não se resolve, e é melhor declarar
Ironia, sarcasmo e comparação com concorrente ficam fora do alcance de qualquer lista de palavras. Frases cujo sentido vem da situação também: "voltei a comprar por causa do atendimento" é elogio evidente para um leitor humano e não tem uma única palavra de elogio.
A escolha aqui é deixar esses casos como neutro em vez de chutar. Comentário sem palavra claramente positiva ou negativa fica de fora dos dois lados.
Como saber se a sua análise acerta
Toda análise de texto erra. A pergunta útil é quanto e de que jeito, e isso se mede com um conjunto de casos rotulados à mão, separado em partes.
A partição é o que impede o autoengano:
- Um conjunto de ajuste, usado para calibrar as regras.
- Um conjunto de holdout, guardado.
- Conjuntos cegos, escritos por quem não olhou o classificador.
O número que vale reportar é o dos cegos. O de ajuste está contaminado pela calibração e infla a média.
Os números da nossa análise
O léxico da ferramenta de Pesquisa de Satisfação da DNACX é medido contra 268 comentários rotulados, divididos dessa forma. O resultado:
| Conjunto | Acerto |
|---|---|
| Ajuste, que calibra | 96,9% |
| Holdout | 92,5% |
| Cego 1 | 92,0% |
| Cego 2 | 94,0% |
Nos conjuntos cegos, portanto, entre 92% e 94%.
O erro que engana e o erro que só falta
Nem todo erro custa o mesmo, e essa distinção deveria estar em qualquer relatório de análise de texto.
Inversão é chamar reclamação de elogio, ou o contrário. É o erro que engana, porque entra na contagem com o sinal trocado e move a decisão para o lado errado. No conjunto de 268, a inversão acontece em 2 casos, ou 0,7%.
Não detectado é o comentário que sai como neutro. Acontece em 10 casos, ou 3,7%. Esse erro subtrai volume sem distorcer direção: deixa de contar em vez de contar errado.
Uma análise com 4% de casos não detectados e 0,7% de inversão serve para decidir prioridade. Uma com 0,7% de não detectados e 4% de inversão não serviria, mesmo tendo a mesma acurácia total.
Como aplicar sem ferramenta nenhuma
Com menos de duzentos comentários, isso se faz numa planilha em uma tarde:
- Junte as respostas por pessoa antes de qualquer contagem.
- Leia uma vez marcando só positivo, negativo ou neutro, sem tema.
- Na segunda passada, marque o tema só da parte que carrega a queixa.
- Tire adjetivos de polaridade da contagem de temas.
- Separe cinquenta comentários antes de começar, classifique-os no fim, e compare. É o seu conjunto cego, e ele diz se as suas regras funcionam ou se você está vendo o que quer ver.
O passo 5 é o que quase ninguém faz, e é o único que transforma leitura de comentário em medição.
Esse artigo faz parte do hub CX para SaaS.