NPS falso: quando a pesquisa vira métrica de vaidade

O NPS vira métrica de vaidade quando a empresa pede nota máxima ao cliente em vez de pedir uma resposta sincera: a nota sobe e deixa de medir lealdade.

"Seu NPS é real ou fake?" é a pergunta de um carrossel que publiquei no LinkedIn em setembro de 2022 e de novo em março de 2024. Voltei a ele porque o problema continuava aparecendo: empresas usando o NPS para colecionar elogio em vez de ouvir o cliente.

De onde vem o NPS e o que ele promete medir

O NPS nasceu no artigo The One Number You Need to Grow, de Frederick Reichheld, publicado na Harvard Business Review em dezembro de 2003. O resumo descreve dois anos de pesquisa testando perguntas contra o comportamento real dos clientes, compras e indicações, e contra o crescimento das empresas. A pergunta que melhor previu crescimento foi a de recomendação: o cliente indicaria a empresa a um amigo?

O argumento de Reichheld: quem indica uma empresa põe a própria reputação em jogo, e só faz isso quando sente lealdade de verdade.

A regra de cálculo está na página da Bain sobre o Net Promoter 3.0 (2021): promotores dão 9 ou 10, neutros dão 7 ou 8, detratores dão 6 ou menos, e o NPS é a porcentagem de promotores menos a porcentagem de detratores.

O que o NPS entrega quando é bem usado

O NPS é simples de aplicar, e o cliente responde rápido, desde que esteja engajado. Ele separa detratores, neutros e promotores, e isso permite criar uma estratégia de melhoria para cada grupo. A nota calculada a partir das respostas mostra em que patamar de experiência a empresa está e deixa acompanhar a evolução das ações de melhoria ao longo do tempo.

Tudo isso depende de uma condição: a resposta precisa ser sincera.

Como o NPS vira métrica de vaidade

Muitas empresas, ao lançar a pesquisa, pedem informalmente "nota máxima" em vez de pedir sinceridade. A capa do carrossel mostrava isso com uma seta apontando para o 10 e a legenda "É o melhor pra nós". Nesse ponto o NPS passa a ser usado como métrica de vaidade, na mesma linha do like e do número de seguidores.

Nada contra métrica de vaidade. O NPS só não é uma delas.

O próprio criador da métrica chegou à mesma palavra. No texto de 2021, Reichheld, Darci Darnell e Maureen Burns escrevem que algumas empresas transformaram o NPS em "vanity statistics", estatística de vaidade, e listam as três formas de fabricar a nota que viram no mercado:

• Súplica: o atendente diz que vai perder o emprego se o cliente não der 10.
• Suborno: a empresa oferece troca de óleo grátis em troca de um 10.
• Manipulação: a pesquisa nunca vai para o cliente que teve o pedido negado.

O mesmo texto cita um abuso cometido por quem aplicava a métrica sem experiência: ligar a nota ao bônus da linha de frente, o que fez as equipes se importarem mais com a nota do que com aprender a atender melhor.

Por que o NPS falso custa caro

Quem usa o NPS falso quer receber elogio e usar a nota para ganhar status e reputação. A conta chega depressa. O cliente sabe o produto que tem e o atendimento que recebe, e poucas coisas irritam tanto quanto se sentir enganado.

Um cliente enganado é pior do que um detrator, porque não descansa enquanto não conta para todo mundo que foi enganado.

Há também o custo interno. Uma nota inflada esconde exatamente os problemas que a pesquisa existia para mostrar, e a empresa passa a tomar decisão sobre um retrato que não existe.

NPS relacional e NPS transacional

Misturar dois tipos de pesquisa num número só também infla a nota. A Bain descreve três formas de coletar a nota na página Three Types of Net Promoter Scores:

Três regras da mesma página mudam a forma de montar a pesquisa:

1. Relacional e transacional não se comparam diretamente. São duas pesquisas, dois números e dois gráficos.
2. O mesmo cliente recebe no máximo um convite a cada três meses, e o transacional fica só nas interações de maior impacto.
3. Nos dois casos, o cliente que deixou um retorno que ensina algo recebe um contato de volta. É o fechamento do loop.

Na prática que descrevi no artigo sobre NPS para PMEs com método honesto, o relacional vai uma vez por ano para todos os clientes ativos, e o transacional sai depois de eventos críticos como onboarding, suporte resolvido e renovação. Quando os dois entram no mesmo painel, fica impossível saber se a nota mudou porque a relação mudou ou porque mudou a proporção entre os dois tipos de pesquisa na rodada.

Como separar quem aplica de quem é avaliado

A Bain aponta o duplo-cego do benchmark competitivo como o jeito de eliminar o viés de quem responde: com um terceiro perguntando, a chance de ouvir quem gosta e quem não gosta da empresa é a mesma. Sem terceiro, o caminho é tirar a nota da mão de quem é avaliado por ela. O checklist que eu uso:

1. O convite sai do sistema, disparado por regra. O atendente não escolhe para quem manda nem quando manda.
2. A lista de envio é a base inteira do gatilho. Todo cliente que passou pelo evento recebe, inclusive o que teve o pedido negado.
3. Quem é avaliado não vê a resposta individual antes de ela entrar no consolidado. Vê o comentário, que é o que ensina, e vê depois.
4. A nota não entra na meta individual. A meta de quem atende pode ser a taxa de resposta e o prazo de retorno ao detrator, que dependem do trabalho dele e não da boa vontade do cliente.
5. Brinde, se houver, é igual para qualquer nota. O incentivo vale para responder, nunca para a nota.
6. O relatório publica o processo junto com o número: quem recebeu, quantos responderam, qual foi o gatilho. É exatamente o que o texto de 2021 aponta como ausente nos relatórios que viram estatística de vaidade.

Roteiro para perguntar e obter resposta sincera

O roteiro que eu recomendo, do convite ao agradecimento:

1. Quem assina o convite: a empresa, ou a liderança. Nunca o atendente que acabou de atender.
2. Texto do convite: "Queremos saber como foi a sua experiência com a gente, do jeito que ela foi. Sua resposta vai direto para a equipe que decide o que mudar." Sem menção a nota, a meta ou a pessoa.
3. A pergunta: "De 0 a 10, qual a probabilidade de você recomendar a [empresa] a um amigo ou colega?" É a pergunta que abre o texto da Bain de 2021, traduzida.
4. A pergunta aberta, logo em seguida: "O que mais pesou na sua nota?" Uma só, sem sugestão de resposta.
5. O fechamento: "Obrigado. Se você deixou um comentário, alguém da equipe vai retornar." Promete retorno, nunca prazo. O artigo sobre como fechar o loop com o cliente explica por que o prazo não cumprido cria um segundo problema com quem já estava insatisfeito.

E as frases que nunca entram, em nenhum canal:

• "Se puder me dar 9 ou 10, ajuda muito."
• "Nota abaixo de 9 prejudica a nossa equipe."
• Qualquer escala que destaque o 10 com cor, seta ou emoji, como a capa do carrossel mostrava.

A conta do NPS inflado

O NPS é a porcentagem de promotores (notas 9 e 10) menos a porcentagem de detratores (notas de 0 a 6). A conta abaixo usa premissas escritas, para mostrar o efeito de pedir nota:

• Pesquisa sincera, 200 respostas: 90 promotores, 60 neutros e 50 detratores. NPS = 45% − 25% = 20.
• Mesma base, com pedido de nota 10: o pedido converte 30 neutros e 20 detratores em promotores. Ficam 140 promotores, 30 neutros e 30 detratores. NPS = 70% − 15% = 55.

A nota subiu 35 pontos e nenhum cliente mudou de opinião sobre o produto. Os 50 que mudaram de resposta eram justamente os que tinham algo a dizer.

Tamanho de amostra e margem de erro, com a conta aberta

O erro padrão do NPS é a raiz de (p + d − (p − d)²) / n, onde p é a fração de promotores, d a de detratores e n o número de respostas. Com 95% de confiança, a margem é 1,96 vezes esse valor.

A conta da pesquisa sincera acima, passo a passo:

• p = 0,45 e d = 0,25, então p + d = 0,70 e (p − d)² = 0,20² = 0,04.
• 0,70 − 0,04 = 0,66. Dividido por 200 respostas: 0,0033.
• A raiz de 0,0033 é 0,0574. Vezes 1,96: 0,1126, ou 11 pontos.
• O NPS 20 está, com 95% de confiança, entre 9 e 31.

O NPS 55 da pesquisa com pedido de nota fica muito fora desse intervalo. Numa base de 200 respostas, um salto desse tamanho entre duas rodadas raramente é acaso: é o primeiro lugar onde eu procuro mudança na forma de perguntar.

O caminho inverso responde quantas respostas são necessárias. Isolando n na fórmula: n = (p + d − (p − d)²) × (1,96 ÷ margem)². Numa distribuição de 50% de promotores e 20% de detratores (NPS 30), o primeiro fator vale 0,70 − 0,09 = 0,61:

E a quantidade de respostas depende da taxa de resposta: com 20% de retorno, chegar a 235 respostas pede 1.175 convites. Uma empresa com 500 clientes ativos e essa taxa terá cerca de 100 respostas, e a nota dela anda numa faixa de ±15 pontos entre uma rodada e outra sem que nada tenha mudado.

Há um limite que a fórmula não cobre. Ela mede o erro do acaso, e não o viés de quem escolhe responder. A Bain observa, na página sobre os três tipos de NPS, que quem não gosta de fazer negócio com a empresa pode decidir que não vale a pena responder. Uma taxa de resposta que cai enquanto a nota sobe é esse viés aparecendo, e nenhuma quantidade de respostas corrige.

Os sinais que eu procuro num NPS

Quando reviso a pesquisa de uma empresa, estes são os sinais de que a nota pode estar inflada:

1. A nota sobe e a renovação não acompanha. Lealdade que não aparece no contrato não é lealdade.
2. Os comentários encolhem. Muita nota 10 com campo aberto vazio costuma ser nota pedida.
3. A nota logo depois do atendimento é muito maior que a da pesquisa de relacionamento. A primeira mede o atendente que pediu; a segunda mede a empresa.
4. Quem aplica a pesquisa é quem é avaliado por ela. É o desenho que mais produz nota pedida.
5. A nota varia muito de um atendente para outro com o mesmo tipo de cliente. Quando a diferença é grande entre pessoas que atendem o mesmo público, é ali que eu procuro nota pedida.

O que o NPS mede e o que fica para outras métricas

O NPS mede intenção de recomendar, e não comportamento. Ele diz quanto, e não por quê: o porquê está no comentário. Abaixo de algumas dezenas de respostas, eu leio os comentários um a um antes de olhar o número.

A própria Bain reconheceu esse limite. Em 2021 ela apresentou o earned growth, crescimento conquistado, como o par contábil do NPS: uma métrica baseada em resultados contábeis, com a receita de todos os clientes, e não numa amostra de respostas, e por isso mais resistente a manipulação, súplica, orientação de resposta e ao viés das pesquisas identificadas. Eu leio assim: a nota sincera aponta onde olhar, e a receita de quem renova e indica confirma se a lealdade existe.

Ferramentas do site

• A calculadora de NPS faz a conta a partir das suas respostas.
• A página sobre Net Promoter Score explica a métrica e os limites dela.
• A ferramenta de Pesquisa de Satisfação lê as respostas abertas, que é onde o NPS sincero mostra o que fazer.