A média que não descreve ninguém

Resumo executivo: Uma métrica que acompanhamos caiu do 17º para o 20º lugar e acendeu alerta. Ao abrir o relatório, não existia nada em vigésimo lugar: eram duas páginas nossas competindo pela mesma busca, uma em 5º e outra em 45º. A média escondia as duas.

Uma pessoa com um pé no forno e o outro no freezer está, em média, com a temperatura ideal. Na vida real, ela está sofrendo uma agonia dupla. Nos negócios, é exatamente assim que nascem as piores decisões.

Foi mais ou menos isso que aconteceu com uma métrica que acompanhamos de perto aqui. Todo mês, analisamos o ranqueamento da Modocon no Google. Recentemente, um dos nossos termos mais importantes acendeu um alerta vermelho: nossa posição média estava caindo do 17º para o 20º lugar.

O instinto imediato que qualquer gestor teria? "Precisamos consertar isso urgente."

Ainda bem que fomos investigar antes de agir.

Ao abrir a caixa-preta do relatório, descobrimos que não existia nada em vigésimo lugar. O que existia eram duas páginas nossas competindo entre si pela mesma busca. Uma estava voando alto, no 5º lugar. A outra estava só na 45ª posição.

A plataforma simplesmente somava o desempenho das duas e nos entregava uma média mentirosa.

O mais assustador não foi isso. A nossa página boa sequer havia piorado, na verdade ela tinha melhorado no período. O que mudou foi a quantidade de vezes que cada uma apareceu, e essa oscilação de volume arrastou a média matemática para baixo.

Se tivéssemos confiado cegamente no número final do relatório, a nossa próxima decisão seria mexer justamente na página que estava trazendo o resultado. Teríamos punido nosso próprio sucesso.

O que você precisa levar dessa história para a sua próxima análise de dados:

• Todo resumo esconde um extremo. Quando um resultado vem de duas fontes de desempenho muito diferentes, a média passa a não descrever nenhuma delas.
• Faça a pergunta de ouro. Para qualquer relatório que chegar à sua mesa hoje, pergunte: "Esse número é a média exata de quê?"

Se ninguém na sala souber responder a essa pergunta na hora, o número ainda não foi lido de verdade.

Alex Cabral, diretor e fundador da Modocon