Método

Um score que cai não é, sozinho, uma boa notícia.

Duas medições da mesma organização podem diferir por muitas razões, e só uma delas interessa. Um programa que sabe separar essa razão das outras quatro demonstra resultado. Um que não sabe produz gráficos.

As cinco condições

Escopo: as duas medições cobrem o mesmo conjunto de domínios e serviços. Modo: as duas públicas, ou as duas completas, nunca uma de cada. Cobertura: os módulos de coleta alcançaram proporções equivalentes nas duas. Versão do motor: a mesma. Calibração: a mesma. Se as cinco valem, a diferença entre os resultados é atribuível ao que mudou no ambiente. Se qualquer uma falha, não é.

Como a cobertura engana

Este é o modo de falha mais comum e o mais difícil de perceber. Quando um módulo de coleta não completa, seja por porta filtrada, tempo esgotado ou serviço fora do ar naquele instante, o modelo aplica um valor de fallback. Fallback não é neutro. Ele é uma suposição, e uma suposição pode ser mais favorável ou mais desfavorável do que a realidade que substituiu.

A consequência prática é desconfortável. Uma organização que, entre duas coletas, passou a expor mais serviços ao público pode ter mais sinais observados na segunda rodada, e um resultado diferente sem que nada tenha melhorado ou piorado no ambiente. O inverso também vale: um serviço temporariamente indisponível durante a segunda coleta reduz a cobertura e move o resultado sem que nenhuma decisão técnica tenha sido tomada.

Por que público e completo nunca se comparam

No modo público, a vida útil do dado entra por um prior setorial, que é uma estimativa derivada do que é típico naquele setor. No modo completo, ela entra por declaração da própria organização, categoria de dado por categoria de dado. As duas leituras partem de evidências de naturezas diferentes e pertencem a réguas diferentes.

Isso significa que adicionar declaração não refina o resultado público. Troca o instrumento. O número pode subir, descer ou ficar igual, e nenhum desses três movimentos diz qualquer coisa sobre o ambiente ter melhorado. Apresentar essa transição como evolução é o erro mais caro desta lista, porque se parece com um bom resultado.

A objeção

Meu score caiu depois do programa. Isso não prova que funcionou?

Prova se, e apenas se, as cinco condições valerem entre as duas medições e a queda estiver concentrada nos contribuidores que o programa atacou. Uma queda distribuída por sinais que ninguém tocou indica mudança de cobertura ou de método. A pergunta útil não é quanto caiu. É onde caiu, e se o escopo bate com o que foi alterado.

Decisão

O que exigir de qualquer comparação

Escopo declarado nas duas pontas, e idêntico entre elas.
Modo declarado: público ou completo, nunca misturado.
Cobertura por módulo nas duas medições, com os fallbacks aplicados.
Versão do motor e calibração explícitas nos dois resultados.
Contribuidores que mudaram, para conferir se batem com o que foi alterado.

Ver o que fica fora do escopo deste texto

Mesmo com as cinco condições satisfeitas, a atribuição vale para o escopo medido, e não para a organização inteira.
A régua setorial é uma base de referência estática, com data de corte. Ela não se atualiza entre uma rodada e a seguinte.

Continue a leitura

01Por que o impacto pertence ao escopo alteradoRemediar um ativo não reduz a exposição da organização na mesma proporção. Por que a agregação de impacto exige uma regra que ainda não existe, e o que reportar enquanto ela não existir.02Projeção não é execuçãoO roadmap de governança projeta o efeito de ações declaradas. O que essa projeção demonstra, o que ela não demonstra, e por que confundir as duas coisas é o erro mais fácil de cometer.

Todos os recursos →