Método · Da série sobre medição e adequação
Um score que cai não é, sozinho, uma boa notícia.
Duas medições da mesma organização podem diferir por muitas razões, e só uma delas interessa. Um programa que sabe separar essa razão das outras quatro demonstra resultado. Um que não sabe produz gráficos.
As cinco condições
Escopo: as duas medições cobrem o mesmo conjunto de domínios e serviços. Modo: as duas públicas, ou as duas completas, nunca uma de cada. Cobertura: os módulos de coleta alcançaram proporções equivalentes nas duas. Versão do motor: a mesma. Calibração: a mesma. Se as cinco valem, a diferença entre os resultados é atribuível ao que mudou no ambiente. Se qualquer uma falha, não é.
Como a cobertura engana
Este é o modo de falha mais comum e o mais difícil de perceber. Quando um módulo de coleta não completa, seja por porta filtrada, tempo esgotado ou serviço fora do ar naquele instante, o modelo aplica um valor de fallback. Fallback não é neutro. Ele é uma suposição, e uma suposição pode ser mais favorável ou mais desfavorável do que a realidade que substituiu.
A consequência prática é desconfortável. Uma organização que, entre duas coletas, passou a expor mais serviços ao público pode ter mais sinais observados na segunda rodada, e um resultado diferente sem que nada tenha melhorado ou piorado no ambiente. O inverso também vale: um serviço temporariamente indisponível durante a segunda coleta reduz a cobertura e move o resultado sem que nenhuma decisão técnica tenha sido tomada.
Por que público e completo nunca se comparam
No modo público, a vida útil do dado entra por um prior setorial, que é uma estimativa derivada do que é típico naquele setor. No modo completo, ela entra por declaração da própria organização, categoria de dado por categoria de dado. As duas leituras partem de evidências de naturezas diferentes e pertencem a réguas diferentes.
Isso significa que adicionar declaração não refina o resultado público. Troca o instrumento. O número pode subir, descer ou ficar igual, e nenhum desses três movimentos diz qualquer coisa sobre o ambiente ter melhorado. Apresentar essa transição como evolução é o erro mais caro desta lista, porque se parece com um bom resultado.
A objeção
Meu score caiu depois do programa. Isso não prova que funcionou?
Prova se, e apenas se, as cinco condições valerem entre as duas medições e a queda estiver concentrada nos contribuidores que o programa atacou. Uma queda distribuída por sinais que ninguém tocou indica mudança de cobertura ou de método. A pergunta útil não é quanto caiu. É onde caiu, e se o escopo bate com o que foi alterado.
O que exigir de qualquer comparação
- Escopo declarado nas duas pontas, e idêntico entre elas.
- Modo declarado: público ou completo, nunca misturado.
- Cobertura por módulo nas duas medições, com os fallbacks aplicados.
- Versão do motor e calibração explícitas nos dois resultados.
- Contribuidores que mudaram, para conferir se batem com o que foi alterado.
Fora do escopo deste texto
- Mesmo com as cinco condições satisfeitas, a atribuição vale para o escopo medido, e não para a organização inteira.
- A régua setorial é uma base de referência estática, com data de corte. Ela não se atualiza entre uma rodada e a seguinte.
Da série sobre medição e adequação
Por que o impacto pertence ao escopo alterado
Remediar um ativo não reduz a exposição da organização na mesma proporção. Por que a agregação de impacto exige uma regra que ainda não existe, e o que reportar enquanto ela não existir.
Projeção não é execução
O roadmap de governança projeta o efeito de ações declaradas. O que essa projeção demonstra, o que ela não demonstra, e por que confundir as duas coisas é o erro mais fácil de cometer.
Discutir uma avaliação
Se este texto descreveu um problema que você tem, a conversa começa pelo escopo que você precisa medir, com os limites escritos antes de qualquer proposta.