A margem de uma porcentagem vem da contagem.

A contagem é binomial

Num teste de germinação com \(n\) sementes, cada semente germina ou não. Se todas saem do mesmo lote, com a mesma probabilidade \(p\) de germinar, e uma não interfere na outra, o número \(X\) de germinadas segue a distribuição binomial. Vale igual para viáveis no tetrazólio, para danificadas numa classe de qualidade ou para qualquer classe que se conta semente por semente.

As duas hipóteses carregam o resto da página. A mesma \(p\) para todas as sementes falha quando o lote é desuniforme. A independência falha quando um fungo passa de uma semente para a vizinha na mesma placa. Nos dois casos as repetições variam mais do que a binomial prevê, e a seção sobre superdispersão mede quanto. A página de trilha mostra esse sorteio com 20 mil laudos simulados, na seção Acaso.

O estimador e a sua variância

O estimador natural de \(p\) é a fração observada, \(\hat p = X/n\). Ele é o de máxima verossimilhança e não tem viés.

Em pontos percentuais (pp), é a fórmula da trilha, \(100\sqrt{p(1-p)/n}\). Com 85% e 100 sementes dá 3,6 pp; com 400 sementes, 1,8 pp. Quadruplicar as sementes só divide a margem por dois. E o desvio depende de \(p\), que é justamente o que não se sabe: todo intervalo precisa decidir o que pôr no lugar de \(p\) dentro da raiz. Essa escolha separa os métodos a seguir.

Wald, e onde ele quebra

Pelo teorema central do limite, \((\hat p - p)/\sqrt{p(1-p)/n}\) tem distribuição perto da normal padrão quando \(n\) é grande. O intervalo de Wald troca \(p\) por \(\hat p\) dentro da raiz:

É o intervalo dos livros-texto e o mais fácil de calcular. Ele quebra em três situações que aparecem toda semana na análise de sementes. Com nenhuma germinada, ou com todas, a raiz vale zero e o intervalo vira um ponto: 0 germinadas em 50 dariam \([0, 0]\), como se a ausência estivesse provada. Perto de 0 ou de 100%, com \(n\) pequeno, o intervalo passa para fora de \([0, 1]\). E, mesmo quando parece razoável, ele contém o \(p\) verdadeiro em bem menos que 95% dos testes. Com \(p = 5\%\) e 10 sementes, o Wald de 95% acerta em 40,0% dos testes, pela soma exata da equação (9).

O motivo é que a raiz usa \(\hat p\), que é ruim justamente onde a margem mais importa. Quando \(\hat p\) sai pequeno por acaso, a margem estimada também sai pequena, e o intervalo fica curto e longe de \(p\).

Wilson, pela inversão do teste escore

Wilson [1] fez o caminho inverso: em vez de estimar a margem com \(\hat p\), ele pergunta para quais valores de \(p\) a contagem observada não seria surpreendente. O teste escore da hipótese \(p = p_0\) usa o desvio sob a hipótese, e não o estimado:

O intervalo é o conjunto dos \(p_0\) que o teste não rejeita, \(|Z(p_0)| \le z\). Elevando ao quadrado e reorganizando, \((\hat p - p)^2 \le \tfrac{z^2}{n}\,p(1-p)\) vira uma desigualdade de segundo grau em \(p\):

A margem é a mesma fórmula da trilha, na seção Classe rara. Três propriedades explicam por que ela se comporta bem. O centro \(\tilde p\) é puxado de \(\hat p\) na direção de 1/2, e mais quanto menor o \(n\). O intervalo nunca sai de \([0, 1]\): nos extremos a parábola vale \(\hat p^{\,2} \ge 0\) e \((1-\hat p)^2 \ge 0\), e o vértice fica entre eles. E com \(x = 0\) o limite superior é \(z^2/(n + z^2)\), que para 50 sementes dá 7,1%, em vez do ponto que o Wald devolve. Com 8 acertos em 10, como na trilha, o intervalo vai de 49,0% a 94,3%.

Clopper-Pearson e Agresti-Coull

Clopper e Pearson [2] invertem o teste binomial exato, sem aproximação normal. O limite inferior é o \(p\) mais baixo em que tirar \(x\) ou mais germinadas ainda tem probabilidade \(\alpha/2\); o superior, o \(p\) mais alto em que tirar \(x\) ou menos ainda tem probabilidade \(\alpha/2\):

A cauda da binomial é uma função beta incompleta, \(P(X \ge x \mid p) = I_p(x,\, n-x+1)\), e por isso os limites saem como quantis da distribuição beta:

com \(p_L = 0\) quando \(x = 0\) e \(p_U = 1\) quando \(x = n\).

O preço é a largura. Como a binomial é discreta, as caudas raramente somam exatamente \(\alpha\), a cobertura real fica quase sempre acima do nominal e o intervalo é mais largo do que precisaria. Agresti e Coull [3] chamaram isso de conservador e propuseram o contrário, um intervalo aproximado mas centrado no lugar certo:

Com 95%, \(z^2 = 3{,}84 \approx 4\): é o Wald depois de somar duas germinadas e duas não germinadas à contagem. O centro é o mesmo do Wilson e a largura é um pouco maior. Com 162 germinadas em 200, os quatro métodos quase coincidem: Wald de 75,6% a 86,4%, Wilson de 75,0% a 85,8%, Agresti-Coull de 75,0% a 85,9% e Clopper-Pearson de 74,9% a 86,2%. A diferença entre eles mora nas pontas e no \(n\) pequeno.

A cobertura que oscila

Um intervalo de 95% promete conter \(p\) em 95% dos testes. Dá para conferir a promessa sem simulação nenhuma. Para \(p\) e \(n\) fixos, a cobertura é a soma das probabilidades binomiais das contagens cujo intervalo contém \(p\):

Como \(k\) só assume \(n+1\) valores, \(C(p)\) é uma função em serra: cada vez que \(p\) cruza a ponta de algum intervalo, uma parcela inteira entra ou sai da soma. Brown, Cai e DasGupta [4] mostraram que no Wald essa serra é funda e persistente. A cobertura não melhora com \(n\) de forma monótona, e há tamanhos de amostra com sorte e sem sorte lado a lado. Pela soma (9), com \(p = 20\%\) o Wald de 95% cobre 95,0% com 31 sementes e 89,0% com 32; com \(p = 0{,}5\%\), cobre 94,5% com 591 sementes e 79,2% com 592. A recomendação dos autores é o Wilson, ou o intervalo de Jeffreys (que não tratamos aqui), para \(n\) pequeno, e o Agresti-Coull para \(n\) maior.

Quem é n

Nas fórmulas, \(n\) é o número de sementes, nunca o de repetições. Um laudo com 4 repetições de 50 sementes e germinação de 78%, 82%, 80% e 84% tem 162 germinadas em 200 sementes, e o Wilson com \(n = 200\) dá de 75,0% a 85,8%. Se \(n\) fosse 4, a conta trataria o laudo como 3 germinadas em 4 e daria de 30,1% a 95,4%, um intervalo que não diz nada sobre o lote.

As repetições servem para outra coisa: mostrar se o lote varia mais do que o sorteio. Com elas dá para fazer um intervalo que não depende da binomial, pela média e pelo desvio das porcentagens das \(r\) repetições, com \(t\) de Student e \(r-1\) graus de liberdade. No exemplo, de 76,9% a 85,1%. Quando as repetições variam como a binomial prevê, os dois intervalos ficam parecidos. Quando variam mais, o da binomial fica curto demais, e a próxima seção mede quanto.

Quando as repetições variam mais que a binomial

Num lote desuniforme, cada repetição sai de uma parte do lote com germinação um pouco diferente. O modelo mais simples sorteia a probabilidade de cada repetição numa distribuição beta e depois sorteia as sementes da repetição com essa probabilidade. É a beta-binomial, a mesma do controle \(\rho\) da trilha, na seção Acaso. Aqui, como lá, \(n\) passa a ser o número de sementes de uma repetição, e o laudo tem \(r\) repetições.

O fator \(1 + (n-1)\rho\) é o efeito de delineamento. A variância da porcentagem do laudo fica multiplicada por ele, e as \(r\,n\) sementes valem como \(n_{\mathrm{ef}}\) sementes independentes. Um \(\rho\) pequeno pode pesar muito, porque é multiplicado por \(n-1\): com \(\rho = 0{,}02\) e repetições de 100 sementes, a variância quase triplica (\(1 + 99 \times 0{,}02 = 2{,}98\)), e 400 sementes valem como 134.

O \(\rho\) se estima pelas próprias repetições. A estatística de Pearson compara a variação entre as contagens das repetições com a que a binomial prevê:

Sob a binomial, \(X^2\) segue aproximadamente uma qui-quadrado com \(r-1\) graus de liberdade e \(\hat\varphi\) fica perto de 1. Um \(\hat\varphi\) maior que 1 é superdispersão. Williams [5] usou essa mesma estatística para estimar o fator \(1 + (n-1)\rho\) em modelos logísticos. Na hora de reportar, há dois caminhos honestos: multiplicar a margem binomial por \(\sqrt{\hat\varphi}\) (o modelo quase-binomial) ou usar o intervalo \(t\) das repetições da seção anterior. Para comparar tratamentos, um modelo linear generalizado com resposta binomial e esse fator de dispersão faz melhor que a transformação arco-seno [6].

Com 4 repetições, porém, o teste tem pouco poder. Com 3 graus de liberdade, o valor crítico de 5% da qui-quadrado é 7,81, e o teste só rejeita a binomial quando \(\hat\varphi\) passa de 2,6. Superdispersão moderada passa sem alarme. O efeito aparece melhor quando se juntam muitas placas, como no milho a seguir.

Com sementes reais: o milho hora a hora

Chen e colaboradores [7] fotografaram de hora em hora 120 placas de Petri com 10 sementes de milho cada, num teste de germinação a 25 °C, e anotaram o estado de cada semente. Germinada, aqui, é semente com raiz de pelo menos 2 mm. As placas formam seis grupos de 20 com tratamentos diferentes, mas o conjunto não diz qual grupo recebeu qual tratamento. Por isso eles se chamam aqui blocos 1 a 6, na ordem das placas, sem nome de tratamento.

Dentro de um bloco, se a binomial vale, todas as placas têm a mesma \(p\), e o número de germinadas por placa numa hora fixa varia como uma \(\mathrm{Bin}(10, \hat p)\). Às 72 h todas as 120 placas ainda estavam sendo fotografadas. A tabela compara a variância observada entre as 20 placas de cada bloco com a variância binomial \(10\,\hat p(1-\hat p)\).

Nos blocos 1, 3 e 5, \(\hat\varphi\) fica entre 0,97 e 1,27, dentro do que o acaso explica (valores-p de 0,19 a 0,50). O bloco 6 teve uma única semente germinada em 200 e não tem o que medir: com \(n\hat p\) perto de zero, a aproximação qui-quadrado não vale, e ele fica fora da soma. O bloco 2 tem variância 1,6 vez a binomial (valor-p 0,047). O bloco 4 tem 2,4 vezes: duas placas com 8 germinadas em 10 ao lado de outras com 0 ou 1, um padrão que a binomial com \(\hat p = 28\%\) quase nunca produz (valor-p 0,0005).

Somando os cinco blocos que germinaram, \(X^2 = 141{,}9\) com 95 graus de liberdade, valor-p 0,0013 e \(\hat\varphi = 1{,}49\), o que corresponde a \(\hat\rho \approx 0{,}055\) com 10 sementes por placa. Há superdispersão, e ela se concentra em parte dos blocos. Para o laudo de um bloco inteiro, a margem verdadeira fica cerca de \(\sqrt{1{,}49} \approx 1{,}22\) vez a binomial, e as 200 sementes valem como cerca de 134 independentes.

Corrigir a contagem de um classificador imperfeito

Quando quem decide a classe é um classificador, a contagem tem dois erros: inviáveis chamadas de viáveis e viáveis chamadas de inviáveis. Com a notação da trilha, \(s\) é a sensibilidade, a fração das inviáveis que o classificador acerta, e \(e\) a especificidade, a fração das viáveis que ele acerta. Se \(p\) é a fração verdadeira de inviáveis, a probabilidade de uma semente ser contada como inviável é

\(q\) é uma reta em \(p\), que vai de \(1-e\) num lote sem inviáveis até \(s\) num lote só de inviáveis. Invertendo a reta sai o estimador de Rogan e Gladen [8], com \(\hat q\) a fração contada como inviável em \(N\) sementes:

É o fator \(1/(s+e-1)^2\) da seção Classificador da trilha. Na prática \(s\) e \(e\) também saem de uma conferência à mão, com \(n_s\) inviáveis e \(n_e\) viáveis conferidas, e carregam erro. Pelo método delta, com \(J = s + e - 1\) e as derivadas \(\partial p/\partial q = 1/J\), \(\partial p/\partial s = -p/J\) e \(\partial p/\partial e = (1-p)/J\):

Com os valores iniciais da trilha (\(s = 0{,}90\), \(e = 0{,}95\), \(\hat q = 22\%\) em 200 sementes), \(\hat p = 20{,}0\%\), com intervalo de 13,2% a 26,8% se \(s\) e \(e\) forem tratados como exatos. Se eles vieram de uma placa de referência com 100 inviáveis e 100 viáveis, o desvio sobe de 3,4 para 4,1 pp e o intervalo vai de 12,0% a 28,0%.

A fórmula dá \(\hat p\) negativo quando \(\hat q \lt 1-e\), isto é, quando o classificador marcou menos inviáveis do que os falsos alarmes sozinhos produziriam, e maior que 1 quando \(\hat q \gt s\). Com \(p\) pequeno isso acontece por puro acaso: com \(p = 2\%\), \(s = 0{,}90\), \(e = 0{,}95\) e 200 sementes, \(q = 6{,}7\%\), e a chance de \(\hat q\) cair abaixo de 5% é de 13,2%. Truncar em zero esconde o que aconteceu. A leitura honesta é que a contagem não distingue esse lote de um lote sem inviáveis, e o intervalo parte de zero. Se o valor sair muito fora, \(s\) e \(e\) mudaram desde que foram medidos e precisam ser medidos de novo na sessão.

No SeedCounter

Referências

1. Wilson E.B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association 22(158), 209–212. doi:10.1080/01621459.1927.10502953
2. Clopper C.J., Pearson E.S. (1934). The use of confidence or fiducial limits illustrated in the case of the binomial. Biometrika 26(4), 404–413. doi:10.1093/biomet/26.4.404
3. Agresti A., Coull B.A. (1998). Approximate is better than "exact" for interval estimation of binomial proportions. The American Statistician 52(2), 119–126. doi:10.1080/00031305.1998.10480550
4. Brown L.D., Cai T.T., DasGupta A. (2001). Interval estimation for a binomial proportion. Statistical Science 16(2), 101–133. doi:10.1214/ss/1009213286
5. Williams D.A. (1982). Extra-binomial variation in logistic linear models. Applied Statistics 31(2), 144–148. doi:10.2307/2347977
6. Warton D.I., Hui F.K.C. (2011). The arcsine is asinine: the analysis of proportions in ecology. Ecology 92(1), 3–10. doi:10.1890/10-0340.1
7. Chen C., Bai M., Wang T., Zhang W., Yu H., Pang T., Wu J., Li Z., Wang X. (2024). An RGB image dataset for seed germination prediction and vigor detection: maize. Frontiers in Plant Science 15, 1341335. doi:10.3389/fpls.2024.1341335
8. Rogan W.J., Gladen B. (1978). Estimating prevalence from the results of a screening test. American Journal of Epidemiology 107(1), 71–76. doi:10.1093/oxfordjournals.aje.a112510