SIGMA SOCIETY

Se eu não tivesse visto um número razoável de artigos científicos com subestimativas dos erros de medida, e tivesse apenas conhecimento teórico sobre Estatística, eu discordaria dela, porque o peso relativo de cada grupo de experimentos deve ser inversamente proporcional à incerteza, bem como a tolerância ao erro é proporcional à incerteza, portanto o fato de haver outros pontos distantes do valor teórico, inclusive mais distantes do que esse, não podem ser interpretados como tendo peso tão grande quanto esse resultado, cuja incerteza é muito menor.

O problema é que a fração de artigos científicos com esse tipo de erro é muito grande, estimo em mais de 95%, porque os experimentadores querem que as incertezas sejam menores do que realmente são, e isso também ajuda na aceitação para publicação. Mas conforme as décadas e séculos se passam e o nível de acurácia dos instrumentos evolui, descobre-se que havia subestimativa nos erros dos experimentos mais antigos. Analogamente, é provável que nas próximas décadas se descubra subestimativas nos erros dos experimentos atuais. Um exemplo grave disso é citado em meu artigo sobre a densidade de CoRoT-Exo 3b, de 2008, que postei novamente há poucos dias, justamente enfatizando esse tipo de erro. Nesse caso, havia vários outros problemas envolvendo subestimativa de erros, inclusive uma citação de incerteza percentual no diâmetro do planeta menor do que a incerteza na distância, mas a incerteza na distância é uma das componentes da incerteza no diâmetro. Erro grave e primário, além de vários outros erros que discuti em meu artigo.

Por outro lado, conforme destacou Chip, esse não é um experimento “caseiro” realizado por um professor inexperiente acompanhado de meia dúzia de novatos que se limitam a engolir o que o professor diz. É um trabalho conjunto que envolve milhares de pesquisadores competentes. Naturalmente não estão imunes a erros, e há vários casos de equipes igualmente numerosas e competentes que deixam passar despercebidos erros relativamente básicos. A curvatura da superfície da placa corretora [**] do HST é um exemplo dramático, em que milhares de pessoas altamente capacitadas deixaram passar um erro primário que teve custo altíssimo, mas felizmente conseguiram “remendar” bem; entretanto, poderia ter sido um completo desastre.

Por isso o argumento de Chip sobre milhares de pesquisadores capacitados terem trabalhado nisso não pode ser encarado como uma simples falácia de autoridade ou ad populum, porque se houver N membros numa equipe, supondo todos igualmente competentes, e se cada membro da equipe tiver probabilidade p de deixar escapar um erro desse tipo, então a probabilidade de que nenhum membro perceba o erro é p^N, portanto o risco se torna realmente menor se houver muitos membros competentes na equipe. O argumento está qualitativamente correto, mas há alguns detalhes quantitativos que precisam ser analisados: embora haja milhares membros, quase todos eles pensam de forma muito redundante. Num grupo de matemáticos com 1000 ergodicistas, talvez a capacidade de detecção de erros seja menor do que num grupo que tenha 1 topologista e 1 ergodicista, porque nesse segundo caso a redundância de conhecimento seria muito menor e a abrangência total de conhecimento multidisciplinar poderia ser maior. Então, na verdade, num grupo com N colaboradores a probabilidade de deixarem passar algum erro não cai de p para p^N, talvez nem sequer caia para p^2. A probabilidade de passar algum erro diminui, se houver muitas pessoas atentas a isso, mas não diminui na mesma proporção do número de pessoas que estejam monitorando e filtrando erros. Longe disso. Se houver apenas 1 ou 2 pessoas filtrando, a probabilidade de passar algum erro pode ser similar à de ter milhares de pessoas fazendo essa filtragem. Isso se verifica repetidas vezes ao longo da história. A Física Aristotélica, por exemplo, poderia ter sido testada pelo próprio Aristóteles, mas precisou esperar por 1500 anos para que Buridano deixasse de repetir a mesma ladainha que todos os outros e testasse, para descobrir que corpos com massa diferentes não caíam a velocidades tão diferentes, e Galileu fez um estudo mais completo e sistemático sobre isso, mostrando que havia muitos erros que milhões de pessoas vinham repetindo por quase 20 séculos, erros muito simples, que seriam facilmente descobertos.

Por isso ter milhares de pesquisadores na equipe ajuda realmente a evitar erros, em comparação a um trabalho realizado por apenas 1 pessoa, mas a diferença na qualidade da filtragem não cresce na mesma proporção do número de pesquisadores que integram a equipe. Longe disso, talvez num grupo com milhares de pesquisadores, a filtragem seja só um pouco melhor do que se houvesse apenas o melhor da equipe trabalhando sozinho. Isso também é verificado empiricamente, no famoso confronto “Kasparov x resto do mundo” de 1999, no qual Kasparov sozinho jogou Xadrez com 250.000 oponentes e venceu. Há vários detalhes que precisariam ser analisados com mais detalhes sobre esse confronto do Kasparov, e quem tiver interesse pode encontrar meus artigos sobre isso. Aqui não desviarei mais do foco.

Eu gostaria de comentar mais alguns dos argumentos utilizados pela Sabine e pelo Chip:

Entre 3:24 e 3:30 do vídeo, Sabine faz um comentário que talvez algumas pessoas interpretem como provocativo. Eu não sei se a intenção dela foi essa, mas eu já fiz comentários semelhantes muitas vezes, sem qualquer intenção de provocar nem ofender, e me desagrada quando alguém interpreta meus comentários impessoais como se tivessem alguma motivação pessoal.

Minha interpretação sobre o comentário dela é que sua intenção foi dizer que muito do que se acredita saber, na verdade não se conhece de fato. Tem-se modelos úteis, mas que não são necessariamente boas representações estruturais para a realidade subjacente, e raramente nos damos conta das diferenças entre os dados coletados e as entidades que esses dados tentam representar, as propriedades dessas entidades e os fenômenos dos quais elas participam. Por isso eu não acho que ela fez o comentário com a intenção de ofender ou provocar os físicos experimentais. Portanto, não vi problema nesse comentário.

Em seguida, ela sugere que a diferença entre a massa experimental e a teórica pode ser uma simples subestimativa do erro. Creio que esse ponto tenha dado início à discussão, porque de um lado Chip sabe o volume de trabalho e o nível de rigor com que o trabalho é realizado para evitar esse tipo de erro, e talvez ele se sinta ofendido com esse comentário. Por outro lado, analisando objetivamente a frequência que esse tipo de erro é observado, não se pode fechar os olhos para essa possibilidade como sendo bastante plausível. Devo dizer que concordo com a Sabine sobre essa interpretação, e subestimativa de erro também seria meu primeiro “palpite”. Não digo isso por subestimar o conhecimento e a competência do pessoal envolvido no estudo. Ao contrário, desde 2000, sempre que me pedem recomendações para estudar ou pesquisar sobre Estatística, eu recomendo o handbook do NIST como principal fonte. Os protocolos seguidos pelos pesquisadores da NASA, MIT, CERN, Fermilab etc. são basicamente os recomendados pelo NIST. Portanto reconheço a excelência e a seriedade nesse trabalho, mas mesmo com todo esse esforço e todos esses cuidados, continuam ocorrendo subestimativas nos erros, e isso se pode conferir em grande número de artigos.

Claro que há possibilidade de uma descoberta extraordinária por trás dessa diferença, que conduza a uma reformulação substancial no modelo padrão, mas esse resultado ainda é um indício muito frágil para que se faça grandes alardes. E entre as explicações, quase todas as vezes que surgem situações desse tipo, eu aposto em erro de medida ou erro estatístico.

Em relação ao problema em si, e algumas possíveis explicações, há vários detalhes que eu gostaria de comentar, mas tentarei focar nos que me parecem mais importantes:

1. A hipótese de normalidade ser aceita para o intervalo entre -2,5σ e +2,5σ não diz quase nada sobre a forma da distribuição no intervalo entre -7σ e +7σ. Uma ou ambas as caudas podem ser extremamente densas fora do intervalo de -2σ e +2σ ou -3σ e +3σ, de modo que uma ocorrência 7σ distante da média pode ser milhões ou bilhões de vezes mais comum do que seria esperado se a distribuição fosse aderente a uma gaussiana em todo seu espectro. Isso torna a probabilidade real de que a diferença chegue a 7σ muito maior.

2. Não é apropriado medir a distância dos resultados experimentais à faixa de valores do modelo, tratando o valor do modelo como se tivesse erro comparativamente desprezível, porque em última instância o modelo também foi construído a partir de valores experimentais e também apresenta determinada incerteza. Esse detalhe também torna a probabilidade de que a diferença chegue a 7σ muito maior.

3. Um problema semelhante ao item 2, porém mais sutil, é que pode haver partículas ainda não conhecidas com massa só um pouco maior que a massa do bóson W, mas pode não haver uma partícula equivalente com massa só um pouco menor. Como resultado, a partícula com massa um pouco maior produziria alguns falsos positivos que seriam interpretados como assinaturas do W e empurrariam o valor experimental um pouco para cima, sem que houvesse um correspondente simétrico para baixo. Esse tipo de anomalia poderia ser detectada por meio de estudos detalhados da distribuição dos dados brutos, comparando modelos com 1 tendência central e modelos com 2 ou 3 tendências centrais sobrepostas.

4. Seria interessante fazer uma análise de clusters e/ou análise fatorial hierárquica para investigar se os erros medidos nesse experimento em comparação às medições de experimentos anteriores aconteceram predominantemente em horários específicos, ou épocas do ano específicas, ou condições climáticas específicas etc. Seria importante investigar se alguma variável está associada a essa diferença, de modo que alguma fonte externa de ruídos esteja contaminando sistematicamente os resultados, ou pelo menos possa fornecer pistas úteis que ajudem a descobrir pelo menos algumas partes do problema. Nesse tipo de situação não se pode ter preconceitos e não se pode filtrar hipóteses “bizarras” antes de testá-las estatisticamente. Quando Ignaz Semmelweis descobriu que lavar as mãos antes de auxiliar mulheres no parto reduzia em 80% a taxa de mortalidade dessas mulheres, ele não compreendia os processos biológicos responsáveis por esse efeito, ninguém na época compreendia, mas os fatos estatísticos eram evidentes. Então ele sugeriu corretamente que se adotasse o procedimento com base na evidência experimental e depois se tentasse explicar porque aquilo acontecia. O mesmo acontece nesse caso. Se houver alguma evidência de que as medidas às 12h são sistematicamente maiores do que às 00h ou às 18h e 6h, mesmo que não se saiba explicar o motivo, isso pode ser uma boa pista inicial, e nesse estágio é importante reunir o máximo de pistas úteis.

5. Se as medidas recentes publicadas em 7/4/22 são de fato tão acuradas quanto alegado, ou perto disso, então elas devem puxar o valor da linha cinza do modelo teórico um pouco para cima, de modo que as probabilidades se equilibrem. Sob uma perspectiva Bayesiana, esse é o procedimento a ser seguido, e numa situação como essa não há alternativa a não ser utilizado métodos bayesianos, porque há muitas probabilidades combinadas que precisam ser consideradas. Se negligenciar algumas delas, o resultado final seria ingênuo e distorcido.

6. Chip mencionou um detalhe importante no processo de coleta de dados: “What CDF did was to separately blind both the electron and muon analyses, for both the Z measurements and the W measurements. That is, they forced their data to use parameters that were fake, then they did their entire analysis without a bias that might creep in and tell them that they’re close or far from other experiments’ results.” Isso também contribui para explicar a grande diferença observada.

Outro ponto que eu gostaria de comentar é sobre o uso do termo “especulação”. Parece-me que Sabine não achou esse termo apropriado, no entanto não achei que Chip utilizou esse termo com a finalidade de ofender. Aliás, achei o termo apropriado no contexto, porque antes de se estabelecer uma teoria bem consolidada e amplamente corroborada, são propostas muitas e muitas especulações, que passam por uma seleção natural até que as melhores sobrevivam. Então o trabalho do físico teórico é majoritariamente especulativo, com alguns raros sucessos. Digo isso com dor no coração, porque conforme já comentei, tenho leve preferência pelo trabalho teórico, mas isso não me impede de reconhecer os fatos tais como são. No Mercado Financeiro também tentamos (os melhores analistas quantitativos) fazer Ciência, mas na maioria parte do tempo o que se faz é especulação.

​