SIGMA SOCIETY

​

A declaração de Marilyn é superficial porque é compatível com o programa de TV destinado ao grande público, mas as colunas dela na revista Parade têm um nível muito alto e profundo, compatível com o QI 186-190 que ela obteve no Mega Test. A declaração de Chris Harding, embora curta e sobre um tema que não oferece margem para muita profundidade, também deixa transparecer um nível intelectual muito alto. A opinião dele sobre o significado de “gênio” é questionável, mas para um texto de um parágrafo é aceitável. E o ponto central é que ambos reconhecem que os escores medidos por testes de QI convencionais apresentam vários problemas e não podem ser levados muito a sério quando utilizados para tentar avaliar a inteligência nos níveis mais altos de QI.

 

Isso mostra que, embora os escores no intervalo de 70 a 130 sejam capazes de medir razoavelmente bem a inteligência, à medida que os escores vão se afastando da média, aquilo que os testes medem vai gradualmente deixando de ser a inteligência e se tornando algo mais raso, como velocidade de raciocínio para questões triviais ou repetição mecânica de tarefas. O problema é que, à medida que o QI a ser medido vai aumentando, o teste continua medindo a mesma variável, porém o significado de inteligência vai mudando. Para crianças de 8 a 12 anos com QI entre 80 e 130 pode ser apropriado medir a capacidade de soletrar palavras sem cometer erros como um critério satisfatório para determinar a aptidão para Comunicação escrita, mas se aplicar esse mesmo método para tentar estimar a aptidão para Comunicação escrita de Shakespeare ou de Dostoievsky, é evidente que o resultado será distorcido, não porque esses escritores sejam rápidos demais ao soletrar nem porque sejam infalíveis nisso. Eles até podem errar mais do que uma criança de anos bem treinada que tenha “talento” para soletrar. O ponto é que esse critério deixa de ser útil nos níveis de Shakespeare, Goethe ou Dostoievsky. Na verdade, já deixa de ser útil em níveis muito mais baixos, perto de 125 ou 130. O mesmo problema acontece quando se tenta utilizar questões elementares como aquelas do Stanford-Binet para medir níveis intelectuais acima de 140.

​

O fato de o QI médio dos ganhadores do Nobel estar no nível de raridade de 1 em 3 mil, enquanto a frequência de ganhadores do Nobel na população ser menor que 1 em 1 milhão, também corrobora que os escores acima de 130 no Stanford-Binet são muito distorcidos, falhando dramaticamente em “deixar escapar” as pessoas mais brilhantes e, ao mesmo tempo, selecionando incorretamente várias que não são de fato brilhantes, mas apenas rápidas na realização de tarefas triviais.

 

Esse não é um defeito exclusivo do Stanford-Binet. Todos os melhores testes de QI, inclusive WAIS, Raven, Cattell, DAT, D70 etc. apresentam esse mesmo problema (e obviamente há mais e piores problemas nos testes que não são os melhores). Um dos principais motivos disso é o mesmo que já foi mencionado: esses testes tentam medir QIs em níveis muito acima de 140, mas não incluem questões com nível de dificuldade acima de 135.

​

Para resolver esse problema, em 1973 Kevin Landgon criou o LAIT (Landgon Adult Intelligence Test), o primeiro teste de inteligência realmente difícil, capaz de medir corretamente até perto de 165. Em 1982, Ronald Hoeflin publicou seu Mega Test, depois o Titan Test, Ultra Test e Power Test. Os testes de Hoeflin podiam medir corretamente até cerca de 170 ou até mesmo 180 de QI.

​

Com isso foi inaugurada uma nova era de testes de inteligência. Continuaram existindo os testes tradicionais, usados em clínicas, para medir no intervalo de 70 a 130, cobrindo mais de 95% da população, e também passou a ser possível medir a inteligência nos níveis muito mais altos. Entretanto, esses testes ainda não alcançavam o “ponto crítico” que permite identificar corretamente mentes geniais. As pessoas com maiores escores nos testes de Hoeflin são sem dúvida muito inteligentes: Rick Rosner, Chris Langan, Marilyn vos Savant, etc. com escores 190 ou acima. Mas quando se compara a produção intelectual dessas pessoas com a de um ganhador do Nobel com QI 160, a diferença é gritantemente favorável ao ganhador do Nobel. Ainda faltava algo nas variáveis a serem medidas no topo do nível de dificuldade. Nos anos e décadas seguintes, foram criados outros testes, inclusive o Eureka, Logima Stricta e o Sigma Test.

 

O Sigma Test, desde sua primeira versão, tenta ser inovador em vários aspectos. Isso não significa que tenha alcançado esse propósito, mas pelo menos estamos tentando, e alguns dos resultados obtidos se mostraram animadores. Há controvérsias sobre até que nível de dificuldade o Sigma Test pode de fato medir corretamente. Algumas pessoas acham que o teto real não passa de 180, outros acham que chega a 200 ou um pouco mais. Isso é difícil de determinar enquanto o número de pessoas avaliadas não for suficientemente grande ou enquanto não houver algum grande gênio reconhecido internacionalmente como tal (medalha Fields, prêmio Abel, Nobel de Física), que seja avaliado pelo Sigma Test. Mas independentemente do teto de dificuldade, o Sigma Test também traz outras inovações relevantes e algumas delas já foram corroboradas experimentalmente. Entre essas inovações, a mais importante é o novo método de normatização, apresentado pela primeira vez em 2000 e aplicado pela primeira vez em 2003.

​

O novo método de normatização utilizado no Sigma Test se distingue de todos os outros por gerar escores cujos antilogs estão numa escala de proporção. Além disso, esse método possibilita calcular corretamente os percentis correspondentes, evitando os resultados inflados que são produzidos pelos métodos tradicionais. Esse tema é abordado com mais detalhes em outros artigos.

​

Outro diferencial é a variedade de processos cognitivos necessários para solucionar as questões. Isso é extremamente importante por medir a capacidade intelectual num amplo espectro de cenários. A habilidade para jogar Xadrez, por exemplo, mede um traço latente muito especializado e muito estreito, que não pode ser interpretado como representativo da inteligência geral. A habilidade para Xadrez está positivamente correlacionada com inteligência, mas à medida que o rating se afasta da média, esse escore é determinado cada vez mais pela habilidade específica para o Xadrez e cada vez menos pela inteligência geral. O mesmo acontece se um teste utiliza exclusivamente séries de figuras, ou se utiliza exclusivamente séries de números. A variável medida não pode ser interpretada como representativa da inteligência geral. Essa afirmação se opõe a algumas “mantras psicométricas” repetidas há décadas – em especial sobre homogeneidade (quanto maior melhor) e sobre saturação de g – por isso requer uma análise um pouco mais detalhada:

​

Séries de figuras têm a virtude de minimizar a exigência de conhecimento, evitando que fatores culturais e etários interfiram no resulto, e isso é bom. Por outro lado, limitam o teto de dificuldade e de complexidade, mas o principal problema é o excesso de homogeneidade.

​

Há muitas maneiras diferentes de se medir a homogeneidade. Uma das melhores e mais usuais é por meio do α de Cronbach.

​

Para que se possa compreender como funciona o α de Cronbach, antes convém explicar como funciona o Kuder-Richardson: a ideia é bem simples, divide-se o teste em duas metades equivalentes e verifica-se o escore que cada pessoa obteve em cada metade. Essa divisão pode ser entre questões pares e ímpares, pode ser por sorteio, ou por qualquer outro critério razoável. Se as metades forem equivalentes, espera-se que cada pessoa obtenha aproximadamente mesmo escore em cada metade. A ideia do α de Cronbach é semelhante, porém considera-se todas as covariâncias entre todos os itens, tornando essa medida independente do critério adotado para separar as duas metades, isso é quase equivalente a comparar todas as combinações possíveis de duas metades.

​

É positivo e desejável que um bom teste apresente elevado α de Cronbach (acima de 0,7), porque indica que os itens do teste estão contribuindo para medir a mesma variável. Isso todos sabem e repetem religiosamente. Por outro lado, é ruim se o α de Cronbach for excessivamente alto (acima de 0,9), porque indica que os itens do teste não estão cobrindo uma variedade suficientemente larga das características que deveriam ser medidas, ou seja, os itens estão excessivamente redundantes e especializados. Esse fato aparentemente não é conhecido nem é bem compreendido, por isso requer uma explicação um pouco mais minuciosa. Para tanto, usarei um exemplo didático:

​

Um teste constituído exclusivamente por 60 séries numéricas tende a apresentar α de Cronbach maior do que um teste que inclua 20 séries numéricas, 20 séries de figuras e 20 analogias. Se as distribuições de dificuldades forem iguais nos dois testes, então aquele com 60 séries numéricas provavelmente terá maior α de Cronbach, e nesse caso ter um α de Cronbach maior pode ser pior. Em outras palavras, um α de Cronbach 0,85 pode ser melhor do que 0,92.

​

Um efeito análogo também pode produzir ilusões sobre saturação de g, fazendo parecer que um teste esteja mais saturado de g do que realmente é, simplesmente por ser excessivamente homogêneo. Num teste demasiado homogêneo, o primeiro fator extraído pode ser suficiente para explicar mais de 80% ou 85% da variabilidade, não porque o teste esteja de fato mais saturado do fator g, mas sim porque dentro dos limites do que está sendo avaliado por esse teste, um fator principal comum a todos os itens responde por 80% a 85% da variância, ou até mais.

​

Nesse contexto, a pseudo saturação de g é um sintoma ruim, a menos que o objetivo final fosse medir a habilidade para resolver séries de números e figuras. Mas normalmente não é isso que se deseja medir. O propósito de um bom teste de inteligência é reunir uma lista apropriada de questões para avaliar a capacidade de solucionar problemas reais. O objetivo não é o escore no teste em si, mas sim assegurar que esse escore seja capaz de refletir a habilidade para resolver problemas diversos na vida real. E nisso o STE se destaca, por incluir vários problemas com estrutura muito similar à de problemas reais.

​

A habilidade para resolver séries de figuras também é útil, porque essa mesma habilidade também contribui para resolver outros problemas em outras situações. Entretanto, medir diretamente o tipo de habilidade que se deseja conhecer é preferível do que medir um atributo correlacionado. Para deixar claro esse problema, vamos analisar duas variáveis mais bem conhecidas: o peso e a altura.

​

O peso e a altura das pessoas são variáveis moderadamente correlacionadas. Isso significa que conhecendo o peso de uma pessoa, pode-se estimar a altura dessa pessoa. Entretanto, se for possível medir diretamente a própria altura, isso é melhor do que medir o peso e tentar estimar a altura com base no peso. Se não for possível medir a altura, e a única informação disponível for o peso, é possível usar essa informação para tentar estimar, grosseiramente, a altura, mas o erro pode ser muito grande, porque há pessoas baixas com muita massa de gordura e há pessoas altas muito magras.

​

Por isso se houver um grupo de variáveis mais estreitamente relacionadas à altura, tais como tamanho do fêmur, tamanho do pé, tamanho do braço, então a medida dessas variáveis deve fornecer uma estimativa mais acurada para a altura do que tentar estimar a altura com base no peso. O tamanho do fêmur não é exatamente proporcional à altura, mas a variação no tamanho do fêmur preserva muito melhor a proporção com a variação na altura do que a variação no peso em relação à variação na altura. O mesmo se aplica ao tamanho do pé e ao tamanho do braço. Quando se considera conjuntamente tamanho do fêmur, tamanho do pé e tamanho do braço, pode-se fazer uma estimativa muito mais confiável para a altura do que se tentasse estimar a altura com base no peso.

​

Por isso usar um teste com séries de figuras para estimar a inteligência é como usar o peso para estimar a altura, ou seja, funciona, mas os erros e as distorções são grandes. Além disso, conforme se vai chegando perto dos níveis mais altos de peso, o erro também vai aumentando, e o mesmo acontece quando se deseja medir corretamente nos níveis mais altos de altura, porque raramente os níveis mais elevados de altura correspondem aos níveis mais elevados de peso. As pessoas mais altas do mundo não são as mesmas que as mais pesadas do mundo. Geralmente as mais pesadas possuem altura normal ou só um pouco acima do normal.

​

Mas se a medição fosse baseada no tamanho do fêmur, do braço e do pé, estimando a altura com base em cada uma dessas variáveis, depois calculando a média dos resultados, a estimativa para a altura ficaria muito mais próxima do valor correto. Outro detalhe a ser considerado é que além de a correlação entre tamanho do fêmur e altura ser muito mais forte do que entre peso e altura, essa correlação é preservada nos níveis mais altos, de modo que as maiores pessoas do mundo também possuem maiores fêmures, maiores braços e maiores pés. Portanto a medida dessas partes do corpo continua sendo eficiente para estimar a altura correta das pessoas em todos os níveis, desde a média da população até as pessoas mais altas do mundo.

​

Do mesmo modo, o uso de itens com as propriedades das questões do Sigma Test, estreitamente relacionados aos processos cognitivos que representam a inteligência, cobrindo uma ampla variedade de características cognitivas e níveis de habilidade, fornece uma estimativa muito mais acurada e realista para a Inteligência.

​

Há também desvantagens no Sigma Test, que produz resultados menos justos se for aplicado em grupos rurais ou com nível de instrução muito abaixo do 11º ano. Mas não vejo tanta necessidade de criar testes destinados a esse público, porque já existem bons testes para isso, inclusive Logima Stricta e alguns dos excelentes testes de Iakovos Koukas e YoungHoon Kim. Por isso meu foco é tentar preencher uma lacuna que existe desde os primórdios dos testes de QI, que é tentar medir corretamente o nível intelectual nos estratos mais elevados. Os testes de Binet conseguiram medir corretamente até cerca de 135, depois os testes de Langdon e Hoeflin chegaram a medir corretamente até cerca de 170. O Sigma Test Extended pretende medir de forma realista e acurada acima de 190 e talvez acima de 200.

​

Conforme já foi comentado, os testes de Hoeflin foram pioneiros na medida correta do QI em níveis muito acima dos limites dos testes de QI tradicionais, mas como não havia um método apropriado para calcular os percentis correspondentes, as normas foram calculadas utilizando os métodos disponíveis para padronização, resultando em estimativas distorcidas, sobretudo nas proximidades do teto.

​

O teto “correto” do Mega Test, com base nos dados que estavam disponíveis no site do Miyaguchi e utilizando o mesmo método de normatização da norma de 2003 do Sigma Test, é cerca de 186, muito perto do teto nominal de 190+ (~193) que foi adotado por Hoeflin. O teto calculado por Grady Towers foi 202. Bob Seitz também fez uma tentativa de estabelecer uma nova norma que se ajustasse aos níveis corretos de raridade, e chegou a cerca de 170, muito próximo da norma de raridade que encontrei em 2003 para o teto do Mega Test (168,5). Essa divergência entre os resultados obtidos por Towers e por Seitz já sinalizavam uma disparidade entre as raridades verdadeiras e as raridades obtidas com base na hipótese de que os escores se distribuíam normalmente. No final dos anos 1990, o problema já estava bem configurado: a raridade real não concordava com os escores de QI medidos nos testes. Mas a solução para isso ainda não estava clara.

​

O escore nominal de QI não apresenta grandes problemas. O teto do Mega Test apresenta erro de 7 pontos, que é tolerável, e para escores mais baixos o erro é cada vez menor. Porém o percentil correspondente é muito diferente do correto. O nível teórico de raridade para QI=193, assumindo que a distribuição dos escores fosse perfeitamente aderente a uma gaussiana, seria de 1 em 325.000.000, mas o nível correto de raridade, considerando a forma verdadeira da distribuição dos escores, é cerca de 1 em 435.000. Se considerar que o teto correto é 186 em vez de 193, então o nível de raridade é 1 em 130.000. Portanto o nível verdadeiro de raridade difere do nível indicado na norma por um fator maior que 2000. Um erro gigantesco. Os dados no site do Miyaguchi são incompletos, por isso o valor 186 de QI indicado como "correto" para o teto pode ser um pouco diferente, talvez próximo a 190. Entretanto, as distorções nos percentis são grandes demais para que possam ser explicadas por algum viés presente nos dados disponibilizados no site do Miyaguchi. Trata-se de um erro metodológico grave e que vem sendo repetido sistematicamente há décadas.

​

Os testes de Hoeflin e os de Landgon diferem em alguns pontos importantes. Os de Langdon, assim como alguns tests de Cooijmans, Robert Lato e outros, seguiam uma linha similar à dos testes de Raven (séries de figuras), enquanto os testes de Hoeflin seguiam uma linha mais semelhante à de Binet e Wechsler (diversificados).

​

Nesse ponto convém recapitular como foram as primeiras tentativas para medir a inteligência. Não serei redundante com o artigo Resumo Histórico sobre Testes de Inteligência; quem tiver interesse, pode acessá-lo para mais detalhes. Aqui farei um resumo muito mais breve e focado nos tópicos que estamos abordando.

 

O teste de Binet representa um avanço importante na evolução dos testes cognitivos. Depois que as tentativas de Francis Galton (1884) e James Cattell (1890) para medir a inteligência se mostraram infrutíferas, Alfred Binet (1904) tentou abordar o problema por uma perspectiva diferente. Galton e Cattell acreditavam que seria possível medir os componentes elementares da inteligência, enquanto Binet decidiu medir o resultado combinado desses componentes em ação sinérgica, obtendo resultados muito mais promissores, possibilitando identificar deficiências leves e algumas aptidões. Isso sugere que o uso combinado de questões que exigem diferentes tipos de pensamento operando em conjunto na resolução de problemas complexos, pode funcionar melhor do que questões que tentem medir separadamente cada tipo de pensamento. O STE segue uma linha semelhante, apostando na medida de um conjunto combinado de habilidades para resolver problemas complexos, com o diferencial de incluir questões que alcançam níveis bem mais altos de dificuldade do que o teto do Stanford-Binet (140), chegando e ultrapassando 190 e até mesmo 200.

​

Embora o teste de Binet seja um dos melhores para medir corretamente QIs entre 70 e 130, ele falha gravemente por continuar produzindo escores até níveis muito acima do que ele realmente é capaz de medir. O mesmo problema está presente nos testes de Wechsler, Cattell Culture Fair e outros. O teto nominal do Stanford-Binet extrapolado chegou a 225, mas o teto real nunca passou de 140. Não estou dizendo que o escore 140 seja baixo; dizer isso seria um erro grosseiro. O que estou dizendo é que um teste com teto 140 seria como uma régua clínica para medir altura com limite máximo de 1,87 m. O limite 1,87 m não é baixo, mas também não é suficiente para atender a uma fração considerável da população.

​

Na verdade, o problema na norma do Stanford-Binet é pior do que isso. É como se fosse uma régua com teto nominal 2,15 m, mas que começasse a ficar torta e com os intervalos de 1 cm cada vez menores para alturas acima de 1,80 m. Nessa régua, o tamanho de 1 cm no intervalo de 1,50 m a 1,80 m é aproximadamente uniforme, mas acima de 1,80 m, cada intervalo de 1 cm vai se tornando cada vez mais estreito. Quando chega perto de 2,15 m, cada 1 cm está tão curto que fica menor do que metade de 1 cm na região entre 1,70 m e 1,80 m. Com uma régua enviesada nesse nível, as medidas só são razoavelmente confiáveis até 1,80 m ou, com um pouco de otimismo, até 1,85 m.

 

A imagem abaixo mostra um exemplo de escala distorcida (não-intervalar) em que até certo ponto (os 10 primeiros) os intervalos são uniformes, mas depois vão ficando cada vez mais estreitos:

​