IA consegue distinguir etnias a partir de raio-X e cientistas não sabem por quê

A preocupação dos cientistas é que as decisões e triagens feitas por IA incorporem preconceitos advindos dos próprios humanos que a programam

Uma inteligência artificial provou conseguir diferenciar etnia com base em apenas imagens de raios-X e tomografia computadorizada, nas quais não há diferença identificável, nesse aspecto, para especialistas humanos. Como ela faz isso? Não sabemos, e os cientistas consideram isso preocupante. A precisão na identificação da IA foi de 90%, considerada bastante alta, e a habilidade tem sido estudada desde então.

A ocorrência foi descrita por pesquisadores do Massachussets Institute of Technology (MIT) e publicada na revista científica Lancet Digital Health na quarta-feira da semana passada (11). Marzyeh Ghassemi, professora assistente de engenharia elétrica e ciências da computação e co-autora do paper, disse ter pensado que se tratava de um engano quando observou os resultados pela primeira vez — ou que os alunos estavam loucos, brinca ela.

A inteligência artificial conseguiu distinguir a etnia de indivíduos em raios-x e tomografias de todas as partes do corpo com 90% de precisão (Imagem: Haru1/Envato Elements)

Inteligência demais?

Para testar a habilidade da inteligência artificial no reconhecimento de imagens, um modelo de aprendizado profundo (deep learning) foi alimentado com imagens de tomografia computadorizada e raios-X de várias partes do corpo, e de grupos variados de pessoas. Cada imagem tinha a etnia da pessoa anotada.

Após a remoção da identificação racial, junto a outras características que poderiam ajudar na identificação — como cor de pele e de cabelo —, a IA foi posta para identificar a etnia do indivíduo escaneado. A precisão de 90% foi o resultado, para todas as áreas do corpo e sem características de identificação.

Co-variantes, como índice de massa corporal (IMC) ou densidade dos seios, que poderiam sugerir uma etnia ao invés de outra, também, foram removidas, para garantir que não houvesse engano nos resultados, já que suspeitou que a IA pudesse estar usando dados estatísticos como esses para enganar o sistema. Mesmo com pessoas com tipos de corpo e IMC semelhantes, o resultado continuava bem alto.

(Imagem: Clay Banks/Unsplash)

A questão principal é que os pesquisadores não sabem como é possível uma identificação tão precisa em condições tão complicadas. Em outros estudos, a IA conseguiu até mesmo identificar características pessoas em imagens muito corrompidas ou modificadas, e, dessa vez, sem co-variáveis.

Uma hipótese é que a máquina possa estar identificando variações de melanina que não conseguimos notar, mas que apareçam nos exames de raios-X e tomografias computadorizadas, mas isso ainda está sendo investigado. A preocupação dos cientistas é em relação ao uso de IA em hospitais e possíveis reações a diferentes etnias, o que já aconteceu em situações parecidas.

Segundo os pesquisadores, é melhor não trazer algoritmos aos hospitais e clínicas sem entender como eles funcionam realmente, garantindo que não façam decisões racistas ou sexistas — o que, vale lembrar, vem dos vieses que nós mesmos, seres humanos, acabamos inserindo neles até mesmo sem perceber.

Fonte: The Lancet