Um possível enviesamento político da IA não se daria de uma maneira óbvia ou mesmo consciente, mas seria o resultado de uma predisposição da cultura na qual os programadores estão inseridos e que acaba por se refletir em certos padrões que serão então assimilados pelos algoritmos.“
“Algumas tecnologias que parecem neutras por vezes podem significar a exclusão mais profunda de populações marginalizadas”, afirma o economista Arie Halpern
Um possível enviesamento político da IA não se daria de uma maneira óbvia ou mesmo consciente, mas seria o resultado de uma predisposição da cultura na qual os programadores estão inseridos e que acaba por se refletir em certos padrões que serão então assimilados pelos algoritmos.“
“Algumas tecnologias que parecem neutras por vezes podem significar a exclusão mais profunda de populações marginalizadas”, afirma o economista Arie Halpern.
Um dos temas que mais têm sido debatidos na comunidade de especialistas que lidam com a construção de sistemas criptográficos de ponta é a existência de um possível enviesamento político nos programas que alimentam as máquinas. Isso não se daria de uma maneira óbvia ou mesmo consciente, mas seria o resultado de uma predisposição da cultura na qual os programadores estão inseridos e que acaba por se refletir em certos padrões que serão então assimilados pelos algoritmos.
Algumas tecnologias que parecem neutras, como o desenvolvimento de códigos que não podem ser rastreados, por vezes podem significar a exclusão ainda mais profunda de populações que são marginalizadas. Recentes debates no âmbito da International Association for Cryptologic Research, que se seguiram à onda de reafirmação dos direitos civis nos Estados Unidos, têm alertado que as tecnologias de criptografia atendem amplamente aos interesses de governos e empresas, em vez de pessoas de grupos minoritários, sejam de minorias raciais, de imigrantes, mulheres, comunidade LGBTQIA+ e assim por diante.
Grande parte da pesquisa criptográfica é abstrata e matemática, e os programadores acabam por achar que são divorciadas das condições do mundo real. Recentemente, uma pesquisa de observação social reportou resultados preocupantes a respeito de bancos de dados de aplicação da lei da Califórnia, que rastreiam supostos criminosos. Em uma amostra de 100 entradas do banco, 13 das pessoas representadas não deveriam estar ali, sendo detectadas, inclusive, presenças de crianças menores de um ano de idade; e 131 dos 563 pontos de evidência para qualificá-los como suspeitos, usados contra uma amostra de 100 pessoas, não tinham evidências. Basicamente, a Inteligência Artificial da polícia havia sido programada com preconceito racial, de gênero, de origem, de idade, assim por diante, e o reproduzia.
Este é um enorme perigo. Com sistemas cada vez mais sofisticados e que vão se alimentando de bases cada vez maiores de dados, o aprendizado de máquina pode ser uma incrível ferramenta para o bem-estar social, mas, se não forem tomados cuidados básicos, pode também aprofundar distorções que deveriam ser superadas.
Por mais que alguns criptógrafos gostariam de se ver fazendo matemática pura, eles vivem em uma sociedade dinâmica e complexa, na qual o resultado de seu trabalho pode ter conexões políticas muito fortes. Os desenvolvedores precisam, assim, buscar o apoio em especialistas de outras áreas do conhecimento, que são capazes de lançar um olhar crítico a respeito do potencial de inclusão de uma nova tecnologia. Mas, além disso, e talvez esse seja o principal ponto, nunca se esquecer de buscar a experiência em primeira mão, concreta, das comunidades dentro das quais trabalham.
