Após recuarem de seus programas de diversidade, equidade e inclusão (DEI, na sigla em inglês) no local de trabalho, as empresas de tecnologia podem agora enfrentar um segundo ajuste de contas sobre seu trabalho de diversidade em produtos de inteligência artificial (IA).
Na Casa Branca e no Congresso liderado pelos republicanos, a “IA woke” substituiu a discriminação algorítmica como um problema que precisa ser corrigido. Esforços anteriores para “promover a equidade” no desenvolvimento de IA e conter a produção de “resultados prejudiciais e tendenciosos” são alvo de investigação, de acordo com intimações enviadas à Amazon, Google, Meta, Microsoft, OpenAI e outras 10 empresas de tecnologia no mês passado pelo Comitê Judiciário da Câmara.
Já a divisão de definição de padrões do Departamento de Comércio dos EUA excluiu menções à justiça, segurança e “IA responsável” em seu apelo por colaboração com pesquisadores externos. Em vez disso, está instruindo os cientistas a se concentrarem na “redução do viés ideológico” de uma maneira que “permita o florescimento humano e a competitividade econômica”, de acordo com uma cópia do documento obtida pela Associated Press.
De certa forma, os trabalhadores do setor de tecnologia estão acostumados com mudanças bruscas nas prioridades de governos que afetam seu trabalho.
Mas a última mudança levantou preocupações entre especialistas na área, incluindo o sociólogo da Universidade de Harvard, Ellis Monk, que há alguns anos foi abordado pelo Google para ajudar a tornar seus produtos de IA mais inclusivos.
Na época, a indústria de tecnologia já sabia que tinha um problema com o campo da IA que treina máquinas para “ver” e entender imagens. A visão computacional tinha grande promessa comercial, mas ecoava os preconceitos históricos encontrados em tecnologias antigas de câmera que retratavam pessoas negras e pardas de maneira desfavorável.
“Pessoas negras ou de pele mais escura apareciam na foto e às vezes ficávamos ridículos”, disse Monk, um estudioso do colorismo, uma forma de discriminação baseada nos tons de pele e outras características das pessoas.
O Google adotou uma escala de cores inventada por Monk que melhorou a forma como suas ferramentas de imagem de IA retratam a diversidade dos tons de pele humana, substituindo um padrão de décadas originalmente projetado para médicos que tratavam pacientes brancos.
“Os consumidores deram uma resposta muito positiva às mudanças”, diz ele.
Agora Monk se pergunta se tais esforços continuarão no futuro. Embora ele não acredite que sua Escala de Tons de Pele Monk esteja ameaçada porque já está incorporada em dezenas de produtos no Google e em outros lugares - incluindo telefones com câmera, videogames, geradores de imagens de IA - ele e outros pesquisadores temem que o novo clima político esteja esfriando futuras iniciativas e financiamentos para fazer a tecnologia funcionar melhor para todos.
“O Google quer que seus produtos funcionem para todos, na Índia, China, África etc. Essa parte é meio que imune ao DEI”, diz Monk. “Mas o financiamento para esse tipo de projeto pode ser reduzido? Claro, quando o clima político muda e quando há muita pressão para chegar ao mercado muito rapidamente.”
Trump cortou centenas de concessões de financiamento de ciência, tecnologia e saúde que tocavam em temas de DEI, mas sua influência no desenvolvimento comercial de chatbots e outros produtos de IA é mais indireta. Ao investigar empresas de IA, o representante republicano Jim Jordan, presidente do comitê judiciário, disse que quer descobrir se a administração do ex-presidente Biden “coagiu ou conspirou com” elas para censurar discursos legais.
Michael Kratsios, diretor do Escritório de Política de Ciência e Tecnologia da Casa Branca, disse recentemente que as políticas de IA de Biden estavam “promovendo divisões sociais e redistribuição em nome da equidade”.
A administração Trump se recusou a disponibilizar Kratsios para uma entrevista, mas citou vários exemplos do que ele quis dizer. Um deles era uma frase da estratégia de pesquisa de IA da era Biden que dizia: “Sem controles adequados, os sistemas de IA podem amplificar, perpetuar ou exacerbar resultados injustos ou indesejáveis para indivíduos e comunidades”.
Mesmo antes de Biden assumir o cargo, um crescente corpo de pesquisas e anedotas pessoais estava atraindo atenção para os danos do viés da IA.
Um estudo mostrou que a tecnologia de carros autônomos tem dificuldade em detectar pedestres de pele mais escura, colocando-os em maior perigo de serem atropelados. Outro estudo pedindo a populares geradores de texto para imagem de IA para fazer uma imagem de um cirurgião descobriu que eles produziram um homem branco cerca de 98% das vezes, muito maior que as proporções reais mesmo em um campo fortemente dominado por homens.
Software de reconhecimento facial para desbloquear telefones identificava erroneamente rostos asiáticos. A polícia em cidades dos EUA prendeu erroneamente homens negros com base em falsos reconhecimentos faciais. E há uma década, o próprio aplicativo de fotos do Google classificou uma foto de duas pessoas negras em uma categoria rotulada como “gorilas”.
Até cientistas do governo na primeira administração Trump concluíram em 2019 que a tecnologia de reconhecimento facial estava funcionando de forma desigual com base em raça, gênero ou idade.
Então veio o Gemini do Google, que em um lançamento falho se tornou o símbolo da “IA woke” que os conservadores esperavam desmantelar. Deixadas por conta própria, as ferramentas de IA que geram imagens a partir de um prompt escrito são propensas a perpetuar os estereótipos acumulados de todos os dados visuais em que foram treinadas.
O Gemini não era diferente, e quando solicitado a retratar pessoas em várias profissões, era mais propenso a favorecer rostos mais claros e homens, e, quando mulheres eram escolhidas, mulheres mais jovens, de acordo com a própria pesquisa pública da empresa.
O Google tentou colocar barreiras técnicas para reduzir essas disparidades, mas acabou gerando outro tipo de viés, colocando negros e mulheres em cenários históricos imprecisos — entre eles está retratar os fundadores dos EUA com imagens de negros, asiáticos e nativos americanos. O Google rapidamente se desculpou e temporariamente desativou o recurso, mas a indignação se tornou um grito de guerra adotado pela direita.
Com o CEO do Google, Sundar Pichai, sentado próximo, o vice-presidente JD Vance usou uma cúpula de IA em Paris, em fevereiro, para denunciar o avanço de “agendas sociais por meio da IA”, nomeando o momento em que o gerador de imagens de IA do Google estava “tentando nos dizer que George Washington era negro, ou que os soldados americanos na Primeira Guerra Mundial eram, na verdade, mulheres”.
“Temos que lembrar as lições daquele momento ridículo”, declarou Vance na reunião. “E o que tiramos disso é que a administração Trump garantirá que os sistemas de IA desenvolvidos na América estejam livres de viés ideológico e nunca restrinjam o direito de nossos cidadãos à liberdade de expressão”.
Uma ex-conselheira científica de Biden que participou desse discurso, Alondra Nelson, disse que o novo foco da administração Trump no “viés ideológico” da IA é, de certa forma, um reconhecimento de anos de trabalho para abordar o viés algorítmico que pode afetar moradia, hipotecas, saúde e outros aspectos da vida das pessoas.
Leia também
Manus AI: conheça a IA chinesa que vai muito além do ChatGPT
IAs devem ter direitos humanos caso se tornem conscientes?
“Fundamentalmente, dizer que os sistemas de IA são ideologicamente tendenciosos é dizer que você identifica, reconhece e está preocupado com o problema do viés algorítmico, que é o problema com o qual muitos de nós estamos preocupados há muito tempo”, disse Nelson, ex-diretora interina do Escritório de Política de Ciência e Tecnologia da Casa Branca, que co-autorizou um conjunto de princípios para proteger os direitos civis e liberdades civis nas aplicações de IA.
Mas Nelson não vê muito espaço para colaboração em meio à depreciação das iniciativas de igualdade na IA.
“Acho que neste espaço político, infelizmente, isso é bastante improvável”, diz ela.
Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.