Iniciando com um resumo: O surgimento da tomada de decisão algorítmica é uma coisa boa? Parece haver um quadro crescente de autores, acadêmicos e jornalistas que responderia negativamente. No cerne deste trabalho está a preocupação de que os algoritmos são frequentemente ferramentas opacas, tendenciosas e inexplicáveis ​​utilizadas no interesse do poder institucional. Essas críticas e investigações costumam ser perspicazes e esclarecedoras, e fizeram um bom trabalho em nos desiludir da noção de que algoritmos são puramente objetivos. Mas há um padrão entre esses críticos, que raramente perguntam se os sistemas que analisam funcionariam bem sem algoritmos. E essa é a questão mais relevante para profissionais e formuladores de políticas: como o viés e o desempenho dos algoritmos se comparam aos dos seres humanos? Não é segredo que os algoritmos são tendenciosos. Mas os humanos que eles estão substituindo são significativamente mais tendenciosos. Afinal, de onde vêm os preconceitos institucionais se não dos humanos que tradicionalmente estiveram no comando?

Uma revolução silenciosa está ocorrendo

Em contraste com grande parte da cobertura da imprensa sobre inteligência artificial, essa revolução não é sobre a ascensão de um exército androide consciente. Em vez disso, é caracterizado por um aumento constante na automação de processos de decisão tradicionalmente baseados em humanos em todas as organizações em todo o país. Embora avanços como AlphaGo Zero tornem as manchetes cativantes, é o aprendizado de máquina bastante convencional e as técnicas estatísticas – mínimos quadrados comuns, regressão logística, árvores de decisão – que estão agregando valor real aos resultados financeiros de muitas organizações. As aplicações do mundo real variam de diagnósticos médicos e sentenças judiciais a recrutamento profissional e alocação de recursos em órgãos públicos.

Esta revolução é uma coisa boa? Parece haver um quadro crescente de autores, acadêmicos e jornalistas que responderia negativamente. Os títulos de livros desse gênero incluem “Weapons of Math Destruction“, “Automating Inequality” e “The Black Box Society“. Também houve uma enxurrada de artigos de formato longo, como “Machine Bias“, “Austerity Is an Algorithm” e “Are Algorithms Building the New Infrastructure of Racism?” No cerne deste trabalho está a preocupação de que os algoritmos são frequentemente ferramentas opacas, tendenciosas e inexplicáveis ​​utilizadas no interesse do poder institucional. Então, até que ponto devemos nos preocupar com a ascensão moderna dos algoritmos?

Essas críticas e investigações são frequentemente perspicazes e esclarecedoras, e fizeram um bom trabalho em nos desiludir da noção de que algoritmos são puramente objetivos. Mas há um padrão entre esses críticos, que raramente perguntam se os sistemas que analisam funcionariam bem sem algoritmos. E essa é a questão mais relevante para profissionais e formuladores de políticas: como o viés e o desempenho dos algoritmos se comparam ao status quo? Em vez de simplesmente perguntar se os algoritmos têm falhas, devemos perguntar como essas falhas se comparam às dos seres humanos.

O que a pesquisa diz?

Há um grande número de pesquisas sobre tomada de decisão algorítmica que remonta a várias décadas. E todos os estudos existentes sobre esse tópico têm uma conclusão notavelmente semelhante: os algoritmos são menos tendenciosos e mais precisos do que os humanos que estão substituindo. Abaixo está uma amostra da pesquisa sobre o que acontece quando algoritmos recebem o controle de tarefas tradicionalmente realizadas por humanos:

• Em 2002, uma equipe de economistas estudou o impacto dos algoritmos de subscrição automatizados no setor de empréstimos hipotecários. Suas principais descobertas foram “que os sistemas [de subscrição automatizada] preveem com mais precisão a inadimplência do que os subscritores manuais” e “que essa maior precisão resulta em taxas de aprovação de mutuários mais altas, especialmente para candidatos mal atendidos”. Em vez de marginalizar os compradores residenciais tradicionalmente mal atendidos, o sistema algorítmico, na verdade, beneficiou mais esse segmento de consumidores.
• Uma conclusão semelhante foi alcançada por Bo Cowgill, da Columbia Business School, quando estudou o desempenho de um algoritmo de seleção de empregos em uma empresa de software (pesquisa futura). Quando a empresa implementou o algoritmo para decidir quais candidatos deveriam obter entrevistas, o algoritmo na verdade favoreceu os candidatos “não tradicionais” muito mais do que os rastreadores humanos. Em comparação com os humanos, o algoritmo exibiu significativamente menos preconceito contra candidatos que estavam sub-representados na empresa (como aqueles sem referências pessoais ou diplomas de universidades de prestígio).
• No contexto das audiências de fiança pré-julgamento da cidade de Nova York, uma equipe de proeminentes cientistas da computação e economistas determinou que os algoritmos têm o potencial de alcançar decisões significativamente mais equitativas do que os juízes que atualmente tomam decisões sobre fiança, com “reduções nas taxas de prisão [de ] até 41,9% sem aumento nas taxas de criminalidade.” Eles também descobriram que em seu modelo “todas as categorias de crime, incluindo crimes violentos, mostram reduções [nas taxas de prisão]; e esses ganhos podem ser alcançados ao mesmo tempo em que reduz as disparidades raciais”.
• A revista New York Times publicou recentemente uma longa história para responder à pergunta: “Um algoritmo pode dizer quando as crianças estão em perigo?” Acontece que a resposta é “sim” e que os algoritmos podem realizar essa tarefa com muito mais precisão do que os humanos. Em vez de exacerbar os preconceitos raciais perniciosos associados a alguns serviços do governo, “a experiência de Allegheny sugere que sua ferramenta de triagem é menos ruim para avaliar preconceitos do que os rastreadores humanos”.
• Por fim, examinando dados históricos sobre empresas de capital aberto, uma equipe de professores de finanças começou a construir um algoritmo para escolher os melhores membros do conselho para uma determinada empresa. Os pesquisadores não apenas descobriram que as empresas teriam um desempenho melhor com membros do conselho selecionados por algoritmos, mas em comparação com o algoritmo proposto, eles “descobriram que as empresas [sem algoritmos] tendem a escolher conselheiros que têm muito mais probabilidade de serem homens, têm uma grande rede , tem muita experiência em conselhos, atualmente serve em mais conselhos e tem experiência em finanças”.

Em cada um desses estudos de caso, os cientistas de dados fizeram o que parece uma coisa alarmante: eles treinaram seus algoritmos em dados passados ​​que certamente são influenciados por preconceitos históricos. Então, o que está acontecendo aqui? Como é possível que em tantas áreas diferentes – aplicativos de crédito, triagens de empregos, justiça criminal, alocação de recursos públicos e governança corporativa – os algoritmos possam reduzir o preconceito, quando muitos comentaristas nos dizem que os algoritmos deveriam fazer o oposto?

Seres humanos são tomadores de decisão notavelmente ruins

Um segredo não tão oculto por trás dos algoritmos mencionados acima é que eles realmente são tendenciosos. Mas os humanos que eles estão substituindo são significativamente mais tendenciosos. Afinal, de onde vêm os preconceitos institucionais se não dos humanos que tradicionalmente estiveram no comando?
Mas os humanos não podem ser tão ruins, certo? Sim, podemos ser tendenciosos, mas certamente há alguma medida de desempenho em que somos bons tomadores de decisão. Infelizmente, décadas de pesquisa psicológica em julgamento e tomada de decisão demonstraram repetidamente que os humanos são notavelmente maus julgadores de qualidade em uma ampla gama de contextos. Graças ao trabalho pioneiro de Paul Meehl (e trabalho de acompanhamento de Robyn Dawes), sabemos desde pelo menos os anos 1950 que modelos matemáticos muito simples superam supostos especialistas em prever resultados importantes em ambientes clínicos.

Em todos os exemplos mencionados acima, os humanos que costumavam tomar decisões eram tão ruins que substituí-los por algoritmos aumentava a precisão e reduzia os preconceitos institucionais. Isso é o que os economistas chamam de melhoria de Pareto, em que uma política vence a alternativa em todos os resultados com que nos importamos. Embora muitos críticos gostem de sugerir que as organizações modernas buscam a eficiência operacional e maior produtividade em detrimento da equidade e justiça, todas as evidências disponíveis nesses contextos sugerem que não existe tal compensação: os algoritmos oferecem resultados mais eficientes e mais equitativos. Se algo deveria alarmar você, deveria ser o fato de que tantas decisões importantes estão sendo tomadas por seres humanos que sabemos serem inconsistentes, tendenciosos e extremamente ruins.

Melhorando o Status Quo

É claro que devemos fazer todo o possível para erradicar o preconceito institucional e sua influência perniciosa nos algoritmos de tomada de decisão. As críticas à tomada de decisão algorítmica geraram uma rica nova onda de pesquisas em aprendizado de máquina que leva mais a sério as consequências sociais e políticas dos algoritmos. Existem novas técnicas emergentes em estatística e aprendizado de máquina que são projetadas especificamente para abordar as preocupações em torno da discriminação algorítmica. Há até uma conferência acadêmica todos os anos em que os pesquisadores não apenas discutem os desafios éticos e sociais do aprendizado de máquina, mas também apresentam novos modelos e métodos para garantir que os algoritmos tenham um impacto positivo na sociedade. Este trabalho provavelmente se tornará ainda mais importante à medida que algoritmos menos transparentes, como o aprendizado profundo, se tornarem mais comuns.

Mas mesmo que a tecnologia não consiga resolver totalmente os males sociais do preconceito institucional e da discriminação preconceituosa, as evidências analisadas aqui sugerem que, na prática, ela pode desempenhar um papel pequeno, mas mensurável, na melhoria do status quo. Este não é um argumento para absolutismo algorítmico ou fé cega no poder das estatísticas. Se descobrirmos em alguns casos que os algoritmos têm um grau inaceitavelmente alto de viés em comparação com os processos de tomada de decisão atuais, então não há mal nenhum em seguir as evidências e manter o paradigma existente. Mas o compromisso de seguir as evidências tem um viés e devemos estar dispostos a aceitar que – em alguns casos – os algoritmos farão parte da solução para reduzir os vieses institucionais.

Portanto, da próxima vez que você ler uma manchete sobre os perigos do viés algorítmico, lembre-se de olhar no espelho e lembre-se de que os perigos do viés humano são provavelmente ainda piores.

Para uma visão mais ampla sobre IA, não deixe de ver os artigos relacionados abaixo.

Se gostou, por favor, compartilhe. Abraço, @neigrando

Sobre mim: aqui, Contato: aqui.

Referências

Observação: Este artigo trata-se de uma versão traduzida e adaptada do artigo original:

• Want Less-Biased Decisions? Use Algorithms, by Alex P. Miller (HBR, July 2018)

Alguns livros interessantes sobre IA:

• LEE, Kai-Fu. AI Super-Powers: China, Silicon Valley, New World Order.
• BOSTROM, Nick. Superinteligência: Caminhos, perigos e estratégias para um novo mundo.

Artigos Relacionados

• Como é a Tomada de Decisão orientada pela IA
• Delegação da Decisão: Humana e, ou, IA
• 10 áreas de negócios prontas para IA
• Blocos de Construção da Inteligência Artificial
• Os 7 Padrões da Inteligência Artificial
• As 4 ondas da inteligência artificial
• Introdução à computação cognitiva
• Inteligência Artificial: Marcos de desempenho em nível humano
• Aprendizado de máquina e o futuro dos negócios
• Racionalidade Limitada e Vieses Cognitivos
• Por uma sociedade melhor, quem sabe 5.0
• Brasil Rumo à Indústria 4.0
• Transformação Digital – Por que, o que, e como fazer
• Decisão e processo decisório
• Como lidar com as incertezas dos negócios