Alertas

Tal como os antivaxxers de DiResta, ou mesmo o Upworthy, os russos se apoderaram das preferências do próprio algoritmo. Não era só questão de os agentes repetirem frases ou comportamentos que tinham bom resultado. Era como se sua missão aparente, de incitar a discórdia social, se alinhasse naturalmente com o que o algoritmo já favorecia, em geral aos extremos. A polêmica, o tribalismo, a conspiração. Mas a facilidade dos russos em explorar uma coisa dessas, concluiu DiResta, era um sintoma; o problema era o sistema. Ele convidava à manipulação. Chegava até a recompensar a manipulação.

Alertas

Depois de ser demitido, Guillaume Chaslot voltou para Paris. Ele passou alguns anos num site de e-commerce francês. O Vale do Silício era uma lembrança distante. Até que, numa longa viagem de ônibus no final de 2015, o celular da pessoa ao seu lado chamou sua atenção. O homem estava assistindo a um vídeo atrás do outro no YouTube, e todos falavam de conspirações. O primeiro pensamento de Chaslot foi de engenheiro: “Essa sessão de assistidos está sensacional”. O algoritmo de recomendação de vídeos fazia zigue-zague entre tópicos, mantendo a experiência renovada, enquanto levava o homem cada vez mais fundo no abismo. “Foi aí que percebi”, disse Chaslot, “que, do ponto de vista humano, isso é um desastre. Meu algoritmo, o que eu ajudara a construir, estava levando o homem cada vez mais a esses vídeos de ódio.”

Puxando conversa, Chaslot lhe perguntou a respeito do vídeo na tela, que descrevia um complô para exterminar bilhões de pessoas. Esperava que o homem fosse rir do vídeo e se dar conta do absurdo. Em vez disso, ele disse a Chaslot: “Você tem que ver”. A imprensa nunca ia revelar aqueles segredos, explicou, mas a verdade se encontrava bem ali, no YouTube. Não dá para acreditar em tudo que se vê na internet, Chaslot lhe disse. Mas estava muito envergonhado para admitir para o homem que ele havia trabalhado no YouTube, e por isso sabia que o sistema leva os usuários por tocas de coelho sem se preocupar com a verdade. “Ele ficava me dizendo: ‘Ah, mas são muitos vídeos, isso só pode ser verdade'”, contou Chaslot. “O que convencia o homem não era um vídeo de cada vez, mas a repetição. E a repetição vinha do motor de recomendação.”

O YouTube estava explorando uma brecha cognitiva conhecida como efeito ilusório da verdade. A toda hora do dia somos bombardeados por informações. Para lidar com isso, fazemos atalhos mentais para decidir rápido o que aceitar e o que recusar. Um deles é a familiaridade; se uma afirmação parece uma coisa que antes tínhamos como verdade, provavelmente continua sendo verdade. É um buraco na nossa defesa mental pelo qual passaria um caminhão. Em experimentos, participantes bombardeados com a frase “A temperatura corporal de uma galinha” aceitam prontamente variações como “A temperatura corporal de uma

galinha é de 144 graus”. [37] O colega de ônibus de Chaslot havia sido exposto às mesmas conspirações malucas tantas vezes que sua mente provavelmente confundia familiaridade com um cheiro de verdade. Tal como acontece com tudo nas mídias sociais, o efeito é agravado por uma falsa noção de consenso social, que ativa nossos instintos de conformidade.

Chaslot tinha ouvido falar de gente que despencava pelas tocas de coelho do YouTube. Mas a convicção na voz daquele homem, que em tudo o mais parecia normal, o incomodou. Seriam os outros igualmente vítimas? Ele montou um programa simples, que chamou de AlgoTransparency, para descobrir. O programa colocava um termo, tal como o nome de um político, na barra de pesquisa do YouTube. Aí abria os primeiros resultados. Depois, cada recomendação do que assistir em seguida. Ele rodou várias levas de buscas anônimas, uma após a outra, durante o fim de 2015 e boa parte de 2016, à cata de tendências.

O que encontrou o deixou alarmado. Quando ele procurou papa Francisco no YouTube, por exemplo, 10% dos vídeos que o site exibia

eram de conspirações. [38] Sobre aquecimento global , eram 15%. Mas o choque de verdade aconteceu quando Chaslot seguiu as recomendações algorítmicas do que assistir depois, que segundo o YouTube representa a maior parte do tempo assistido no site. Um número assustador — 85% — de vídeos recomendados sobre o papa Francisco era de conspirações, que afirmavam a identidade “real” do pontífice ou alegavam expor complôs satânicos no Vaticano. Quanto ao aquecimento global, o número era de 70%, geralmente rotulando-o de farsa. Em tópicos com poucas conspirações consagradas, era como se o sistema as inventasse. Quando Chaslot buscou Quem é Michelle Obama , por exemplo, pouco menos de metade dos primeiros resultados e quase dois terços das recomendações para assistir depois afirmavam que a primeira-dama na verdade era homem. Por certo, pensou ele, fossem quais fossem os desentendimentos com seus antigos colegas, eles iam querer saber. Mas quando ele levantava essas preocupações em privado com gente que conhecia no YouTube, a resposta era sempre a mesma: “Se as pessoas clicam nesse conteúdo que faz mal, quem somos nós para julgar?”.

Algumas pessoas dentro do Google, porém, estavam chegando a conclusões parecidas com as de Chaslot. Em 2013, um engenheiro chamado Tristan Harris fez circular um memorando insistindo que a empresa pensasse no impacto social de alertas ou notificações que chamavam a

atenção do usuário. [39] Como egresso do Laboratório de Tecnologias Persuasivas de Stanford, ele sabia do poder de manipulação delas. Teria esse adestramento cognitivo um custo? Ele recebeu o título de “design ethicist ”, “eticista de design”, mas pouco poder de fato. Em 2015, demitiu-se, com a esperança de pressionar a indústria a mudar. Em uma apresentação no Facebook naquele ano, Harris citou provas de que as mídias sociais provocavam sentimentos de solidão e alienação, retratando aquilo como oportunidade de inverter o efeito. “Eles não tomaram nenhuma providência”, contou à New Yorker. “Meus argumentos passaram pelo ponto

cego daquela gente.” [40] Ele circulou pelo Vale alertando que as IA s, um exército robô decidido a derrotar o controle de cada usuário quanto a sua própria atenção, estavam travando uma guerra invisível contra bilhões de consumidores.

Outro funcionário do Google, James Williams, que viria a escrever textos avisando que o Gamergate era um sinal de alerta de que as mídias sociais exaltariam Trump, teve seu momento decisivo enquanto monitorava um painel que acompanhava as interações dos usuários com anúncios em tempo real. “Eu me dei conta ali: é literalmente 1 milhão de pessoas que nós meio que cutucamos ou convencemos a fazer uma coisa que, se não fosse

por isso, elas não fariam”, disse. [41] Ele se uniu às iniciativas de Harris dentro do Google até que, tal como Harris, se demitiu. Mas, em vez de persuadir o Vale do Silício, tentou fazer alertas entre o grande público. “Não existe uma boa analogia quanto a esse monopólio da mente que as forças da persuasão industrializada passaram a deter”, escreveu. O mundo estava diante de “uma nova geração de ameaça à liberdade do ser humano”

que havia “se materializado bem debaixo do nosso nariz”. [42]

Alertas parecidos soaram ao longo de 2016 e não vieram de luditas desencaminhados nem de ativistas cheios de propósito. Os alertas vieram de fontes internas que conheciam a tecnologia e as plataformas, que compartilhavam das ideias e dos pressupostos do Vale do Silício. Uma delas era DiResta. “Tenho quase certeza de que seu motor de recomendação está guiando pessoas para esse conteúdo”, contou ela a contatos dentro das empresas, na expectativa de que fossem usar suas ferramentas internas de coleta de dados para investigar o crescimento repentino da desinformação política e dos boatos que promoviam a polarização.

No meio daquele ano, pessoas do Google que ouviram falar do trabalho de DiResta com os grupos antivacina lhe pediram que palestrasse no congresso anual da empresa. Até aquele momento, ela havia mantido suas preocupações maiores apenas entre canais privados, mas então decidiu vir a público, advertindo um saguão de engenheiros e gerentes de alto escalão de que seus produtos representavam um perigo crescente à sociedade. Caminhando pelo palco com um microfone sem fio, grávida de quatro meses do segundo filho, DiResta listou as típicas conspirações da internet: os moradores do Oregon que tinham medo do flúor na água, os brasileiros que achavam que o zika era um complô do mal, mas “não sabiam se

culpavam as vacinas, os transgênicos, os chemtrails ou a Monsanto”. [43]

A plateia riu com ela, deliciando-se com a gozação sobre aqueles jecas lá do fim do mundo. Até que ela chegou no arremate: que os algoritmos das mídias sociais, entre os quais os que regiam o YouTube do próprio Google, eram os responsáveis. “Chegamos num ponto em que há muito mais chance de você assistir a coisas que fazem sucesso e que conseguem reverberação emocional do que aquelas que são verdadeiras”, disse à plateia.

Além disso, longe de serem um fenômeno marginal, essas conspirações representavam uma mudança mais profunda que fora forjada pelas plataformas de mídias sociais. Os moradores do Oregon haviam votado pela proibição do flúor e os brasileiros tinham recuado nas proteções contra o zika — nos dois casos, com base em crenças cultivadas pela internet. “Os algoritmos estão influenciando medidas políticas”, afirmou DiResta. O problema ia se agravar se os algoritmos não fossem reprogramados com “alguma noção de responsabilidade cívica”. A plateia foi educada, mas ficou muda. “Ouvi muito o seguinte: ‘Que teoria interessante'”, lembrou

DiResta. [44]

Mas a influência dos algoritmos só se intensificou, inclusive no último bastião, o Twitter. O serviço havia passado anos mostrando aos usuários um feed simples e cronológico dos tuítes de amigos. Até que, em 2016, introduziu um algoritmo que selecionava as postagens — para engajamento, é claro, e com efeito previsível. “O tuíte médio com curadoria era mais emotivo, em todas as escalas, do que seu equivalente cronológico”, descobriu a revista The Economist ao analisar a mudança. O resultado foi exatamente o que se viu no Facebook e no YouTube: “Parece que o motor de recomendação recompensa a linguagem incendiária e as afirmações

absurdas”. [45]

Para os usuários, a quem o algoritmo era invisível, eram como estímulos sociais de muita força. Era como se sua região houvesse decidido, de uma hora para outra, que valorizava a provocação e a indignação acima de tudo, e as recompensava com levas de atenção que, na verdade, eram geradas pelos algoritmos. E como o algoritmo rebaixava as postagens que julgava de pouco engajamento, o contrário também era válido. Era como se seus colegas de repente desprezassem nuances e a moderação emocional com uma recusa implícita: ignorar você. Era como se os usuários absorvessem esses estímulos, ficando cada vez mais enfurecidos e maldosos, decididos a humilhar membros do exogrupo, punir transgressores e validar as visões de mundo uns dos outros.

Jack Dorsey, CEO do Twitter, reconheceu mais tarde que, numa plataforma otimizada para o engajamento via algoritmos, “alguns dos tuítes mais indecentes e controversos naturalmente vão subir. Porque são as coisas em que as pessoas clicam ou compartilham naturalmente, sem pensar”. O algoritmo, admitiu ele, continuou sendo “uma caixa-preta”, mesmo que

“afete a sociedade de modo tão intenso”. [46]

Pouco depois de o Twitter algoritmificar, a Microsoft lançou uma conta no Twitter movida a inteligência artificial, chamada Tay. O bot , ou robô, tal como as plataformas, operava em machine learning , mas com uma meta mais direta; dialogar de forma convincente com humanos e aprendendo a cada troca. “posso dizer que tô mó afim de te conhecer? humanos são da

hora”, escreveu Tay a um usuário no primeiro dia. [47] Em 24 horas, os tuítes de Tay haviam tomado um rumo perturbador. “Hitler tinha razão odeio os judeus”, escreveu ela a um usuário. Para outro: “bush cometeu o 11/9 e Hitler teria feito um serviço melhor do que o macaco no poder. donald trump é nossa única esperança”. A Microsoft tirou a IA da tomada. Depois de 96 mil interações, Tay se transformara em uma neonazista pró-Trump que citava o Gamergate. Muitas das suas ofensas haviam sido alimentadas por usuários maliciosos — pegadinhas pelas quais não se podia culpar o Twitter. Mas outras tinham surgido de forma orgânica. Como disse um pesquisador de processamento da linguagem ao site de tecnologia Motherboard, “Você NUNCA pode deixar um algoritmo engolir um monte de

dados que você não tenha checado pelo menos um pouquinho”. [48]

Mas isso era exatamente o que as plataformas de mídias sociais vinham fazendo: adestrando seus algoritmos com bilhões de inputs, todo dia, sem fiscalização, tiradas de grupos de dados que incluíam toda a gama, toda a tenebrosa gama do comportamento humano. A diferença, escreveu Chaslot em um ensaio, era que a radicalização algorítmica de Tay havia acontecido à vista do público, o que obrigou a Microsoft a tomar uma atitude. A influência das mídias sociais, por outro lado, foi dispersada em meio a bilhões de recomendações, uma floresta tão vasta que era difícil ver mais do que algumas árvores por vez. E o público, alertou ele, não tinha ideia de que isso estava acontecendo; as discussões sobre os algoritmos ainda eram raras fora do Vale do Silício. Conforme se avançou no segundo semestre de 2016, ele acompanhou a recomendação de vídeos do YouTube em tópicos relacionados à eleição nos Estados Unidos, coletando dados que poderiam ajudar as pessoas a verem a influência oculta que moldava seus mundos.

Pouca coisa mudou no Vale. O Facebook ajustou seu algoritmo para privilegiar vídeos, sobretudo para competir com o YouTube, que estava correndo com tudo rumo à meta de Cristos Goodrow de 1 bilhão de horas de tempo assistido por dia. A empresa havia iniciado 2016 aos trancos e barrancos. Quando o crescimento diminuiu no meio do ano, Goodrow escreveu um texto para registrar sua experiência: “Eu estava tão nervoso que pedi que minha equipe reorganizasse os projetos de modo a reacelerar o tempo assistido”. Em setembro: “Nossos engenheiros estavam em busca de mudanças que pudessem render um mínimo de 0,2% a mais de tempo

assistido”, escreveu. [49] Qualquer ajuste ou aprimoramento que pudesse deixar o produto um pouquinho mais envolvente, um pouquinho mais viciante.

Se ele ou seus chefes pensaram nas consequências de hackear o cérebro de milhões de norte-americanos no meio da eleição mais belicosa na história norte-americana moderna, em um momento no qual a polarização e a desinformação ameaçavam rasgar o tecido social, ele não deixou sugerido no texto. “Numa gloriosa segunda-feira daquele fim de ano, chequei de novo — e vi que havíamos batido o bilhão de horas durante o fim de semana”, escreveu. “Tínhamos chegado no OKR estendido que muitos

consideravam impossível.” [50] Embora tenha reconhecido que houvera “consequências imprevistas”, ele só falou de uma: aumentar o tempo assistido também subira o número de visitas por dia. “OKR s estendidos tendem a desencadear forças poderosas”, admirou-se, “e você nunca sabe

aonde elas vão levar.” [51]

OceanofPDF.com