Esquema sinistro

Para sobreviver a esse ambiente que elas mesmas haviam criado, as empresas precisariam confiar seus negócios — e, portanto, seus usuários — a máquinas.

Esquema sinistro

Em 2014, Wojcicki, a executiva do Google que havia proposto a aquisição do YouTube, assumiu como CEO da área de vídeos. Embora sua liderança viesse a ser de obsessão implacável pelo crescimento tal como as de Mark Zuckerberg ou Jack Dorsey, ela só viria a atrair uma parte do escrutínio. Mesmo no auge das críticas às mídias sociais, quando o YouTube viria a ser acusado de males muito maiores do que o Facebook, e de males convincentes, ela raramente foi conduzida ao Congresso, raramente foi castigada por apresentadores dos canais a cabo, raramente foi citada. Seu currículo mais convencional, de veterana da publicidade e de departamentos de marketing, e não de prodígio ou hacker de moradia universitária, não a predispunha à persona de superestrela da tecnologia — nem, especialmente, a pronunciamentos sobre revolução — que conquistou tanta adulação para os Zuckerbergs e Dorseys antes de causá-los tanta encrenca. Por outro lado, o Google tratava o YouTube como caixa automático, e não como líder da marca, de modo que deixava o site e Wojcicki um passo atrás nos holofotes.

Talvez o mais importante a destacar seja que o YouTube nunca compartilhou das pretensões de Facebook, Twitter ou Reddit quanto a salvar o mundo, e em anos posteriores raramente seguiu as tentativas dessas empresas de provar ao público que estava repensando seu lugar no funcionamento da sociedade. O YouTube de Wojcicki existia apenas para converter olhinhos em dinheiro. A democracia e a coesão social eram problema dos outros.

Pouco depois de Wojcicki assumir, Goodrow lhe avisou: “Nós não vamos alcançar esse OKR de tempo assistido se não tomarmos uma atitude”.

[19] A atitude: dar cada vez mais poder a IA s cada vez mais inescrutáveis. Em um artigo de 2016, os engenheiros do Google anunciaram uma “mudança de paradigma fundamental” para um novo tipo de machine

learning que chamaram de “aprendizado profundo”. [20]

Na IA anterior, um sistema automatizado havia construído os programas que selecionavam vídeos. Porém, tal como as IA s que pescavam spam, humanos fiscalizavam o sistema e intervinham para ele evoluir e fazer ajustes. Agora o aprendizado profundo era sofisticado a ponto de assumir essa fiscalização. Assim, na maioria dos casos, “não vai haver humanos fazendo ajustes algorítmicos, mensurando esses ajustes e depois implementando os ajustes”, escreveu o diretor de uma agência que gerava talentos para o YouTube em um texto que decifrava o artigo sobre o aprendizado profundo. “Ou seja: quando o YouTube afirma que não tem como dizer por que o algoritmo faz o que faz, provavelmente a afirmação é

literal.” [21]

Era como se a Coca-Cola estocasse uma bebida projetada por IA em 1 bilhão de máquinas de refrigerante sem um único ser humano a conferir o conteúdo das garrafas — e se a IA que estocava a bebida fosse programada apenas para incrementar vendas, sem cuidados com saúde ou segurança. Como disse um dos engenheiros de aprendizado profundo do YouTube a um congresso da indústria: “O produto nos diz que queremos aumentar a

métrica, então vamos lá e aumentamos”. [22]

O aumento do tempo médio do usuário na plataforma foi estratosférico. A empresa estimava que 70% do tempo no site, uma parcela astronômica do negócio, era o resultado de vídeos impulsionados pelo seu sistema de

recomendação movido a algoritmo. [23]

Conforme a tecnologia avançou, outras plataformas também ampliaram o uso de algoritmos sem orientação humana: o Facebook, para selecionar quais postagens os usuários veem e a quais grupos são chamados a se afiliar; o Twitter, para destacar postagens que podem estimular o usuário a ficar rolando a barra e tuitar.

“Desenvolvemos vários algoritmos para continuar a produzir conteúdo interessante para você”, disse Zuckerberg em entrevista. “Ele analisa todas as informações disponíveis para cada usuário e computa qual será a mais

interessante.” [24] Um ex-funcionário do Facebook explicou, mais seco: “Ele é projetado pra fazer você rolar a barrinha, fazer você olhar, fazer você

curtir”. [25] Mais uma: “Essa é a chave. Essa é a fórmula secreta. É assim e

é por isso que valemos X bilhões de dólares”. [26]

Em 2014, o mesmo ano em que Wojcicki assumiu o YouTube, o algoritmo do Facebook trocou suas preferências pelos caça-cliques ao estilo Upworthy por algo ainda mais magnético: interações de envolvimento emocional. Durante a segunda metade daquele ano, conforme a empresa gradualmente remanejava seus sistemas, os pesquisadores da própria plataforma acompanharam 10 milhões de usuários para entender os efeitos

disso. [27] Descobriram que as mudanças inflavam artificialmente a quantidade de conteúdo pró-progressista que os usuários progressistas viam e a quantidade de conteúdo pró-conservador que os conservadores viam. Tal como Pariser alertara. O resultado, mesmo que ninguém no Facebook houvesse pensado conscientemente, era o hipersectarismo enraizado via algoritmo. Isso era mais potente do que classificar as pessoas no

equivalente do Face book ao noticiário da Fox News ou da MSNBC , [7] pois enquanto a relação entre uma emissora de TV a cabo e o espectador tem uma só via, a relação entre um algoritmo do Facebook e o usuário é uma via de mão dupla. Um educa o outro. O processo, como disseram os pesquisadores do Face book, um tanto quanto cautelosos, em um suposto alerta que a empresa não ouviu, foi “associado a adotar posturas mais extremas ao longo

do tempo e interpretando mal as verdades sobre as notícias”. [28]

Mas as ambições algorítmicas do Vale do Silício só cresceram até o desejo de nada menos do que o domínio da mente humana. Durante um evento corporativo no meio do ano seguinte com Zuckerberg e Stephen Hawking, o físico perguntou ao chefe do Facebook: “De qual das maiores perguntas da ciência você gostaria de saber a resposta e por quê?”. Zuckerberg respondeu: “Meu maior interesse está nas perguntas sobre as pessoas. Também sou curioso quanto à existência de uma lei matemática fundamental que subjaz a todas as relações humanas e rege o equilíbrio em

relação a quem e do que gostamos. Aposto que ela existe”. [29]

O Facebook contratou dois dos maiores especialistas do mundo em machine learning , verdadeiros rock stars da área, para gerenciar laboratórios de IA próprios. A empresa queria não só explorar avanços no campo como também guiar tais avanços. “Toda vez que você usa o Facebook ou o Instagram ou o Messenger”, disse um dos líderes do laboratório em um congresso da indústria, “talvez você não perceba, mas

suas experiências são alimentadas pela inteligência artificial.” [30] Se o Facebook quisesse que bilhões de usuários fizessem mais de uma coisa ou menos de uma coisa — clicar, curtir, comentar —, bastava à empresa pedir ao seu sistema que fizesse acontecer.

Se as empresas não se davam ao trabalho de verificar como o sistema chegava lá era porque conservavam o mesmo otimismo cego que Eric Schmidt, CEO de longa data do Google, havia transmitido em Mianmar: mais engajamento significava mais benesses à sociedade. Não vá conferir se isso é verdade, pois você pode descobrir que não é. “Se eles interagirem um pouco mais assim, é o indicativo de que estamos criando valor”, disse Adam Mosseri, o vice-presidente que supervisionava o feed de notícias, em um encontro do Facebook. “No longo prazo, cada vez mais gente vai usar o Facebook, vai gastar cada vez mais tempo no Facebook e isso vai fazer bem para essas pessoas, vai fazer bem ao Facebook e vai fazer bem a quem

publica.” [31] Esse raciocínio era disseminado. Goodrow, o chefe de algoritmos do YouTube, havia escrito: “Quando os usuários passam mais do seu valioso tempo assistindo a vídeos do YouTube, eles necessariamente

devem estar mais felizes com os vídeos”. [32]

Era uma suposição estranha. É comum as pessoas agirem contra os próprios interesses. Bebemos ou comemos em excesso, usamos drogas, procrastinamos, nos entregamos a tentações do narcisismo ou da raiva. Perdemos as estribeiras, o autocontrole, a moral. Mundos inteiros de experiência se organizam em torno do entendimento de que nossos impulsos podem nos sobrepujar, em geral contra nós. Era uma verdade central à experiência humana, mas incompatível com modelos econômicos de crescimento exponencial. E, portanto, foi convenientemente esquecida.

O impulso pelo engajamento, que continua sendo característica permanente da cultura corporativa, é totalizante. Os engenheiros do Facebook eram automaticamente “convocados”, segundo contou um ex-líder de equipe do feed de notícias, se o número de curtidas ou compartilhamentos baixasse, para que eles ajustassem o sistema a

impulsionar de novo. [33] “Se a sua função é fazer esse número subir, em algum momento você fica sem maneiras boas, puramente positivas”, disse um ex-gerente operacional do Facebook. “Você começa a pensar: ‘Pois bem, que esquema sinistro posso usar para fazer as pessoas logarem de

novo?'.” [34]

As empresas aprenderam a minimizar o grau com que robôs moldavam a realidade de bilhões. Mas sinais do poder das máquinas às vezes transbordam. O TikTok, um aplicativo de fabricação chinesa, mostra a cada usuário um fluxo de vídeos selecionado quase integralmente por algoritmos. Sua IA é tão sofisticada que o aplicativo atraiu quase imediatamente 80 milhões de usuários nos Estados Unidos, que muitas vezes o usam por horas a fio, apesar de a maioria dos seus engenheiros não falar inglês nem entender a cultura norte-americana.

“Um algoritmo de machine learning que seja significativamente reativo e preciso pode furar o véu da ignorância cultural”, escreveu o investidor

Eugene Wei a respeito do TikTok. “Pode-se abstrair a cultura.” [35] Ou, como um engenheiro na equipe de algoritmos do YouTube disse ao Wall Street Journal: “Não temos que pensar tanto”. Com o algoritmo cuidando das coisas, “é só alimentá-lo com dados brutos e deixar que ele descubra”.

[36]

Em 2015, DiResta vinha acompanhando as consequências desses algoritmos fazia quase um ano. No meio daquele ano, as iniciativas dela de entender as redes antivacina, assim como as dos colegas observadores das mídias sociais que ela conheceu por conta disso, culminaram em reuniões na sede do Departamento de Estado em Washington. O governo, que enfrentava o Estado Islâmico no exterior e na internet, havia passado a ver os sistemas de promoção das redes sociais como cúmplices ou mesmo incentivadores do alcance dos jihadistas. DiResta e seus colegas “facebookologistas” deram algumas perspectivas a respeito de como as plataformas funcionavam. Nos meses seguintes, os jihadistas foram praticamente defenestrados das redes. As reuniões revelaram duas lições importantes a DiResta. Primeiro, que não só ela e seus coleguinhas nerds estavam preocupados com as mídias sociais. Funcionários do alto escalão de Washington tinham passado a compartilhar desse interesse. E, segundo, que analistas do governo na reunião ficavam levantando outra ameaça com que DiResta e seu círculo online ainda não haviam se deparado na internet: serviços de inteligência russos.