Prólogo: Consequências

Prólogo

Consequências

Entrar na sede do Facebook pode dar a sensação de que você está entrando no Vaticano: um centro do poder envolto em sigilo e opulência de causar

rubor em oligarcas russos. A empresa gastou 300 milhões [1] de dólares só no prédio número 21, um playground arejado de aço e vidro que visitei em 2018 e que tem jardins, terraços e restaurantes onde tudo é de graça. Entre uma reunião e outra, um mural com altura de dois andares chamou minha atenção, pois me lembrou o trabalho de um famoso artista chinês que recentemente tivera obras suas expostas no Museu Guggen heim. Perguntei à assessora de imprensa que me acompanhava se o mural fora pintado de propósito no estilo daquele artista. Ela deu uma risadinha polida. Não era imitação; o artista havia sido contratado para pintar um original na parede do Facebook. Assim como já acontecera com dezenas de artistas. Ao meu redor, programadores com salários fabulosos trabalhavam em corredores

adornados com murais de preço inestimável. [2]

Na minha mochila, enfiado entre blocos de anotações, estava o meu ingresso: mais de 1400 páginas de documentos internos, provenientes de várias regiões do planeta, que revelavam a mão invisível do Facebook na definição dos limites aceitáveis de participação política e de discurso político para 2 bilhões de usuários. Para a fonte interna que havia vazado esse material para mim, os arquivos eram prova da negligência e dos atalhos que a empresa tomara para deter o turbilhão planetário crescente que, conforme essa pessoa acreditava, seus produtos exacerbavam, se é que não provocavam. A meu ver, eram mais do que isso. Eram uma janela pela qual se via como a liderança do Facebook pensava as consequências da ascensão das mídias sociais.

Assim como muitos, no começo eu supunha que os perigos das redes sociais provinham sobretudo do uso impróprio por parte de pessoas mal-intencionadas — propagandistas, espiões, divulgadores de fake news — e que, na pior das hipóteses, as plataformas eram uma tubulação passiva por onde corriam os problemas já existentes na sociedade. Porém, praticamente em todos os lugares que visitei durante minha apuração, cobrindo déspotas, guerras e revoltas longínquas, ocorrências estranhas e excessivas se conectavam às mídias sociais. Uma revolta repentina, um novo grupo extremista, a disseminação da crença em alguma conspiração bizarra… tudo tinha um ponto em comum. E embora os Estados Unidos ainda não tivessem explodido em violência, as semelhanças com o que estava acontecendo lá eram inegáveis. A cada semana havia uma nova pauta sobre uma conspiração no Twitter que dominara a política nacional, sobre uma subcultura do Reddit que embarcara no neonazismo, sobre um viciado em vídeos do YouTube que cometera um assassinato em massa.

Além disso, a eleição inesperada de Donald Trump em 2016 era atribuída, em parte, às mídias sociais. Embora o papel das plataformas ainda não fosse de todo compreendido, já estava claro que o crescimento de Trump havia sido incitado por movimentos da sociedade civil tanto estranhos quanto novos, por veículos ultrassectários que vicejavam na internet, assim como por agentes russos que exploravam as tendências das redes a distorcer a realidade e estimular um sentimento de identidade. Esse padrão mundial sugeria algo de fundamental na tecnologia. Exatamente o quê, por que acontecia e o que significava, ninguém sabia me dizer.

Num outro canto do mundo, um jovem que chamarei de Jacob, terceirizado de uma entre o vasto número de empresas para as quais o Vale do Silício despacha o trabalho sujo, chegara à mesma desconfiança que eu. Ele havia soado todos os alarmes que podia. Seus chefes tinham escutado seu relato com aflição, com solidariedade até. Eles haviam percebido a mesma coisa. Algo no produto que supervisionavam estava tomando rumos perigosamente errados.

Esbelto e com cara de aluno aplicado, Jacob fora apaixonado pela internet desde criança e vinha futricando computadores fazia anos. As tecnologias pareciam representar o que os Estados Unidos tinham de mais significativo. Ele se inspirava principalmente em magnatas da internet como Mark Zuckerberg, o CEO e fundador do Facebook, que defendia que conectar o mundo o tornaria um lugar melhor. Quando Jacob conseguiu um emprego numa agência terceirizada que revisava conteúdos de usuários para o Facebook e o Instagram, uma das muitas que a empresa contrata mundo afora, ele sentiu como se estivesse fazendo parte da História.

Todos os dias, sua equipe clicava em milhares de postagens do mundo inteiro, sinalizando as que desrespeitassem uma regra ou ultrapassassem um limite. Era um trabalho exaustivo, mas necessário, pensava Jacob. Ao longo de alguns meses em 2017 e 2018, porém, eles notaram que as postagens estavam crescendo nos matizes de ódio, conspiração e extremismo. E perceberam que quanto mais incendiária era a postagem, mais a plataforma a espalhava. Aquilo lhes pareceu um padrão, e um padrão que se desenrolava simultaneamente em dezenas de sociedades e idiomas que eram encarregados de supervisionar.

Além disso, eles achavam que sua capacidade de restringir o ódio e as provocações cada vez mais intensas era cerceada exatamente por aquilo que deveria ajudá-los: as dezenas de manuais, todos sigilosos, que ditavam o que eles deviam autorizar na plataforma e o que deviam tirar dela. Para os mais de 2 bilhões de usuários do Facebook, essas regras eram praticamente invisíveis. Elas eram pensadas para preservar a segurança e a civilidade na plataforma, articulando desde os limites entre liberdade de expressão e discurso de ódio até o que seriam movimentos políticos aceitáveis. Mas, além de os manuais se mostrarem insuficientes para conter males que muitas vezes eram incitados pela própria plataforma, e a supervisão desse aspecto nada glamoroso do negócio deixar a desejar, as orientações passadas ao mundo todo haviam se inflado até virarem centenas de páginas confusas, por vezes contraditórias. Algumas das mais importantes, tais como as que identificavam o recrutamento de terroristas ou supervisionavam eleições controversas, estavam cheias de erros de ortografia, incorreções factuais e brechas muito aparentes. O desleixo e as lacunas sugeriam um desprezo arriscado pelo trabalho que Jacob entendia como questão de vida ou morte, em um momento em que as mídias sociais estavam lotadas de um tipo de extremismo que transbordava cada vez mais para o mundo real. Poucos meses antes, as Nações Unidas haviam feito uma acusação formal ao Facebook por permitir que sua tecnologia contribuísse para provocar, em Mianmar, um dos piores genocídios desde a Segunda Guerra Mundial.

Jacob registrou as descobertas e preocupações da sua equipe e as despachou para os superiores. Passaram-se meses. A ressurgência do extremismo na internet só piorou. Ele logava e deslogava, aguardando no seu terminal por uma resposta da sede nos longínquos Estados Unidos. Essa resposta nunca chegou. Teve uma ideia: invadir o sistema de segurança da agência e, em segredo, extrair arquivos confidenciais para espalhar e convencer a imprensa a retransmitir seu alerta — na esperança de que eles chegassem à tela de uma única pessoa: Mark Zuckerberg, fundador e CEO do Facebook. Ele sabia que eram a distância e a burocracia que não o deixavam chegar nos responsáveis. Se conseguisse ao menos falar com eles, as coisas poderiam se resolver.

Jacob me abordou pela primeira vez no início de 2018. Uma série de pautas em que eu trabalhara, investigando o papel das redes no fervilhar da violência em lugares como a pequena nação asiática do Sri Lanka, lhe pareceram a confirmação de que os problemas que ele havia observado na tela eram reais — e tinham consequências cada vez mais drásticas e, em alguns casos, letais. Mas ele sabia que sua palavra, por si só, não seria o bastante. Teria que escoar os manuais internos e os documentos de treinamento do Facebook do computador da sua agência. Não era fácil — as máquinas tinham proteção robusta e a empresa era rigorosamente monitorada —, mas era possível: um ano antes, alguém tinha conseguido passar alguns arquivos ao jornal The Guardian e outros haviam sido vazados para o site Vice News.> Jacob preparou um programa que ia transferir os arquivos em segredo, encriptando-os e os limpando de modo a remover marcas digitais que pudessem denunciá-lo ou mesmo indicar o país onde ficava a sua agência. Ele me transferiu alguns através de um servidor protegido. Semanas mais tarde, viajei para encontrá-lo e recolher o restante.

O Facebook, ao saber o que eu havia obtido, me convidou a sua modernosa sede e propôs que eu conversasse com mais de dez gestores de políticas da empresa. Todos eram profissionais obstinados. Alguns tinham adquirido reputação ilibada em Washington, em ramos como contraterrorismo ou segurança cibernética, antes de entrar na corrida do ouro do Vale do Silício. Outros tinham um currículo impressionante nas áreas de direitos humanos ou ciência política. Estavam longe de ser os hackers de porão ou os refugos da universidade que outrora tinham gerido as plataformas — embora mais tarde viesse a ficar claro que os vieses e as ideologias de alojamento estudantil dos primeiros tempos do Vale do Silício ainda se mantinham, com convicção quase religiosa, nas bases das empresas e ainda estavam arraigados à tecnologia que impulsionava essas mesmas ideias mundo afora.

Um padrão estranho emergiu das minhas conversas na sede do Facebook. Um executivo repassava comigo o desafio que consumia seu tempo: impedir que terroristas recrutassem pessoas na plataforma, estar um passo à frente de hackers de um governo hostil, decidir quais combinações de palavras constituíam uma incitação à violência que a plataforma não devia aceitar. Quase todas as perguntas que eu fazia, por mais sensíveis que fossem, rendiam uma resposta matizada e direta. Eles reconheciam quando os problemas não tinham solução. Ninguém teve que consultar anotações para me falar, digamos, sobre as diretrizes do Facebook quanto a grupos a favor da independência curda ou sobre regras de disseminação de discurso de ódio nas Filipinas.

Fiquei com uma dúvida: com essa gente tão escrupulosa e qualificadíssima no comando, por que os problemas — para os quais eles conseguem formular respostas tão pensadas — só se agravam? Quando grupos de defesa de direitos humanos avisam o Facebook sobre perigos iminentes na plataforma, por que ela tende a não fazer nada? Por que jornalistas como eu, que têm pouquíssima perspectiva das operações da plataforma e uma fração minúscula de sua equipe ou do seu orçamento, continuam encontrando atrocidades e cultos nascidos nessa rede social, e que aparentemente a pegam de surpresa? Em certo ponto de cada entrevista, quando eu indagava sobre os perigos que advinham não de pessoas mal-intencionadas a fazer mau uso da plataforma, mas da própria plataforma, era como se um muro mental se erguesse.

“Não há nada de novo nos tipos de ofensa que vemos”, disse a chefe de diretrizes globais quando perguntei sobre as consequências da plataforma. “A diferença está no poder de amplificação que uma mídia social tem”,

completou. [3] “Em termos de sociedade, ainda estamos muito no princípio do entendimento quanto a todas as consequências que as mídias sociais podem ter”, afirmou o diretor de segurança cibernética, sugerindo que a mudança primordial acarretada pela tecnologia havia sido apenas reduzir os “ruídos” na comunicação, o que permitia que as mensagens chegassem mais

longe e mais rápido. [4]

Era um retrato curiosamente incompleto do funcionamento do Facebook. Muitos na empresa pareciam quase igno rar que os algoritmos e o design da plataforma moldavam propositalmente as experiências e os estímulos dos usuários e, portanto, os próprios usuários. Tais elementos são o cerne do produto, o motivo pelo qual centenas de programadores ficavam zanzando para lá e para cá enquanto estávamos ali conversando. Era como estar em uma fábrica de cigarros e seus executivos afirmarem que não entendiam por que as pessoas reclamavam dos impactos na saúde que as pequenas caixas de papelão que eles vendiam causavam.

Em certo momento, conversando com um dos dois funcionários que lidavam com gerenciamento de crises, saí do modo repórter para alertá-los sobre uma coisa preocupante que havia percebido. Em países mundo afora, um boato repugnante vinha surgindo no Facebook, aparentemente de forma espontânea: estrangeiros misteriosos estavam sequestrando crianças para transformá-las em escravas sexuais e extrair seus órgãos. As localidades expostas a esse boato reagiam de maneira cada vez mais assustadora. Quando o boato se espalhou via Facebook e WhatsApp em uma região rural da Indonésia, por exemplo, nove vilarejos, independentemente um do outro, formaram turbas e atacaram inocentes que estavam ali de passagem. Era como se o boato fosse um vírus misterioso que transformava lugares normais em manadas sedentas de sangue, e como se aquilo emergisse da própria plataforma. Os dois funcionários do Facebook me ouviram e fizeram que sim com a cabeça. Nem um nem outro me fizeram perguntas. Um deles comentou rapidamente que torcia para que, algum dia, um pesquisador independente pudesse analisar esses dados. Aí mudamos de assunto.

Mas versões daquele boato continuaram a aparecer no Face book. Uma versão norte-americana, que aparecera primeiro no fórum 4chan com o selo “QAnon”, havia surgido na plataforma recentemente e foi como um fósforo aceso jogado numa poça de gasolina. Mais adiante, quando o QAnon se tornou um movimento com dezenas de milhares de seguidores, um relatório do FBI o identificou como ameaça de terrorismo doméstico. Ao longo disso tudo, as ferramentas de recomendação do Facebook promoviam grupos do QAnon a enormes números de usuários, como se fosse só mais um grupo, ajudando a conspiração a conquistar o tamanho de um pequeno partido político. O único motivo aparente era dar continuidade aos cliques que o conteúdo do movimento gerava.

Entre os muros do Facebook, porém, a crença no produto como força do bem parecia inabalável. O ideal central do Vale do Silício, de que chamar cada vez mais gente a passar mais tempo na internet vai fazer bem à mente e tornar o mundo melhor, se mantinha particularmente firme entre os engenheiros que acabam criando e moldando os produtos da plataforma. “Conforme temos maior alcance, conforme temos mais gente engajada, cresce o risco”, disse uma engenheira sênior do importantíssimo feed de notícias do Facebook. “Mas também acredito que surgem mais

oportunidades para as pessoas se exporem a novas ideias.” [5] Se a missão da plataforma de maximizar o engajamento do usuário criasse riscos, garantiu ela, eles seriam excluídos pelos engenheiros.

Fiquei sabendo que, pouco tempo depois da minha visita, pesquisadores do Facebook escolhidos para estudar os efeitos da sua tecnologia, reagindo à desconfiança cada vez maior de que o site podia estar intensificando a discórdia política nos Estados Unidos, tinham soado alertas na empresa de que ele estava fazendo exatamente o que os executivos haviam minimizado nas conversas que tive. “Nossos algoritmos exploram a atração do cérebro

humano pela discórdia”, [6] alertaram os pesquisadores em uma apresentação de 2018 que depois vazou para o Wall Street Journal . Na verdade, prosseguia a apresentação, os sistemas do Facebook eram projetados de tal modo que levavam aos usuários “cada vez mais conteúdo de discórdia, de forma a conquistar a atenção e aumentar o tempo do usuário na plataforma”. Os executivos engavetaram a pesquisa e rejeitaram a maior parte das recomendações, que sugeriam ajustes nos sistemas de promoção, os quais escolhem o que os usuários veem, que poderiam reduzir seu tempo de internet. Ficou claro que a pergunta que eu havia levado aos corredores da empresa — Quais são as consequências de fazer uma parcela cada vez maior de toda a política, a informação e as relações humanas passar por plataformas na internet projetadas expressamente para manipular a atenção? — era proibida.

Os meses após minha visita coincidiram com o que foi, à época, a maior manifestação pública de repúdio ao Vale do Silício na sua história. As gigantes das redes sociais se viram diante de audiências no Congresso, regulamentação estrangeira, multas multibilionárias e ameaças de dissolução forçada. Personalidades se referiram sistematicamente às empresas como um dos maiores perigos do nosso tempo. Em resposta, as lideranças das empresas juraram enfrentar os males que advinham de seus serviços. Elas inauguraram comitês de guerra pela integridade nas eleições e atualizaram as diretrizes para revisão de conteúdo. Mas seu modelo de negócio — manter gente vidrada na plataforma pelo maior número de horas possível — e a tecnologia subjacente para atingir essa meta continuaram, em grande parte, os mesmos. Embora os problemas que elas prometessem resolver só se agravassem, as empresas ganhavam mais dinheiro do que nunca.

A nova década trouxe uma leva de crises. A pandemia de Covid-19, o ajuste de contas racial nos Estados Unidos, a ascensão acelerada de uma nova e violenta extrema direita e a tentativa de destruição da própria democracia norte-americana. Cada uma delas testou a influência das plataformas no nosso mundo — ou a revelou, expondo ramificações que vinham se armando fazia anos.

No terceiro trimestre de 2020, uma auditoria independente contratada pelo Facebook em consequência da pressão feita por grupos de defesa dos direitos civis concluiu que a plataforma era tudo que os executivos haviam insistido comigo que não era. Suas diretrizes deixavam a desinformação correr sem freios e podiam arruinar o processo eleitoral. Seus algoritmos e sistemas de recomendação estavam “levando as pessoas a autorreforçar

câmaras de eco do extremismo”, [7] adestrando-as a odiar. Talvez em sua maior condenação, o relatório concluía que a empresa não entendia como seus produtos afetavam seus bilhões de usuários.

Mas havia uma meia dúzia de pessoas que entendia e, muito antes de estarmos preparados para ouvir, tentou nos avisar. Quase todos começaram como entusiastas da tecnologia, alguns como habitantes do próprio Vale do Silício, exatamente o motivo pelo qual eles estavam em condições de notar, com antecedência, que havia algo de errado, investigar e mensurar as consequências. Mas as empresas que afirmavam querer exatamente tais percepções minimizaram a iniciativa dessas pessoas, questionaram a reputação de cada uma delas e contestaram suas conclusões — até o momento em que, em muitos casos, foram obrigadas a reconhecer, mesmo que de maneira implícita, que quem tinha soado o alarme estava certo desde o princípio. Tais pessoas conduziam seu trabalho, pelo menos de início, de modo independente umas das outras, buscando métodos muito distintos para chegar à mesma pergunta: Quais são as consequências dessa tecnologia? Este livro trata da missão de responder a essa pergunta, contada, em parte, pelas pessoas que a levantaram.

Descobriu-se que o senso comum inicial, de que as mídias sociais promovem o sensacionalismo e a indignação, embora fosse correto, subestimava demais a situação. Um acervo cada vez maior de provas, reunido por dezenas de acadêmicos, jornalistas, informantes e cidadãos preocupados, sugere que o impacto delas é muito mais profundo. A tecnologia das redes sociais exerce uma força de atração tão poderosa na nossa psicologia e na nossa identidade, e é tão predominante na nossa vida, que transforma o jeito como pensamos, como nos comportamos e como nos relacionamos uns com os outros. O efeito, multiplicado por bilhões de usuários, tem sido a transformação da própria sociedade.

Não há como culpar o Vale do Silício pelas fragilidades psicológicas individuais que nos levam a fazer mal ou a agir contra nosso interesse. Nem pela polarização cultural intensa, tanto nos Estados Unidos quanto em outras partes, que muniu usuários para transformar esses espaços inéditos em locais de conflito partidário, arrasando qualquer noção de bem-estar ou de realidade em comum. Nem as maiores empresas merecem a culpa pelo modelo de financiamento da alta tecnologia que as fez nascer, fornecendo investimento multimilionário a desajustados de vinte e poucos anos e a seguir exigindo retorno instantâneo, exponencial, com mínima preocupação com os estímulos distorcidos gerados por essa lógica. Ainda assim, tais empresas acumularam fortunas que estão entre as maiores na história corporativa justamente explorando essas tendências e fraquezas, e nesse meio-tempo introduziram uma novíssima era na experiência humana. As consequências — embora, em retrospecto, quase que certamente previsíveis, se alguém houvesse se dado ao trabalho de prestar atenção — foram ofuscadas por uma ideologia que afirmou que mais tempo na internet ia gerar almas mais felizes e mais livres, e também por uma linhagem do capitalismo do Vale do Silício que fortalece certa subcultura oposicionista, insolente, quase milenarista entre aqueles que gerenciam as empresas que gerenciam nossa mente.

Quando as empresas foram obrigadas a se comportar pelo menos um pouco como as instituições de governança que haviam se tornado, elas já estavam no centro de uma crise política e cultural da qual eram, em parte, culpadas. Você pode dizer, generosamente, que ser árbitro de uma democracia decidida a se destruir é uma função ingrata — se as empresas não houvessem se colocado em posições de tanto poder, recusado a responsabilidade até que ela lhe tenha sido imposta, com a arma da regulamentação contra a cabeça e, praticamente a cada passo, comprometido o bem-estar de seus usuários para manter o fluxo mensal de bilhões. Com pouco incentivo às gigantes das redes para se defrontar com o custo humano de seus impérios — um custo que fica nas costas de todos, tal como uma cidade na vazante da usina que descarta substâncias tóxicas na nascente da região —, caberia a dezenas de forasteiros e aos desertores do Vale do Silício tomar a função para si mesmos.

OceanofPDF.com