10. Os novos soberanos

Um governo oculto

O emprego de Jacob deveria ser fácil. O moderador do Facebook, que viria a ler meu artigo sobre o Sri Lanka e me enviar pilhas de documentos de uso interno para alertar o mundo quanto ao que ele via como negligência empresarial e perigo, se sentava em frente ao seu terminal e tinha diante de si conteúdos de Facebook, Instagram ou WhatsApp. Ele verificava as diretrizes para saber se a postagem era admissível. Clicava para permitir, apagar ou transferir a um superior. Repetir.

Essas diretrizes já tinham sido uma lista simples, que proscrevia ofensas

racistas, nudez e praticamente mais nada. [1] Mas, em 2018, as regras lembravam instruções para gerenciar um reator nuclear, como se cada página houvesse sido escrita por um autor distinto, uma sem saber da existência da outra e de como se encaixava no todo. Eram mais de 1400 páginas (provavelmente bem mais quando se levava em conta as pastas específicas de certas regiões, às quais a equipe de Jacob não tinha acesso). Ainda assim, esperava-se dele e de seus colegas, a maioria ex-atendentes de call center, que conhecessem e empregassem essas regras para tomar centenas de decisões de extrema importância, diariamente. O escritório onde ele trabalhava, ocupado por dezenas que revisavam conteúdo em vários idiomas e de várias regiões, era um de muitos idênticos espalhados pelo planeta. Um vasto arquipélago de moderadores entre dezenas de escritórios, que tinham pouca comunicação ou coordenação além do que

cabia à sede distante do Facebook. [2] Árbitros nunca vistos que separavam o proibido do permitido, moldando a política e as relações sociais em cada país da Terra, invisivelmente.

Foi assim que Jacob, cansado de se sentir cúmplice do veneno que via as pessoas subirem nas plataformas de propriedade do Facebook — uma onda de mentiras sectárias fomentando a violência comunal no Iraque, uma conspiração movida a racismo se desenrolando em Israel ou na Índia — e de ser barrado ao querer alertar os chefes da agência terceirizada, acabou entrando em contato comigo. Na sua primeira mensagem, ele escreveu que as regras que regem as mídias sociais “não estão adaptadas à realidade do conteúdo que vemos”. Havia algo mais que o preocupava. O Facebook, escreveu, tinha jogado um “trabalho delicado, que tem impacto na segurança mundial” para empresas estrangeiras como a dos seus patrões, uma “empresa com fins lucrativos que só quer saber de maximizar a produtividade”. Por mais que as regras fossem ruins, o modelo de negócio com atalhos, maximização dos lucros e sigilo só aumentava as falhas na moderação.

Nos meses seguintes, Jacob e eu conversamos com frequência em aplicativos protegidos e acabei pegando um avião para recolher os manuais que ele havia surrupiado do sistema dos patrões. Os arquivos prometiam algo de peso: provas de que o Facebook havia se integrado, mesmo que relutante, à gestão de um mundo cujas relações políticas e sociais cada vez mais transitavam pelo seu sistema. Com detalhes intensos, muito reveladores, de como tinha chegado lá.

Enquanto estávamos sentados no sofá molengo da casa de dois quartos de Jacob, construída com blocos de concreto, bebendo um litro de refrigerante que ele comprara para aquele dia especial, ele me contou dos turbilhões de ódio e incitação que sua equipe fora obrigada a deixar na internet por causa de regras que, como eles haviam assinalado repetidas vezes, não davam conta do problema e eram incompletas. “No fim das contas”, disse ele, “você é obrigado a seguir as regras da empresa se quiser ficar no emprego.” Mas as decisões pesavam no seu íntimo. “Parece que você matou uma pessoa porque não se mexeu.”

Ele sabia que era um ninguém, apenas uma entre milhares de engrenagens na máquina planetária do Facebook. E, apesar de suas preocupações, ele ainda tinha fé na empresa que prometera tanto ao mundo; aquilo era nada mais do que uma falha de pequena monta dentro da grandiosa meta de Zuckerberg. Enquanto eu estava na casa de Jacob, sentado em seu sofá, me debruçando sobre documentos que, se publicados, ele sabia que fariam o Facebook passar vergonha, ele se via como um aliado da empresa. Ao revelar as falhas na burocracia que temia que estivessem travando a companhia, ele a ajudaria a chegar à revolução tecnológica na qual depositara a esperança.

A pilha de papel não parecia um manual para reger a política do mundo. Não havia arquivo-mestre nem guia geral, só dezenas de apresentações em PowerPoint e planilhas de Excel desconexas. Seus títulos, embora burocráticos, sugeriam o alcance do Facebook. Violência verossímil: regras de implementação. Mercadorias regulamentadas. Sri Lanka: discurso de ódio. Terrorismo: política de pessoas falsas/irreais. Orgs e personalidades do ódio no Oeste dos Bálcãs.

As regras davam conta de quase todo tipo de assunto que a empresa queria que seus moderadores levassem em conta. E sua meta era preparar, para qualquer eventualidade, em qualquer país ou região, instruções exatas e maquinais de como dar o veredicto quanto ao que remover ou manter. Era um projeto assombroso de tanta ambição. A meta era reduzir perguntas que dependiam fortemente de contexto, que até uma equipe de peritos do direito teria dificuldade de analisar — o que constitui uma ameaça, quando uma ideia contém ódio, quando um boato é perigoso —, a questões do tipo preto ou branco, tão diretas que qualquer moderador pudesse decidir sem raciocínio independente. Muitas das centenas de regras faziam sentido individualmente. Mas, na sua totalidade bizantina, elas sugeriam que era um absurdo o Facebook querer espremer todas as nuances do discurso, da política e das relações sociais entre seres humanos em diagramas de tomada de decisão, do estilo se-x-então-y.

Um dos manuais que Jacob consultava com frequência, a respeito de como determinar se algo constituía discurso de ódio, somava duzentas páginas recheadas de jargões específicos. Exigia dos moderadores que executassem uma espécie de álgebra linguística. Compare a postagem a uma salada de listas: classes protegidas, ofensas proibidas, “comparações designadas desumanizantes”. Encaixe a gravidade da postagem em uma de três fileiras. Se a postagem faz referência a um grupo, puxe uma lista para ver se o grupo foi banido, depois outra para verificar se algumas palavras na postagem sugerem elogio ou apoio, depois outra para exclusões e exceções.

E esperava-se que eles fizessem isso em oito a dez segundos, o que beirava a memorização automática. Não era tempo suficiente nem para mencionar o nome de todos os documen tos que diziam respeito ao assunto, quanto mais revisar as regras. E com certeza não era o bastante para ter um raciocínio de como aplicar as regras de forma justa e segura. Pensar, porém, não era uma coisa que recebia tanto incentivo. “O maior pecado: quando você é acusado de impor seu julgamento pessoal”, disse Jacob. “Nosso trabalho é apenas seguir o que o cliente diz.”

Eu lhe disse que era solidário com a situação do Facebook. A empresa contratava milhares de moderadores em dezenas de países. Seria pouco prático, talvez imprudente, permitir que todos tivessem voz na elaboração das regras.

Jacob fez que não com a cabeça. Ele só queria que o Facebook soubesse dos erros, das lacunas nas regras, dos perigos que sua equipe havia visto na plataforma, mas não pudera eliminar porque não estava escrito na orientação oficial. Afinal, disse, moderadores como ele eram os que viam a maior quantidade de conteúdo. Mas seus patrões o desaconselhavam, assim como a seus colegas, a se manifestar. Se as regras pareciam equivocadas ou incompletas, eles lhes diziam: fique quieto e não procure encrenca. “Eles só se interessam pela produtividade”, disse. Alguns colegas se demitiram. A maioria, pre cisando trabalhar, apenas ficou quieta. “As pessoas desistem”, disse Jacob. Em certo nível a moderação era, como eles sabiam, uma missão infrutífera. Não havia manual de regras que conseguisse deter o ódio e a desinformação que, por mais que sem intenção, os sistemas do Facebook eram projetados para reproduzir em massa. Era como colocar mais purificador de ar do lado de fora da fábrica de dejetos tóxicos enquanto a produção lá dentro só crescia.

De qualquer modo, o Facebook não queria a opinião deles. Era a mentalidade dos engenheiros de software: regras são linhas de código que moderadores intercambiáveis podem executar no piloto automático. Em teoria, dessa forma o Facebook conseguiria aumentar a moderação com um estalar de dedos. Assim como faz terceirizando o trabalho a multinacionais que podem recrutar contingentes conforme a necessidade. Era a única maneira de manter o ritmo diante da expansão contínua do Facebook, muito veloz para preparar revisores com raciocínio independente.

Mais tarde descobri um dado revelador. Vários departamentos dentro do Facebook estavam emitindo manuais de regras, usando estilos diversos e às vezes raciocínios diversos, o que fazia seus manuais baterem de frente ou se contradizerem. Havia manuais que não vinham nem do Facebook, mas de agências terceirizadas, sem conhecimento da empresa, na tentativa de incrementar diretrizes de conformidade com regras mais estreitas aos moderadores. Alguns eram pensados como manuais de treinamento, porém usados como material de referência. A companhia, pelo jeito, não havia assumido o papel de árbitro global, mas sim caído de paraquedas na função, crise a crise, regra a regra. Seus líderes eram soberanos relutantes, tementes ao repúdio, avessos a se responsabilizar pelas decisões, que quase sempre executavam sua função a partir das sombras.

Já em casa, limpei todos os rastros digitais de todos os arquivos e comecei a disseminá-los na surdina entre analistas digitais e especialistas de vários países. Na Índia, Chinmayi Arun, uma pesquisadora da área do direito, identificou erros perturbadores nas diretrizes para o seu país. As diretrizes instruíam os moderadores de que qualquer postagem que degradasse uma religião específica desrespeitava a lei indiana e deveria ser assinalada para remoção. Era um cerceamento significativo ao discurso dos 300 milhões de usuários indianos do Facebook — e estava incorreto. Essa lei não existia.

Por que o Facebook, a empresa da liberdade de expressão, impunha uma restrição tão forte à maior democracia do mundo? Talvez fosse um erro. Mas havia outros erros desse tipo nos arquivos. E esta pista: um conjunto de orientações para o Paquistão alertava moderadores contra criar um “incêndio da imagem” ao tomar qualquer atitude que pudesse “ter impacto negativo na reputação da companhia ou deixá-la em risco jurídico”.

Outro slide dizia que a lei indiana proibia falar na Caxemira independente — em referência à região sob a brutal ocupação militar dos indianos. Instruía moderadores a “ficar atentos” à expressão “Caxemira Livre”. Tudo isso, na verdade, era permitido na Índia, disse Arun. O Facebook me contou, posteriormente, que tal diretriz não fora pensada com o intuito de proibir os usuários de expressar apoio aos direitos dos caxemiras, mas apenas para instigar os moderadores a fazer um escrutínio extra em qualquer postagem que falasse desses direitos. Ainda assim, não era claro que essa distinção ficaria óbvia aos moderadores, que repetidamente eram avisados de que falta de fiscalização ou polêmicas podiam levar ao bloqueio do Facebook na Índia. Apesar de todas as promessas da empresa de fazer uma revolução na liberdade de expressão, às vezes parecia que a deferência para com as sensibilidades políticas de certos governos predominava.

Os erros corriam soltos. As orientações para os Bálcãs, uma região na Europa que há muito é assolada por milícias etnonacionalistas, estavam cheias de problemas de grafia, informações desatualizadas e falhas estranhas. Ratko Mladić, um criminoso de guerra ainda festejado entre extremistas — o atirador de Christchurch havia feito louvores a ele na internet —, estava identificado incorretamente como “Rodney Young”.

O Facebook fazia gestão — no que Jacob enfatizou repetidamente como a falha fatal no sistema — por meio de firmas terceirizadas de olho no lucro, que não compartilhavam de seus objetivos nem de seus valores. Ele deu um exemplo: em público, a empresa insistia que não havia exigência aos moderadores para cumprir metas de postagens revisadas, nem de velocidade. As metas iam preconizar a velocidade em detrimento da atenção ou da consideração, forçando os moderadores a comprometer a segurança das comunidades que supervisionavam. Mas Jacob me mostrou páginas de seu escritório listando as metas: postagens a revisar, tempo por postagem, contagem de quantas ele havia revisado. Os documentos mostravam como seu pagamento estava baseado no ritmo de trabalho que ele mantinha. As metas regiam a vida deles, impostas pelas agências terceirizadas para conseguir mais negócios com o Facebook. Isso se fazia sem o conhecimento explícito da companhia e contra suas diretrizes, embora fosse um resultado previsível quando ela exigia que suas terceirizadas controlassem o custo crescente de revisar bilhões de postagens por dia.

O Facebook também afirmava que os moderadores tinham acesso a serviços de saúde mental. Era uma resposta a relatos de moderadores que passavam a apresentar transtorno de estresse pós-traumático por se deparar repetidamente com sanguinolência ou pornografia abjeta. Mas isso não havia se concretizado na sua firma, disse Jacob. Muitos trabalhadores duravam apenas meses antes de ter um piripaque e geralmente voltavam a trabalhar com call center. Era um sinal da desconexão entre o Facebook e suas agências, cujos incentivos eram apenas manter os custos baixos e a produtividade alta. Quanto mais eu descobria a respeito de como o Facebook supervisionava essas terceirizadas, menos me surpreendia que o ódio inundasse um país atrás do outro, sem supervisão.

Os moderadores passam por auditoria frequente quanto a “exatidão”, a medida do Facebook da frequência com que eles decidem a respeito do conteúdo tal como a empresa quer que decidam. Um fragmento dessa auditoria é realizado por funcionários da matriz da companhia. Mas na maioria das vezes ela é feita por outros funcionários do mesmo centro terceirizado. As agências se policiam. O incentivo delas é girar postagens o mais rápido possível, depois dizer que tiveram altos níveis de exatidão.

Pegar atalhos parece ser uma solução que corre solta. Na agência de Jacob, se os moderadores se deparavam com uma postagem em idioma que ninguém à disposição sabia ler, eles recebiam instruções para marcar como aprovada, mesmo que usuários a houvessem marcado como discurso de ódio. Foi uma revelação que me chocou. Não só os grupos de monitoramento de Sri Lanka e Mianmar estavam certos de que o Face book estava mantendo incitações escancaradas ao genocídio, como em algumas firmas terceirizadas isso era regra.

A pessoa do Facebook responsável por supervisionar as agências reconheceu, quando lhe perguntei, que a empresa às vezes tem dificuldade para controlar empresas externas, denominando essas práticas de violação