Campo de treinamento

Em maio de 2019, dois meses depois de voltar do Brasil, recebi uma mensagem de Kaiser: ele pedia que eu lhe telefonasse imediatamente. Atendeu no primeiro toque, com a voz trêmula. Ele e outros vinham rodando mais iterações de seu programa de rastreio da plataforma nos canais brasileiros, disse. E eles havia encontrado algo tão perturbador que não sabiam o que fazer. Percebi que Kaiser não estava ligando a respeito do artigo. Ele estava pedindo ajuda.

Campo de treinamento

Christine não deu muita bola quando sua filha de dez anos e um amiga subiram um vídeo em que elas brincavam numa piscina do quintal. “O vídeo é inocente, não tem nada”, disse Christine, que mora em um subúrbio do Rio de Janeiro. Dias depois, sua filha compartilhou contente a notícia: o vídeo tinha milhares de visualizações. Não tardou para chegar a 400 mil. Era um número espantoso, inexplicável para um vídeo qualquer no canal de Christiane, que normalmente recebia cliques na faixa das dezenas. “Vi o vídeo de novo e fiquei assustada com o número de visualizações”, disse.

Ela tinha motivo para isso. O algoritmo do YouTube havia silenciosamente selecionado o vídeo de sua filha para um plano tão amplo quanto perturbador. Ele estava fazendo uma curadoria, entre todos os seus arquivos, de dezenas de vídeos de crianças pré-adolescentes seminuas. Havia selecionado muitos entre gravações caseiras de famílias desavisadas. Vinculou todos, mostrando um trecho atrás do outro de crianças de seis ou sete anos em trajes de banho ou roupa de baixo, fazendo espacate ou deitadas na cama, para atrair um tipo específico de espectador com conteúdo que acharia irresistível. E então conseguiu um público do tamanho de dez estádios de futebol. “Fiquei muito chocada”, disse Christiane a respeito de quando ficou sabendo do que acontecera, apavorada com o vídeo de sua filha no cardápio ao lado de muitos outros, com as intenções da plataforma perturbadoramente explícitas.

Kaiser, junto a Rauchfleisch e Córdova, haviam se deparado com isso

enquanto trabalhavam no estudo do Brasil. [19] Enquanto sua máquina de testes acompanhava as recomendações do YouTube relacionadas a vídeos de temática sexual, o sistema empurrava em direção a conteúdos mais bizarros ou extremos. Isso, por si só, não chocava; eles tinham visto o efeito toca de coelho várias vezes em outros tipos de conteúdo. Mas parte das cadeias de recomendação seguia uma progressão inegável: cada vídeo subsequente levava a outro em que a mulher central tinha menos idade e o erotismo era maior. Vídeos de mulheres discutindo sexo, por exemplo, levavam a vídeos de mulheres de lingerie ou amamentando, às vezes citando sua idade: dezenove, dezoito, até dezesseis anos. Alguns pediam “sugar daddies ”, expressão para doações de espectadores libidinosos. Outros sugeriam vídeos privados nos quais elas posariam nuas mediante pagamento. Depois de alguns cliques, as mulheres dos vídeos ficavam cada vez mais perto da pré-adolescência, falando com vozinha de bebê ou fazendo poses sedutoras em trajes infantis.

A partir dali, de repente o YouTube passava a recomendar vídeos de crianças de pouquíssima idade em momentos de nudez não intencional. Uma menina de seus cinco ou seis anos trocando de roupa, ou fazendo contorcionismos em poses de ginástica. Depois, um fluxo quase infinito desses vídeos, recolhidos do mundo inteiro. Nem todos pareciam caseiros; alguns haviam sido carregados por contas cuidadosamente anônimas.

A especificidade implacável das seleções do YouTube era quase tão perturbadora quanto o conteúdo em si, o que sugeria que seus sistemas conseguiam identificar corretamente o vídeo de uma criança seminua e decidir que essa característica era o atrativo deles. Mostrar uma série desses vídeos logo após material sexualmente explícito deixava claro que o algoritmo tratava as crianças involuntariamente como conteúdo sexual. Os números extraordinários de visualizações, às vezes na casa dos milhões, sugeriam que não era uma idiossincrasia da personalização. O sistema havia descoberto, talvez construído, público para os vídeos. E estava dando um jeito de manter esse público engajado.

“É o algoritmo do YouTube que conecta esses canais. É isso que assusta”, disse Kaiser, chamando as recomendações de “perturbadoras e precisas”. Ele sabia que tinha de proceder com cuidado com tais vídeos. As leis dos Estados Unidos contra o consumo de pornografia infantil previam poucas exceções para pesquisadores ou jornalistas. A maioria desses vídeos provavelmente passava muito perto de se enquadrar na definição jurídica de pornografia infantil. Mas alguns deles, não. E o contexto no qual o YouTube os havia colocado não deixava ambiguidade quanto à intenção. Kaiser e eu nos decidimos por procedimentos para rastrear os vídeos com responsabilidade e sem expor nenhuma pessoa. Mas também nos sentimos obrigados a agir depressa. A contagem de visualizações estava escalando aos milhares por dia. Alguns, como os da filha de Christine, eram postados com os nomes dos pais ou mães, o que facilitava que um tipo de monstro bem específico localizasse as crianças. Era preciso tomar providências.

Juliana Cunha, psicóloga da SaferNet, um observatório da internet brasileira, disse que sua organização já havia visto o fenômeno, mas nunca envolvendo meninas tão novas e nunca que chegasse a um público tão grande. Vídeos parecidos, trocados em fóruns da dark web e sites de compartilhamento de arquivos, normalmente chegavam a centenas de pessoas. Esse catálogo parecia ser o mais visto entre os conjuntos de vídeos de exploração de menores que já fora reunido e era impulsionado a um público de milhões.

Segundo pesquisas, a maioria das pessoas que vê imagens sexualizadas

de crianças não dá bola. [20] Mas alguns espectadores, a cada visualização, têm maior probabilidade de procurar as crianças diretamente, o primeiro passo para preparar as vítimas para o potencial abuso físico. Grupos de proteção de crianças estavam preocupados que os vídeos podiam facilitar isso, até mesmo funcionando como convites, ao serem impulsionados repetidamente aos espectadores que se interessam, desgastando a visualização e identificando os nomes de familiares ou as contas das crianças nas redes.

Os psicólogos temiam outro risco. O YouTube havia cultivado um enorme público de espectadores que nunca tinha procurado aquele conteúdo, mas que era guiado até lá por suas recomendações. Não era só mais uma toca de coelho. A trilha parecia imitar, passo a passo, um processo que psicólogos haviam observado várias vezes na pesquisa sobre como as pessoas começam a se atrair por pornografia infantil.

Para alguns, o impulso à pedofilia se forma no início da vida e fica mais ou menos inato. Mas Kathryn Seigfried-Spellar e Marcus Rogers, psicólogos da Universidade Purdue, descobriram que consumidores de pornografia infantil costumam desenvolver esse interesse, não nascer com

ele. [21] As pessoas que passam por esse processo começam pela pornografia adulta, depois migram para material cada vez mais excessivo, seguindo uma compulsão similar ao vício de buscar conteúdo sexual cada vez mais aberrante, a pornografia com um grau a mais de proibido do que a que já foi vista. “Conforme se dessensibilizam com essas imagens, se estão nessa escalada”, disse Rogers, “elas vão procurar o que for ainda mais empolgante, ainda mais provocante, ainda mais sexualizado.”

Suas compulsões eram moldadas por qualquer conteúdo com que se deparassem, tal como um treinamento. Não era nada inevitável que essas pessoas obedecessem a suas vontades para além de qualquer fronteira moral. Nem que tal compulsão, se elas lhe obedecessem, as levaria a crianças. Mas, no YouTube, o segundo site mais popular do mundo, o sistema parecia ter identificado pessoas com esse impulso, conduzindo-as por um caminho que favorecia esse impulso no ritmo certo para fazê-las continuar em frente e aí lhes apontava uma direção bem específica. “É uma coisa que as conduz nessa jornada”, disse Rogers a respeito do sequenciamento do YouTube. Ele chamou o mecanismo de recomendação de “porta de entrada potencial para a pornografia infantil pesada”.

Pesquisar esse assunto, sublinhou ele, é notoriamente desafiador. Poucos consumidores de pornografia infantil estão dispostos a discutir seu interesse. Alguns vão mentir quanto à motivação, para evitar o estigma da pedofilia. Estudos controlados, por motivos éticos, seriam impossíveis. Por conta disso, estudos como o dele tendem a ser relativamente pequenos e em geral focam pessoas que foram presas.

Ainda assim, todo especialista que Amanda e eu consultamos disse haver provas para sugerir que as conclusões de Seigfried-Spellar e de Rogers, bem como seus temores quanto à aplicação pelo YouTube, tinham mérito. Stephen Blumenthal, psicólogo clínico no sistema nacional de saúde britânico, que trata pessoas com interesses sexuais aberrantes e publicou pesquisas acadêmicas sobre seu trabalho, disse ter visto pacientes desenvolverem desejo pedófilo quando seguiram uma progressão parecida. “É poderosíssimo, e as pessoas se atraem”, disse. “Talvez elas nunca entrassem nessa rota se não fossem as possibilidades que a internet abre.” Embora não soubesse de casos especificamente envolvendo o YouTube, os paralelos o deixavam preocupado. Assim como a escala e a eficiência dos métodos do YouTube, que não tinham precedentes.

O YouTube reagiu com ceticismo diante das conclusões. Uma porta-voz disse que as preocupações dos psicólogos, em particular, eram “questionáveis”. A posição do YouTube, afirmou, era que a ciência ainda não se decidira quanto ao impulso pedófilo ser ensinado ou ampliado por fatores ambientais, como Seigfried-Spellar, Rogers e Blumenthal haviam concluído. A porta-voz citou uma especialista chamada Ethel Quayle, cuja pesquisa, afirmou, contestava a existência de qualquer efeito “porta de entrada”.

Mas, apesar de o YouTube falar em imprecisão científica para turvar a própria responsabilidade, quando Amanda entrou em contato com Quayle, da Universidade de Edimburgo, a pesquisadora afirmou que, na verdade, sua pesquisa também apoia a teoria do efeito porta de entrada. Segundo ela, especialistas havia muito tempo estavam preocupados que algoritmos de machine learning pudessem criar essas rotas. “O algoritmo não tem nenhum tipo de bússola moral”, disse. Em um estudo recente sobre condenados por pornografia infantil que ela conduziu, “a maioria falou em seguir links, originalmente de sites pornográficos legítimos, e depois procurar material

cada vez mais aberrante”. [22]

Para pessoas com predisposição para seguir essas deixas, disse Quayle, sugestões de algoritmos como o do YouTube apontam “uma rota quase predeterminada para onde elas têm que ir”. O fato de a especialista selecionada a dedo pelo YouTube acreditar no contrário do que a plataforma dissera que ela acreditava me fez duvidar da profundidade com que a empresa havia realmente pesquisado o assunto, apesar de todas as suas declarações de que levava a segurança infantil a sério. Acima disso, alertaram Quayle e outros, corria-se o risco de o YouTube corroer o tabu interno dos espectadores contra a pedofilia ao lhes mostrar vídeos de crianças lado a lado com conteúdo sexual mais tradicional, bem como exibir as altas contagens de visualização dos vídeos, demonstrando que eram assistidos em larga escala e, assim, supostamente aceitáveis. Como Rogers havia dito: “Você normaliza”.

Imediatamente depois de notificarmos o YouTube sobre nossa descoberta, vários vídeos enviados por nós como exemplos foram tirados do ar. (Muitos que não tínhamos enviado, mas que faziam parte da mesma rede, continuaram online.) O algoritmo da plataforma também mudou imediatamente, deixando de encadear as dezenas de vídeos. Quando questionamos o YouTube a respeito dessa mudança, a empresa insistiu que a sincronia fora uma coincidência. Quando pressionei, uma porta-voz disse que, hipoteticamente, era possível que houvesse tido alguma relação com a notificação, mas que ela não poderia dizer se havia tido ou não. Parecia que o YouTube estava tentando fazer a faxina sem reconhecer que havia algo a faxinar.

A porta-voz da empresa solicitou pilhas de informações da nossa parte: pesquisas, estudos alternativos, detalhamento quanto à metodologia dos pesquisadores. Pediram que definíssemos termos como “network” e o que queríamos dizer quando os usuários “descobriam” vídeos. Perguntaram quantas palavras teria a matéria. Pediam que esclarecêssemos um detalhe e dias depois faziam a mesma pergunta. E insistiram em falar com um dos nossos editores no jornal antes da publicação, a quem solicitaram detalhes sobre as palavras que a matéria usaria para descrever o papel do YouTube.

Durante nosso toma lá dá cá com o YouTube, as análises que Kaiser e sua equipe ainda estavam rodando encontraram uma coisa. Logo depois de entrarmos em contato com o YouTube quanto aos vídeos de exploração infantil, tendo notificado a empresa de que a equipe de Kaiser os havia encontrado em parte ao rastrear o recurso estático de “canal relacionado” — tal como ele fizera em todos os experimentos anteriores, como checagem metodológica dos seus resultados —, a empresa desativou o recurso de vez. Depois de anos ali, ativo em todo o site, ele sumiu. Quando perguntamos à empresa se a sincronia tinha relação, os representantes disseram não estar cientes de que Kaiser usara o recurso em sua pesquisa. Foi uma afirmação esquisita, não só porque havíamos dito que ele o estava usando, mas porque o YouTube já havia contestado a pesquisa de Kaiser exatamente por conta disso.

Antes da publicação do artigo em que Amanda e eu revelávamos o que havíamos descoberto, a empresa me pôs em contato com Jennifer O'Connor, diretora para confiança e segurança do YouTube. Ela afirmou que a empresa estava comprometida com a erradicação absoluta da exploração infantil na sua plataforma. Ainda assim, acrescentou, ela não aceitava as pesquisas que sugeriam que o algoritmo do YouTube levava usuários a conteúdo mais extremo, nesse caso ou em outros. Mesmo em um assunto tão sensível do ponto de vista político e jurídico — no qual o YouTube tinha um enorme incentivo para assegurar ao mundo que estava tomando todas as medidas possíveis para reagir —, admitir publicamente o papel do sistema e, assim, reconhecer suas tendências de radicalização nesse e em vários outros assuntos continuou sendo tarefa impossível.

Argumentei que era difícil conciliar essa posição com os vídeos que havíamos visto, os milhões de visualizações e o jeito como o sistema direcionava usuários. Ela não cedeu nesse ponto, mas sugeriu que o YouTube ia se manter do lado da segurança. “Quando se trata de crianças”, disse ela, “queremos justamente tomar uma posição muito mais conservadora em relação ao que recomendamos.” O'Connor foi imprecisa quanto a detalhes, que segundo ela estavam sendo resolvidos.

Lembrei-me de uma coisa que Kaiser tinha dito. Só havia, defendia ele, uma maneira de impedir que isso acontecesse de novo, e garantida. Em vídeos com crianças, desligue o algoritmo. É só parar de recomendar vídeos com crianças. Seria fácil dentro dos recursos técnicos do YouTube. Depois de uma polêmica anterior relacionada a comentários sobre vídeos com crianças, ele montara um sistema para identificar automaticamente tais

vídeos e desativar os comentários. [23] Além disso, para uma empresa de 15 bilhões de dólares por ano, quanto dinheiro esses vídeos iam render? Perguntei a O'Connor se o YouTube pensaria numa solução como essa. Para minha surpresa, ela disse que a empresa estava “tendendo para essa direção”. Prometeu notícias em breve.

Falei do diálogo para a equipe de Kaiser e também a alguns grupos de monitoramento, que ficaram empolgados. Eles consideraram isso um passo positivo enorme, a internet significativamente mais segura para as crianças. Porém, pouco antes da publicação, o YouTube “esclareceu” o comentário de O'Connor. Os produtores de vídeos da plataforma dependem de recomendações para atrair tráfego, disseram, de modo que o algoritmo continuaria ligado, mesmo para vídeos de pré-adolescentes.

Depois que nossa matéria foi publicada, Josh Hawley, senador do Partido Republicano que criticava plataformas sociais com frequência,

anunciou um projeto de lei baseado nas nossas conclusões. [24] Assim como Kaiser insistira, a lei forçaria o YouTube e outras mídias sociais a desativar as recomendações de vídeos com crianças. Mas o projeto de cinco páginas, que nunca chegou a votação, aparentemente foi pura fachada. Ainda assim, o senador Richard Blumenthal, do Partido Democrata, que havia proposto reformas sérias para a internet, foi signatário de uma carta junto com a senadora Marsha Blackburn, do Partido Republicano, ao CEO do YouTube,

tratando da nossa matéria. [25] A carta apresentava perguntas precisas, que iam direto ao ponto. Uma delas indagava se os gerentes de políticas quanto a segurança infantil no YouTube seriam “incluídos em decisões de design e de ciclo de vida do produto”. Era uma questão comum no Vale do Silício: pessoas que estudam o impacto da plataforma, não sendo engenheiros, têm pouca voz no design. A carta de Blumenthal e Blackburn também repetia a pergunta primária de Kaiser: por que não simplesmente desativar as recomendações em vídeos com crianças?

Em julho daquele ano, a Comissão Judiciária do Senado dedicou uma audiência inteira ao assunto, embora esta tenha tido baixo comparecimento. O senador que a presidiu, Lindsey Graham, repetiu a ameaça de longa data de Trump de extinguir a inimputabilidade das plataformas. Blumenthal, o único democrata a comparecer, disse estar “francamente decepcionado”

com o que considerava falta de resposta do YouTube. [26] “As informações são repugnantes”, afirmou Hawley na audiência, fazendo referência à matéria. “Mas mais repugnante, na minha opinião, é a recusa do YouTube em tomar qualquer atitude a respeito.”

Enquanto Amanda e eu estávamos apurando a matéria, conferimos os vídeos em busca de qualquer identificação que pudesse levar aos pais. Quando conseguíamos achar, entrávamos em contato com organizações locais que podiam alertar as famílias quanto ao que estava acontecendo e prestar ajuda. Depois que uma dessas organizações entrou em contato com Christiane, a mãe do Brasil, ela se ofereceu para discutir sua experiência. Atônita e furiosa, afirmou que estava tendo dificuldade para absorver o que acontecera. Ficara receosa em relação ao que contar ao marido. Dizia-se confusa quanto às práticas do YouTube, e em certo momento chegou a perguntar se havia como processar a empresa. Estava preocupada em relação ao que fazer com a filha, que fora exposta a um público do tamanho de uma cidade por um algoritmo que sexualizava crianças. Como garantir a segurança dela?

“A única coisa que posso fazer”, concluiu, “é proibi-la de publicar qualquer coisa no YouTube.”

OceanofPDF.com