3. Liberdade: Big Data está vigiando você

3. Liberdade

Big Data está vigiando você

 

A narrativa liberal preza a liberdade humana como seu valor número um.

Alega que toda autoridade, em última análise, tem origem no livre-arbítrio de

indivíduos humanos, conforme expresso em seus sentimentos, desejos e

escolhas. Na política, o liberalismo acredita que o eleitor sabe o que é melhor.

Por isso apoia eleições democráticas. Na economia, o liberalismo afirma que o

cliente sempre tem razão. Por isso aclama os princípios do livre mercado. No

aspecto pessoal, o liberalismo incentiva as pessoas a ouvirem a si mesmas, serem

verdadeiras consigo mesmas e seguirem seu coração — desde que não infrinjam

as liberdades dos outros. Essa liberdade pessoal está consagrada nos direitos

humanos.

No discurso político ocidental hoje, o termo “liberal” é às vezes empregado

num sentido muito mais estreito e partidário para denotar aqueles que apoiam

causas específicas, como o casamento gay, o controle de armas e o aborto. Porém

a maioria dos assim chamados conservadores também abraçam a ampla visão de

mundo liberal. Especialmente nos Estados Unidos, há ocasiões em que tanto

republicanos como democratas fazem uma pausa em suas acaloradas discussões

para se lembrarem de que todos eles concordam em coisas fundamentais como

eleições livres, um Judiciário independente e direitos humanos.

É vital lembrar que heróis da direita, como Ronald Reagan e Margaret

Thatcher, foram grandes paladinos não só de liberdades econômicas como

também de liberdades individuais. Numa famosa entrevista de 1987, Thatcher

disse: “Não existe essa coisa chamada sociedade. Há [uma] trama viva feita de

homens e mulheres… e a qualidade de nossa vida dependerá de quanto cada um

de nós está preparado para assumir a responsabilidade por si mesmo”.1

Os herdeiros de Thatcher no Partido Conservador concordam totalmente com

o Partido Trabalhista em que a autoridade política vem dos sentimentos, das

escolhas e do livre-arbítrio de eleitores individuais. Assim, quando a Inglaterra

precisou decidir se saía ou não da União Europeia, o primeiro-ministro David

Cameron não pediu à rainha Elizabeth II, nem ao arcebispo de Cantuária, nem

aos catedráticos de Oxford e Cambridge que resolvessem a questão. Não

perguntou nem mesmo aos membros do Parlamento. Em vez disso, realizou um

referendo no qual se perguntou a cada britânico: “O que você sente quanto a

isso?”.

Poder-se-ia contestar que a pergunta deveria ser “O que você pensa?” e não “O

que você sente?”, mas esse é um erro de percepção comum. Referendos e eleições

sempre dizem respeito a sentimentos humanos, não à racionalidade humana. Se a

democracia fosse questão de tomadas de decisão racionais, não haveria nenhum

motivo para dar a todas as pessoas direitos iguais em seus votos — ou talvez nem

sequer o direito de votar. Existe ampla evidência de que algumas pessoas são

muito mais informadas e racionais que outras, principalmente quando se trata de

questões econômicas e políticas específicas.2 Na esteira da votação do Brexit, o

eminente biólogo Richard Dawkins protestou dizendo que nunca se deveria

pedir à grande maioria do público britânico — inclusive ele mesmo — que

votasse no referendo, porque lhe faltava a formação necessária em economia e

ciência política. “É o mesmo que convocar um plebiscito nacional para decidir se

a álgebra de Einstein estava correta, ou deixar os passageiros votarem para

decidir em que pista o piloto deve pousar.”3

No entanto, para o bem ou para o mal, eleições e referendos não têm a ver

com o que pensamos. Têm a ver com o que sentimos. E, quando se trata de

sentimentos, Einstein e Dawkins não são melhores que ninguém. A democracia

supõe que sentimentos humanos refletem um misterioso e profundo “livre-

arbítrio”, que este “livre-arbítrio” é a fonte definitiva da autoridade e que, apesar

de algumas pessoas serem mais inteligentes do que outras, todos os humanos são

igualmente livres. Assim como Einstein e Dawkins, uma trabalhadora doméstica

sem instrução também tem livre-arbítrio, e por isso no dia de eleições seus

sentimentos — representados por seu voto — contam tanto quanto os de qualquer outra pessoa.

Os sentimentos orientam não apenas os eleitores mas também os líderes. No

referendo do Brexit, em 2016, a campanha a favor da saída da Grã-Bretanha da

União Europeia — apelidada Leave — foi liderada por Boris Johnson e Michael

Gove. Após a renúncia de David Cameron, Gove inicialmente apoiou Johnson

como candidato a primeiro-ministro, mas no último minuto Gove declarou que

Johnson não estava preparado para a posição e anunciou a própria intenção de se

candidatar ao cargo. Essa ação de Gove, que destruiu as probabilidades de

Johnson, foi descrita como um assassinato político maquiavélico.4 Mas Gove

defendeu sua conduta apelando para os sentimentos: “Em cada passo de minha

vida política eu me fazia a mesma pergunta: ‘Qual é a coisa certa a fazer? O que

lhe diz seu coração?’”.5 Foi por isso, segundo Gove, que ele batalhou tão

duramente a favor do Brexit, e foi por isso que foi compelido a apunhalar pelas

costas seu então aliado Boris Johnson, e oferecer-se para o cargo — porque seu

coração lhe dissera que o fizesse.

Essa lealdade ao próprio coração pode acabar sendo o calcanhar de aquiles da

democracia liberal. Pois se alguém (seja em Pequim ou em San Francisco)

adquirir capacidade tecnológica para hackear e manipular o coração humano, a

política democrática vai se tornar um espetáculo de fantoches emocional.

 

ESCUTE O ALGORITMO

 

A crença liberal nos sentimentos e nas escolhas livres dos indivíduos não é

natural, nem muito antiga. Durante milhares de anos as pessoas acreditaram que

a autoridade provinha de leis divinas e não do coração humano, e que devíamos,

portanto, santificar a palavra de Deus e não a liberdade humana. Foi só nos

séculos mais recentes que a fonte da autoridade passou das entidades celestiais

para humanos de carne e osso.

Em breve a autoridade pode mudar novamente — dos humanos para os

algoritmos. Assim como a autoridade divina foi legitimada por mitologias

religiosas, e a autoridade humana foi justificada pela narrativa liberal, a futura

revolução tecnológica poderia estabelecer a autoridade dos algoritmos de Big

Data, ao mesmo tempo que solapa a simples ideia da liberdade individual.

Como mencionamos no capítulo anterior, ideias científicas sobre o

funcionamento de nosso corpo e cérebro sugerem que nossos sentimentos não

são uma qualidade espiritual exclusivamente humana, e não refletem nenhum

tipo de “livre-arbítrio”. Na verdade, sentimentos são mecanismos bioquímicos

que todos os mamíferos e todas as aves usam para calcular probabilidades de

sobrevivência e reprodução. Sentimentos não se baseiam em intuição, inspiração

ou liberdade — baseiam-se em cálculos.

Quando um macaco, um camundongo ou um humano veem uma cobra, o

medo surge porque milhões de neurônios no cérebro calculam rapidamente os

dados relevantes e concluem que a probabilidade de morrer é alta. Sentimentos

de atração sexual surgem quando outros algoritmos bioquímicos calculam que

um indivíduo próximo oferece alta probabilidade de acasalamento bem-

sucedido, ligação social ou algum outro objetivo almejado. Sentimentos morais

como indignação, culpa ou perdão derivam de mecanismos neurais que

evoluíram para permitir cooperação grupal. Todos esses algoritmos bioquímicos

foram aprimorados durante milhões de anos de evolução. Se os sentimentos de

algum antigo ancestral cometeram um erro, os genes que configuram esses

sentimentos não foram passados à geração seguinte. Assim, sentimentos não são

o contrário de racionalidade — eles incorporam uma racionalidade evolutiva.

Normalmente não nos damos conta de que os sentimentos são na verdade

cálculos, porque o intenso processo de cálculo ocorre abaixo do nível da

consciência. Não sentimos os milhões de neurônios no cérebro computando

probabilidades de sobrevivência e reprodução, e assim acreditamos,

erroneamente, que nosso medo de cobras, nossa escolha de parceiros ou

parceiras sexuais ou nossas opiniões sobre a União Europeia são o resultado de

algum misterioso “livre-arbítrio”.

No entanto, embora o liberalismo esteja errado ao julgar que nossos

sentimentos refletem o livre-arbítrio, até hoje confiar nos sentimentos faz

sentido, na prática. Pois embora não houvesse nada mágico ou livre no que

concerne a nossos sentimentos, eles eram o melhor método em todo o universo

para decidir o que estudar, com quem casar e em que partido votar. E nenhum

sistema externo pode compreender meus sentimentos melhor do que eu. Mesmo

se a Inquisição espanhola ou a KGB me espionassem todo dia a toda hora, elas não teriam o conhecimento biológico e a capacidade computacional necessários para

hackear os processos bioquímicos que formam meus desejos e minhas escolhas.

Era razoável alegar, na prática, que disponho de livre-arbítrio, porque minha

vontade foi formada principalmente pela interação entre forças interiores, que

ninguém no exterior seria capaz de ver. Eu poderia desfrutar da ilusão de que

controlo minha arena interior secreta, enquanto quem está de fora nunca seria

capaz de compreender o que de fato está acontecendo dentro de mim e como

tomo decisões.

Da mesma forma, o liberalismo estava certo ao aconselhar às pessoas que

seguissem o coração e não os ditames de algum sacerdote ou militante partidário.

No entanto, em breve algoritmos de computador poderão nos aconselhar melhor

do que sentimentos humanos. Enquanto a Inquisição espanhola e a KGB dão

lugar ao Google e à Baidu, o “livre-arbítrio” provavelmente será desmascarado

como um mito, e o liberalismo pode perder suas vantagens práticas.

Pois estamos agora na confluência de duas imensas revoluções. Por um lado,

biólogos estão decifrando os mistérios do corpo humano, particularmente do

cérebro e dos sentimentos. Ao mesmo tempo cientistas da computação estão nos

dando um poder de processamento de dados sem precedente. Quando a

revolução na biotecnologia se fundir com a revolução na tecnologia da

informação, ela produzirá algoritmos de Big Data capazes de monitorar e

compreender meus sentimentos muito melhor do que eu, e então a autoridade

provavelmente passará dos humanos para os computadores. Minha ilusão de

livre-arbítrio provavelmente vai se desintegrar à medida que eu me deparar,

diariamente, com instituições, corporações e agências do governo que

compreendem e manipulam o que era, até então, meu inacessível reino interior.

Isso já está acontecendo no campo da medicina. As decisões médicas mais

importantes de nossa vida se baseiam não na sensação de estarmos doentes ou

saudáveis, nem mesmo nos prognósticos informados de nosso médico — mas

nos cálculos de computadores que entendem de nosso corpo muito melhor do

que nós. Dentro de poucas décadas, os algoritmos de Big Data, alimentados por

um fluxo constante de dados biométricos, poderão monitorar nossa saúde 24

horas por dia, sete dias por semana. Serão capazes de detectar, logo em seu início,

a gripe, o câncer ou o mal de Alzheimer, muito antes de sentirmos que há algo errado conosco. Poderão então recomendar tratamentos adequados, dietas e

regimes diários, sob medida para nossa compleição física, nosso DNA e nossa

personalidade, que são únicos.

As pessoas usufruirão dos melhores serviços de saúde da história, mas

justamente por isso estarão doentes o tempo todo. Existe sempre algo errado em

algum lugar do corpo. No passado, você se sentia perfeitamente saudável

enquanto não sentia dor ou apresentava uma deficiência aparente, como, por

exemplo, mancar. Porém em 2050, graças a sensores biométricos e algoritmos de

Big Data, as doenças poderão ser diagnosticadas e tratadas muito antes de

causarem dor ou debilidade. Como resultado, você vai se ver sempre sofrendo de

algum “mal de saúde” e seguindo a recomendação deste ou daquele algoritmo. Se

recusar, talvez seu seguro-saúde seja cancelado, ou seu chefe o demita — por que

deveriam pagar o preço por sua teimosia?

Uma coisa é continuar fumando apesar das estatísticas que ligam o fumo ao

câncer de pulmão. Outra é continuar fumando apesar da advertência concreta de

um sensor biométrico que acabou de detectar dezessete células cancerosas na

parte superior de seu pulmão esquerdo. E, se você quiser desafiar o sensor, o que

vai fazer quando o sensor repassar a advertência a sua companhia de seguros, seu

gerente e sua mãe?

Quem terá tempo e energia para lidar com essas doenças? Provavelmente,

poderemos ensinar nosso algoritmo de saúde a lidar com a maior parte desses

problemas como achar melhor. No máximo, ele vai enviar aos nossos

smartphones atualizações periódicas, informando-nos que “dezessete células

cancerosas foram detectadas e destruídas”. Os hipocondríacos obedientemente

leriam essas atualizações, mas a maioria de nós vai ignorá-las assim como

ignoramos as mensagens chatas do antivírus em nossos computadores.

 

O DRAMA DA TOMADA DE DECISÃO

 

O que já está começando a acontecer na medicina provavelmente ocorrerá em

outros campos. A invenção decisiva é a do sensor biométrico, que as pessoas

podem usar nos seus corpos ou dentro deles, e que converte processos biológicos

em informação eletrônica que computadores podem armazenar e analisar. Se tiverem dados biométricos e capacidade computacional suficientes, sistemas de

processamento de dados externos poderão intervir em todos os seus desejos,

todas as suas decisões e opiniões. Poderão saber exatamente quem é você.

A maioria das pessoas não se conhece muito bem. Quando eu tinha 21 anos,

finalmente constatei que era gay, após viver vários anos em negação. É difícil

dizer que é um caso excepcional. Muitos homens gays passam toda a

adolescência inseguros quanto à sua sexualidade. Agora imagine como será essa

situação em 2050, quando um algoritmo for capaz de dizer a todo adolescente

exatamente onde ele está no espectro gay/hétero (e até mesmo quão maleável é

essa posição). Talvez o algoritmo lhe mostre fotos ou vídeos de homens e

mulheres atraentes, rastreie o movimento de seus olhos, sua pressão sanguínea e

a atividade de seu cérebro, e em cinco minutos mostre um número na escala

Kinsey.6 Isso poderia ter me livrado de anos de frustração. Pode ser que,

pessoalmente, você não queira fazer esse teste; mas talvez um belo dia, com um

grupo de amigos numa festa de aniversário tediosa, alguém sugira que todos se

revezem nesse sensacional algoritmo novo (com todo mundo em volta

acompanhando e comentando os resultados). Você simplesmente iria embora?

Mesmo se você for, e continuar a se esconder de si mesmo e de seus colegas de

turma, não conseguirá se esconder da Amazon, do Alibaba e da polícia secreta.

Quando estiver navegando na internet, assistindo a vídeos no YouTube ou lendo

mensagens nas suas redes sociais, os algoritmos vão discretamente monitorá-lo,

analisá-lo e dizer à Coca-Cola que, se ela quiser lhe vender alguma bebida,

melhor seria usar o anúncio com o sujeito sem camisa, e não o da garota sem

camisa. Você nem vai saber. Mas eles saberão, e essa informação valerá bilhões.

De novo, talvez tudo isso se faça abertamente, e as pessoas compartilharão

com prazer suas informações para poder contar com as melhores

recomendações, e para poder fazer o algoritmo tomar decisões por elas. Começa

com coisas simples, como decidir a que filme assistir. Quando você se senta com

um grupo de amigos para passar uma noite diante da televisão, primeiro tem de

escolher ao que vai assistir. Cinquenta anos atrás você não teria escolha, mas hoje

— com o surgimento dos serviços sob demanda — há milhares de títulos

disponíveis. Talvez seja bem difícil chegar a um consenso, porque enquanto você

prefere filmes de ficção científica, Jack prefere comédias românticas e Jill vota por filmes de arte franceses. Talvez acabem tendo de concordar com um meio-

termo, um filme B medíocre que vai desapontar a todos.

Um algoritmo poderia ajudar. Pode-se informá-lo de quais filmes vistos

anteriormente cada um de vocês gostou, e com base nessa imensa base de dados

estatísticos o algoritmo pode encontrar o filme perfeito para o grupo.

Infelizmente, um algoritmo tão objetivo é bastante sujeito a erro, principalmente

porque a informação dada voluntariamente é um parâmetro pouco confiável das

verdadeiras preferências das pessoas. Quando ouvimos muitas pessoas dizendo

que um filme é uma obra-prima, tendemos a concordar, mesmo que tenhamos

dormido no meio.7

No entanto, esses problemas podem ser resolvidos se deixarmos que o

algoritmo recolha de nós dados em tempo real, enquanto estamos efetivamente

assistindo aos filmes, em vez de se basear em nossos próprios e duvidosos relatos

pessoais. Para os iniciantes, o algoritmo pode monitorar quais filmes vimos até o

fim, e quais deixamos de assistir no meio. Mesmo se dissermos ao mundo inteiro

que …E o vento levou é o melhor filme já produzido, o algoritmo saberá que

nunca fomos além da primeira meia hora, e que na verdade nunca vimos Atlanta

em chamas.

Porém o algoritmo pode ir muito mais fundo que isso. Engenheiros estão

desenvolvendo um software que detecta emoções humanas com base nos

movimentos dos olhos e dos músculos faciais.8 Acrescente uma boa câmera ao

aparelho de televisão, e esse software saberá quais cenas nos fizeram rir, quais

cenas nos deixaram tristes e quais cenas nos entediaram. Em seguida, conecte o

algoritmo a sensores biométricos, e ele saberá como cada fotograma influenciou

nosso ritmo cardíaco, nossa pressão sanguínea e nossa atividade cerebral.

Enquanto assistimos a, digamos, Pulp Fiction, de Tarantino, o algoritmo pode

registrar que a cena do estupro nos causou um quase imperceptível matiz de

excitação sexual, que quando Vincent acidentalmente dá um tiro no rosto de

Marvin isso nos fez rir cheios de culpa, e que não achamos graça no Big Kahuna

Burger — mas rimos assim mesmo, para não parecermos idiotas. Quando você ri

um riso forçado, está usando circuitos cerebrais e músculos diferentes dos que

usa quando ri de verdade. Normalmente humanos não são capazes de detectar a

diferença. Mas um sensor biométrico seria.9

A palavra “televisão” vem do grego tele, que significa “longe” e do latim visio,

“visão”. A televisão foi concebida originalmente como um dispositivo que nos

permite ver de longe. Mas logo nos permitirá sermos vistos de longe. Como

previu George Orwell em 1984, a televisão nos verá enquanto a estamos vendo.

Depois de assistir a toda a filmografia de Tarantino talvez tenhamos esquecido a

maior parte. Mas Netflix, ou Amazon, ou quem quer que possua o algoritmo de

televisão, conhecerá nosso tipo de personalidade e como manipular nossas

emoções. Esses dados poderiam permitir à Netflix e à Amazon escolher filmes

para nós com misteriosa precisão, mas também lhes possibilitariam tomar por

nós as decisões mais importantes na vida — como o que estudar, onde trabalhar

ou com quem casar.

É claro que a Amazon não vai acertar sempre. Isso é impossível. Algoritmos

vão cometer erros repetidamente por falta de dados, falhas no programa,

confusão nas definições de objetivos e devido à própria natureza caótica da

vida.10 Mas a Amazon não precisará ser perfeita. Precisará apenas ser, em média,

melhor que nós humanos. E isso não é difícil, porque a maioria das pessoas não

conhece a si mesma muito bem, e porque a maioria das pessoas frequentemente

comete erros terríveis nas decisões mais importantes da vida. Até mais que os

algoritmos, humanos padecem de falta de dados, de programas falhos (genéticos

e culturais), de definições confusas e do caos da vida.

É possível listar muitos problemas que acometem os algoritmos e concluir que

as pessoas nunca confiarão neles. Mas isso é como catalogar todos os

inconvenientes da democracia e concluir que uma pessoa sã jamais optaria por

apoiar esse sistema. Segundo a famosa frase de Winston Churchill, a democracia

é o pior sistema político do mundo, com exceção de todos os outros. As pessoas

talvez cheguem à mesma conclusão no que concerne aos algoritmos de Big Data:

eles têm muitos problemas, mas não temos alternativa melhor.

À medida que cientistas chegam a uma compreensão mais profunda de como

humanos tomam decisões, a tentação de se basear em algoritmos provavelmente

vai aumentar. Hackear a tomada de decisão por humanos não só fará os

algoritmos de Big Data serem mais confiáveis; ao mesmo tempo, fará com que os

sentimentos humanos sejam menos confiáveis. À medida que governos e

corporações obtêm sucesso ao hackear o sistema operacional humano, ficaremos expostos a uma enxurrada de manipulações guiadas com precisão. Pode ficar tão

fácil manipular nossas opiniões e emoções que seremos obrigados a nos basear

em algoritmos do mesmo modo que um piloto, ao sofrer um ataque de tontura,

tem de ignorar o que seus sentidos estão lhe dizendo e depositar toda a sua

confiança nos aparelhos.

Em alguns países e em algumas situações, as pessoas podem ficar sem escolha,

e serão obrigadas a obedecer às decisões dos algoritmos de Big Data. Porém,

mesmo em sociedades supostamente livres, algoritmos podem ganhar

autoridade, porque aprenderemos, por experiência, a confiar a eles cada vez mais

tarefas, e aos poucos perdermos nossa aptidão para tomar decisões por nós

mesmos. Pense em como, no decorrer de apenas duas décadas, bilhões de

pessoas passaram a confiar no algoritmo de busca do Google em uma das tarefas

mais importantes: buscar informação relevante e confiável. Já não buscamos

mais informação. Em vez disso, nós googlamos. E, quanto mais confiamos no

Google para obter respostas, tanto mais diminui nossa aptidão para buscar

informação por nós mesmos. Já hoje em dia, a “verdade” é definida pelos

resultados principais da busca do Google.11

Isso tem acontecido também com habilidades físicas, como a de se orientar no

tráfego. As pessoas pedem ao Google que as guie em seus deslocamentos.

Quando chegam num cruzamento, seu instinto pode lhes dizer “vire à esquerda”,

mas o Google Maps diz “vire à direita”. Primeiro elas ouvem a intuição, viram à

esquerda, ficam encalhadas num engarrafamento e perdem uma reunião

importante. Na próxima vez ouvem o Google, dobram à direita e chegam a

tempo. Aprendem, por experiência, a confiar no Google. Em um ano ou dois se

baseiam cegamente no que o Google Maps lhes diz, e se o smartphone falhar

ficam completamente sem pistas. Em março de 2012 três turistas japoneses na

Austrália decidiram viajar para uma pequena ilha ao largo da costa e caíram com

o carro direto no oceano Pacífico. O motorista, Yuzu Noda, de 21 anos, disse

depois que só tinha seguido as instruções do GPS, e que “ele me disse que

podíamos ir naquela direção. Continuou dizendo que nos levaria para uma

estrada. Ficamos encalhados”.12 Em diversos incidentes semelhantes pessoas

foram parar num lago ou caíram de uma ponte demolida, aparentemente por

terem seguido instruções de GPS.13 A aptidão para navegar é como um músculo

— use-o ou perca-o.14 Isso também vale para a habilidade para escolher esposas

ou profissões.

Todo ano, milhões de jovens precisam decidir o que estudar na universidade.

Essa é uma decisão muito importante e muito difícil. Você está sob a pressão de

seus pais, de seus amigos e de seus professores, que têm diferentes interesses e

opiniões. Você também tem de lidar com seus próprios temores e fantasias. Seu

julgamento está obnubilado e manipulado por sucessos de Hollywood, romances

baratos e sofisticadas campanhas de publicidade. Tomar uma decisão sensata é

particularmente difícil porque na verdade você não sabe o que é preciso para ter

sucesso em diferentes profissões, e não tem consciência de suas próprias forças e

fraquezas. O que é preciso para ter sucesso como advogado? Como é que me saio

quando estou sob pressão? Sou bom em trabalhar em equipe?

Um estudante talvez comece a estudar direito porque tem uma imagem

imprecisa de suas habilidades, e uma visão ainda mais distorcida do que é

realmente ser advogado (não se fazem discursos dramáticos nem se grita

“Protesto, meritíssimo!” todo dia). Enquanto isso, uma amiga decide realizar um

sonho de infância e estudar balé profissional, mesmo não tendo nem a disciplina

nem a estrutura óssea necessárias. Anos mais tarde, ambos se arrependem

profundamente de suas escolhas. No futuro poderíamos confiar no Google para

que tome essas decisões por nós. O Google poderia me dizer que eu

desperdiçaria meu tempo na faculdade de direito ou na escola de balé — mas que

eu daria um excelente (e muito feliz) psicólogo ou encanador.15

Uma vez que a IA toma decisões melhor do que nós sobre carreiras e até

mesmo relacionamentos, nosso conceito de humanidade e de vida terá de mudar.

Humanos costumam pensar sobre a vida como um drama de tomadas de

decisão. A democracia liberal e o capitalismo de livre mercado veem o indivíduo

como um agente autônomo que está constantemente fazendo escolhas no que

tange ao mundo. Obras de arte — sejam peças de Shakespeare, romances de Jane

Austen ou comédias bregas de Hollywood — quase sempre giram em torno de

uma situação na qual o herói tem de tomar uma decisão crucial. Ser ou não ser?

Ouvir o que minha mulher está dizendo e matar o rei Duncan ou ouvir minha

consciência e poupá-lo? Casar com Mr. Collins ou Mr. Darcy? As teologias cristã

e muçulmana também se concentram no drama da tomada de decisões, alegando que a salvação ou a danação eterna dependem de se fazer ou não a escolha certa.

O que acontecerá com essa visão de vida, se cada vez mais nos baseamos na IA

para tomar decisões por nós? Atualmente confiamos na Netflix para escolher

filmes, e no Google Maps para decidir se viramos à direita ou à esquerda. Mas,

uma vez que comecemos a contar com a IA para decidir o que estudar, onde

trabalhar e com quem casar, a vida humana deixará de ser um drama de tomada

de decisão. Eleições democráticas e livres mercados não farão muito sentido.

Assim como a maior parte das religiões e obras de arte. Imagine Anna Kariênina

pegando seu smartphone e perguntando ao algoritmo do Facebook se deveria

continuar casada com Kariênin ou fugir com o galante conde Vrónski. Ou

imagine sua peça favorita de Shakespeare com todas as decisões cruciais sendo

tomadas pelo algoritmo do Google. Hamlet e Macbeth terão vidas muito mais

confortáveis, mas que tipo de vida será exatamente? Temos modelos que sirvam

para dar sentido a essa vida?

Quando a autoridade passa de humanos para algoritmos, não podemos mais

ver o mundo como o campo de ação de indivíduos autônomos esforçando-se por

fazer as escolhas certas. Em vez disso, vamos perceber o universo inteiro como

um fluxo de dados, considerar organismos pouco mais que algoritmos

bioquímicos e acreditar que a vocação cósmica da humanidade é criar um

sistema universal de processamento de dados — e depois fundir-se a ele. Já

estamos nos tornando, hoje em dia, minúsculos chips dentro de um gigantesco

sistema de processamento de dados que ninguém compreende a fundo. Todo dia

eu absorvo incontáveis bits de dados através de e-mails, tuítes e artigos. Na

verdade, não sei onde me encaixo nesse grande esquema de coisas, e como meus

bits de dados se conectam com os bits produzidos por bilhões de outros

humanos e computadores. Não tenho tempo para descobrir, porque eu também

estou ocupado, respondendo a e-mails.

 

O CARRO FILOSÓFICO

 

Pode-se dizer que algoritmos jamais poderão tomar decisões importantes por

nós, porque decisões importantes normalmente envolvem uma dimensão ética, e

algoritmos não entendem de ética. No entanto, não há razão para supor que os algoritmos não serão capazes de superar o ser humano médio mesmo na ética. Já

hoje em dia, à medida que dispositivos como smartphones e veículos autônomos

tomam decisões que costumavam ser monopólio humano, eles começam a se

deparar com o mesmo tipo de problemas éticos que têm perturbado os humanos

por milênios.

Por exemplo, suponha que dois garotos correndo atrás de uma bola vejam-se

bem em frente a um carro autodirigido. Com base em seus cálculos instantâneos,

o algoritmo que dirige o carro conclui que a única maneira de evitar atingir os

dois garotos é desviar para a pista oposta, e arriscar colidir com um caminhão

que vem em sentido contrário. O algoritmo calcula que num caso assim há 70%

de probabilidades de que o dono do carro — que dorme no banco traseiro —

morra. O que o algoritmo deveria fazer?16

Filósofos têm debatido o “dilema do bonde” por milênios (é chamado “dilema

do bonde” porque os exemplos didáticos dos debates filosóficos modernos fazem

referência a um bonde desgovernado, e não a carros autodirigidos).17 Até agora

esses debates, lamentavelmente, têm tido pouco impacto no comportamento

efetivo, porque em tempos de crise os humanos, com demasiada frequência,

esquecem suas opiniões filosóficas e seguem suas emoções e seus instintos.

Um dos experimentos mais sórdidos da história das ciências sociais foi

realizado em dezembro de 1970 com um grupo de estudantes do Seminário

Teológico de Princeton aspirantes a ministros da Igreja presbiteriana. Pedia-se a

cada estudante que corresse para uma sala de aula distante para falar sobre a

parábola do Bom Samaritano, que conta como um judeu que viajava de

Jerusalém para Jericó foi roubado e espancado por criminosos, que o deixaram

para morrer, à beira da estrada. Passado algum tempo um sacerdote e um levita

passaram por lá, mas ignoraram o homem. Em contraste, um samaritano —

membro de uma seita muito desprezada pelos judeus — parou quando viu a

vítima, cuidou dela, e salvou sua vida. A moral da parábola é que o mérito

pessoal deveria ser julgado pelo comportamento, e não por afiliação religiosa e

opiniões filosóficas.

Os jovens seminaristas, entusiasmados, corriam para a sala de aula pensando

em como melhor explicar a moral da parábola do bom samaritano. Mas os

responsáveis pelo experimento haviam posto em seu caminho uma pessoa maltrapilha, meio caída e encostada numa porta com a cabeça baixa e os olhos

fechados. Quando cada seminarista, sem suspeitar de nada, passava apressado

por ela, a “vítima” tossia e gemia lamentosamente. A maioria dos seminaristas

nem sequer parou para perguntar o que havia de errado com o homem, muito

menos para oferecer ajuda. O estresse emocional causado pela necessidade de se

apressar para a sala de aula tinha triunfado sobre a obrigação moral de ajudar

estranhos em apuros.18

As emoções humanas triunfam sobre teorias filosóficas em inúmeras outras

situações. Isso torna a história ética e filosófica do mundo uma narrativa

deprimente de ideais maravilhosos e comportamentos menos que ideais.

Quantos cristãos oferecem a outra face, quantos budistas superam obsessões

egoístas, e quantos judeus realmente amam seu próximo como a si mesmos? É a

maneira como a seleção natural moldou o Homo sapiens. Como todos os

mamíferos, o Homo sapiens usa emoções para tomar rapidamente decisões de

vida ou morte. Herdamos nossa raiva, nosso medo e nossa paixão de milhões de

ancestrais, que passaram pelos mais rigorosos testes de qualidade da seleção

natural.

Infelizmente, o que era bom para a sobrevivência e a reprodução na savana

africana 1 milhão de anos atrás não será necessariamente um comportamento

responsável nas rodovias do século XXI. Motoristas humanos distraídos, nervosos

e ansiosos matam mais de 1 milhão de pessoas em acidentes de trânsito todo ano.

Podemos enviar todos os nossos filósofos, profetas e sacerdotes para pregar ética

para esses motoristas — na estrada, emoções de mamíferos e instintos da savana

ainda prevalecem. Consequentemente, seminaristas apressados vão ignorar

pessoas em apuros, e motoristas em crise vão atropelar os infelizes pedestres.

A disjunção entre o seminário e a rua é um dos maiores problemas práticos da

ética. Immanuel Kant, John Stuart Mill e John Rawls podem passar dias

discutindo problemas teóricos de ética numa acolhedora sala da universidade —

mas seriam suas conclusões efetivamente implementadas por motoristas

estressados em meio a uma emergência? Talvez Michael Schumacher — o

campeão da Fórmula 1 aclamado como melhor piloto da história — tivesse a

capacidade de pensar sobre filosofia enquanto dirigia; mas a maioria de nós não é

Schumacher.

Os algoritmos de computação, no entanto, não foram moldados pela seleção

natural, e não têm emoções nem instintos viscerais. Daí que em momentos de

crise eles poderiam seguir diretrizes éticas muito melhor que os humanos —

contanto que encontremos uma maneira de codificar a ética em números e

estatísticas precisos. Se ensinarmos Kant, Mill e Rawls a escrever um programa,

eles poderão programar cuidadosamente um carro autodirigido em seus

acolhedores laboratórios, e ter a certeza de que o carro seguirá seus comandos na

rua. Com efeito, todo carro será dirigido por Michael Schumacher e Immanuel

Kant combinados numa só pessoa.

Assim, se você programar um carro autodirigido para que pare e ajude

estranhos em apuros, ele fará isso aconteça o que acontecer (a menos, é claro,

que você insira uma cláusula de exceção para determinados cenários). Da mesma

forma, se seu carro autodirigido estiver programado para desviar para a pista

oposta a fim de salvar os dois garotos que estão em seu caminho, pode apostar

sua vida que é exatamente isso que ele fará. O que significa que, ao projetar seus

carros autodirigidos, a Toyota ou a Tesla vão transformar um problema teórico

de filosofia da ética num problema prático de engenharia.

Com certeza, os algoritmos filosóficos nunca serão perfeitos. Erros ainda vão

acontecer, resultando em ferimentos, mortes e processos judiciais extremamente

complicados. (Pela primeira vez na história, você poderá processar um filósofo

pelos infelizes resultados de suas teorias, porque pela primeira vez na história

você poderá provar que há uma ligação causal direta entre ideias filosóficas e

eventos da vida real.) Contudo, para poder assumir o papel de motoristas

humanos, os algoritmos terão de ser perfeitos. Terão de ser melhores que os

humanos. Considerando que motoristas humanos matam mais de 1 milhão de

pessoas todo ano, não será tão difícil assim. Tudo isso dito e feito, você ia preferir

que o carro atrás do seu estivesse sendo dirigido por um adolescente bêbado ou

pela equipe Schumacher-Kant?19

A mesma lógica vale não só para a direção de automóveis, mas para muitas

outras situações. Veja, por exemplo, o caso de candidatos a emprego. No século

XXI, a decisão de contratar alguém para um emprego será cada vez mais tomada

por algoritmos. Não podemos confiar na máquina para estabelecer os padrões

éticos relevantes — os humanos sempre terão de fazer isso. Mas, uma vez que decidamos por um padrão ético no mercado de trabalho — por exemplo, que é

errado discriminar mulheres, ou pessoas negras —, poderemos confiar em

máquinas para implementar e manter esse padrão melhor que os humanos.20

Um gerente humano pode saber e concordar que é antiético discriminar

pessoas negras e mulheres, mas, quando uma mulher negra se candidata a um

emprego, o gerente subconscientemente a discrimina e decide não contratá-la. Se

permitirmos que um computador avalie os pedidos de emprego, e

programarmos o computador para ignorar completamente raça e gênero,

podemos ter certeza de que o computador vai ignorar esses fatores, porque

computadores não têm subconsciência. Claro, não será fácil escrever o programa

de avaliação de pedidos de emprego, sempre haverá o perigo de que engenheiros,

de algum modo, incluam seus próprios vieses subconscientes no software.21 Mas,

uma vez descobertos esses erros, provavelmente será muito mais fácil corrigir o

software do que livrar humanos de seus vieses racistas ou misóginos.

Vimos que o surgimento da inteligência artificial pode expulsar muitos

humanos do mercado de trabalho — inclusive motoristas e guardas de trânsito

(quando humanos arruaceiros forem substituídos por algoritmos, guardas de

trânsito serão supérfluos). No entanto, poderá haver algumas novas aberturas

para os filósofos, haverá subitamente grande demanda por suas qualificações —

até agora destituídas de quase todo valor de mercado. Assim, se você quer

estudar algo que lhe assegure um bom emprego no futuro, talvez a filosofia não

seja uma aposta tão ruim.

É claro que filósofos raramente concordam em qual é a linha correta de ação.

Poucos “dilemas do bonde” têm sido resolvidos de modo a satisfazer todos os

filósofos, e pensadores consequencialistas como John Stuart Mill (que julga a

ação pelas suas consequências) têm opiniões bem diferentes das dos

deontologistas como Immanuel Kant (que julga as ações segundo regras

absolutas). Será que a Tesla tem de tomar posição quanto a questões tão

complicadas para fabricar carros?

Bem, talvez a Tesla deixe isso a cargo do mercado. A montadora vai fabricar

dois modelos de carro autodirigido: o Tesla Altruísta e o Tesla Egoísta. Numa

emergência, o Altruísta sacrifica seu dono pelo bem maior, enquanto o Egoísta

faz tudo o que pode para salvar seu dono, mesmo que isso signifique matar os dois garotos. Os clientes poderão então comprar o carro que melhor se encaixe

em sua visão filosófica. Se mais pessoas comprarem o Tesla Egoísta a culpa não

será da Tesla. Afinal, o cliente sempre tem razão.

Isso não é uma brincadeira. Num estudo pioneiro, em 2015, apresentou-se a

pessoas um cenário hipotético de um carro autodirigido na iminência de

atropelar vários pedestres. A maioria disse que nesse caso o carro deveria salvar

os pedestres mesmo que custasse a vida de seu proprietário. Quando lhes

perguntaram se eles comprariam um carro programado para sacrificar seu

proprietário pelo bem maior, a maioria respondeu que não. Para eles mesmos,

iam preferir o Tesla Egoísta.22

Imagine a situação: você comprou um carro novo, mas antes de começar a

usá-lo tem de abrir o menu de configurações e escolher cada uma das diversas

opções. Em caso de acidente, quer que o carro sacrifique sua vida — ou que mate

a família no outro veículo? Essa é uma escolha que você quer mesmo fazer?

Pense nas discussões que vai ter com seu marido sobre qual opção escolher.

Assim, talvez o Estado devesse intervir para regular o mercado, e instituir um

código ético a ser obedecido por todos os carros autodirigidos? Sem dúvida

alguns legisladores ficarão emocionados com a oportunidade de finalmente fazer

leis que serão sempre seguidas à risca. Outros talvez fiquem alarmados com essa

responsabilidade sem precedentes e totalitária. Afinal, no decorrer da história as

limitações da aplicação da lei proporcionaram um controle bem-vindo dos

vieses, erros e excessos dos legisladores. Foi uma grande sorte o fato de as leis

contra o homossexualismo e a blasfêmia só terem sido parcialmente aplicadas.

Será que queremos mesmo um sistema no qual as decisões de políticos se tornem

tão inexoráveis quanto a gravidade?

 

DITADURAS DIGITAIS

 

As pessoas temem a IA porque não confiam na obediência da IA. Já assistimos

a muitos filmes de ficção científica sobre robôs que se rebelam contra seus

senhores humanos e correm desenfreados pelas ruas trucidando todo mundo.

Mas o problema real com robôs é exatamente o oposto. Devemos ter medo deles

porque sempre obedecerão a seus senhores e nunca se rebelarão.

Não há nada de errado com a obediência cega, é claro, enquanto os robôs

servirem a senhores benignos. Mesmo numa guerra, a dependência de robôs

matadores poderia garantir que, pela primeira vez na história, as regras da guerra

seriam realmente obedecidas no campo de batalha. Soldados humanos são às

vezes levados por suas emoções a assassinar, saquear e estuprar, violando as leis

da guerra. Normalmente associamos emoções a compaixão, amor e empatia, mas

em tempos de guerra as emoções que assumem o controle são muito

frequentemente o medo, o ódio e a crueldade. Como robôs não têm emoções,

poder-se-ia confiar que eles sempre seguiriam rigorosamente o código militar, e

nunca seriam levados por temores e ódios pessoais.23

Em 16 de março de 1968, uma companhia de soldados americanos ficou

ensandecida na aldeia vietnamita de My Lai e massacrou cerca de quatrocentos

civis. Esse crime de guerra resultou da iniciativa local de homens que tinham

estado envolvidos numa guerrilha na selva durante vários meses. Não tinha

nenhum objetivo estratégico, e transgredia tanto o código de conduta quanto a

política militar dos Estados Unidos. Foi por culpa das emoções humanas.24 Se os

Estados Unidos tivessem colocado robôs assassinos no Vietnã, o massacre de My

Lai jamais teria ocorrido.

Entretanto, antes de sairmos correndo para desenvolver e pôr em ação robôs

assassinos, precisamos lembrar que robôs sempre refletem e ampliam as

qualidades de sua programação. Se o programa é contido e benigno — os robôs

provavelmente representarão uma imensa melhora em relação ao soldado

humano médio. Mas se o programa for implacável e cruel — os resultados serão

catastróficos. O verdadeiro problema com robôs não está em sua inteligência

artificial, mas na estupidez e crueldade naturais de seus senhores humanos.

Em julho de 1995, tropas sérvias da Bósnia massacraram mais de 8 mil

muçulmanos bósnios no entorno da cidade de Srebrenica. Diferentemente do

massacre aleatório de My Lai, a matança em Srebrenica foi uma ação prolongada

e bem organizada que refletiu a política sérvia que visava a uma Bósnia

“etnicamente purificada” de muçulmanos.25 Se os sérvios da Bósnia tivessem

robôs assassinos em 1995, isso provavelmente teria feito a atrocidade ser pior, e

não melhor. Nenhum robô hesitaria um só momento no cumprimento de

quaisquer ordens que recebesse, e não teria poupado a vida de uma única criança muçulmana por sentimentos de compaixão, repulsa ou mera letargia.

Um ditador cruel armado com robôs assassinos não precisaria ter medo de

que seus soldados se voltassem contra ele, não importa quão perversas e loucas

fossem suas ordens. Um exército de robôs provavelmente teria sufocado a

Revolução Francesa em seu berço em 1789, e se em 2011 Hosni Mubarak

dispusesse de um contingente de robôs assassinos ele poderia lançá-los sobre a

população sem medo de deserções. Da mesma forma, um governo imperialista

que contasse com um exército de robôs poderia travar guerras impopulares sem

nenhuma preocupação de que seus robôs perdessem a motivação, ou que suas

famílias protestassem. Se os Estados Unidos tivessem robôs assassinos na Guerra

do Vietnã, o massacre de My Lai poderia ter sido evitado, mas a guerra em si

mesma poderia ter se arrastado por muitos anos, porque o governo americano

teria menos preocupações com soldados desmoralizados, com protestos em

massa contra a guerra, ou com um movimento de “robôs veteranos contra a

guerra” (alguns cidadãos americanos ainda poderiam se opor à guerra, mas sem

o medo de serem eles mesmos convocados, sem a memória de terem

pessoalmente cometido atrocidades, ou da perda dolorosa de um parente

querido, os manifestantes provavelmente seriam menos numerosos e menos

envolvidos).26

Problemas como esses são muito menos relevantes no que concerne a veículos

autônomos civis porque nenhum fabricante de automóveis vai programar

maliciosamente seus carros para matar pessoas. Sistemas de armas autônomos,

no entanto, são uma catástrofe iminente, porque a maioria dos governos são

eticamente corruptos, se não explicitamente malignos.

O perigo não se restringe a máquinas de matar. Sistemas de vigilância podem

ser igualmente arriscados. Nas mãos de um governo benigno, algoritmos

poderosos de vigilância podem ser a melhor coisa que já aconteceu ao gênero

humano. Mas os mesmos algoritmos de Big Data podem também dar poder a

um futuro Grande Irmão, e podemos acabar em um regime de vigilância

orwelliano, no qual todo mundo é monitorado o tempo todo.27

O resultado pode ser algo que nem mesmo Orwell foi capaz de imaginar: um

regime de vigilância total que não apenas acompanha nossas atividades e

pronunciamentos externos como é capaz até mesmo de penetrar nossa pele e observar nossas experiências interiores. Considere por exemplo o que o regime

de Kim, na Coreia do Norte, poderia fazer com a nova tecnologia. No futuro,

poder-se-ia requerer de cada cidadão norte-coreano que usasse um bracelete

biométrico que monitora tudo o que se faz ou se diz — assim como a pressão

sanguínea e a atividade cerebral. Usando nossa crescente compreensão do

cérebro humano, e os imensos poderes do aprendizado de máquina, o regime

norte-coreano poderia desenvolver a capacidade de, pela primeira vez na

história, avaliar o que todo e cada cidadão está pensando em todo e cada

momento. Se você olhar para um retrato de Kim Jong-un e os sensores

biométricos detectarem sinais indicadores de raiva (elevação da pressão

sanguínea, aumento de atividade na amígdala cerebral) —, amanhã de manhã

você estará no gulag.

Com certeza, devido a seu isolamento, o regime norte-coreano poderá ter

dificuldade para desenvolver sozinho a tecnologia necessária. No entanto, a

tecnologia poderia ser introduzida pioneiramente em nações de tecnologia mais

avançada e copiada ou comprada pelos norte-coreanos e outras ditaduras

retrógradas. A China e a Rússia estão constantemente aperfeiçoando suas

ferramentas de vigilância, assim como vários países democráticos, desde os

Estados Unidos até Israel, onde vivo. Apelidada de “nação das empresas start-

up”, Israel tem um setor de alta tecnologia extremamente vigoroso, e uma

indústria de segurança cibernética de ponta. Ao mesmo tempo também está

encerrado num conflito mortal com os palestinos, e pelo menos alguns de seus

líderes, generais e cidadãos gostariam muito de criar um regime de vigilância

total na Cisjordânia assim que dispuserem da tecnologia necessária.

Hoje, quando palestinos fazem uma ligação telefônica, postam alguma coisa

no Facebook ou viajam de uma cidade para outra, é possível que estejam sendo

monitorados por microfones, câmeras, drones ou softwares espiões israelenses.

Os dados reunidos são depois analisados com a ajuda de algoritmos de Big Data.

Isso ajuda as forças de segurança de Israel a identificar e neutralizar ameaças

potenciais sem o uso de tropas no local. Os palestinos podem administrar

algumas cidades e aldeias na Cisjordânia, mas os israelenses controlam o céu, as

ondas de rádio e o ciberespaço. Por isso é surpreendentemente pequeno o

número de soldados israelenses que controlam cerca de 2,5 milhões de palestinos

na Cisjordânia.28

Num incidente tragicômico em outubro de 2017, um trabalhador palestino

postou em sua conta privada no Facebook uma foto sua no trabalho, ao lado de

uma escavadeira. Junto à imagem ele escreveu “Bom dia!”. Um algoritmo

automático cometeu um pequeno erro ao transliterar as letras árabes. Em vez de

“Ysabechhum!” (“bom dia”), o algoritmo identificou as letras como escrevendo

“Ydbachhum” (“mate-os”). Suspeitando que o homem pudesse ser um terrorista

que tencionava usar uma escavadeira para atropelar pessoas, as forças de

segurança de Israel rapidamente o prenderam. Foi libertado depois que

constataram que o algoritmo havia cometido um erro. Mas assim mesmo o post

ofensivo no Facebook foi retirado. Cuidado nunca é demais.29 O que os

palestinos estão experimentando hoje na Cisjordânia pode ser uma previsão

inicial do que bilhões experimentarão em todo o planeta no futuro.

No final do século XX as democracias no geral superaram as ditaduras porque

são melhores no processamento de dados. A democracia difunde o poder para

processar informação e as decisões são tomadas por muitas pessoas e

instituições, enquanto a ditadura concentra informação e poder num só lugar.

Dada a tecnologia do século XX, seria ineficiente concentrar informação e poder

demais num só lugar. Ninguém tinha capacidade para processar toda a

informação com rapidez suficiente para tomar decisões corretas. Essa é em parte

a razão de a União Soviética ter tomado decisões muito piores que as dos Estados

Unidos, e de a economia soviética ter ficado bem atrás da economia americana.

Entretanto, em breve a IA poderá fazer o pêndulo oscilar para a direção oposta.

A IA possibilita o processamento de enormes quantidades de informação

centralizada. Na verdade, a IA pode fazer com que sistemas centralizados sejam

muito mais eficientes do que sistemas difusos, porque o aprendizado de máquina

funciona melhor quanto mais informação for capaz de analisar. Se você

concentrar toda a informação relativa a 1 bilhão de pessoas numa única base de

dados, desconsiderando qualquer preocupação com privacidade, será capaz de

instruir muito mais algoritmos do que se respeitasse a privacidade individual e

tivesse em sua base de dados apenas informações parciais sobre 1 milhão de

pessoas. Por exemplo, se um governo autoritário ordenar a todos os seus

cidadãos que tenham seu DNA escaneado e que compartilhem todos os seus dados médicos com alguma autoridade central, ele terá uma enorme vantagem

em pesquisa genética e médica em relação a sociedades nas quais os dados

médicos são estritamente privados. A principal desvantagem dos regimes

autoritários do século XX — a tentativa de concentrar toda a informação num só

lugar — pode se tornar a vantagem decisiva no século XXI.

Quando os algoritmos passarem a nos conhecer tão bem, governos

autoritários poderiam obter o controle absoluto de seus cidadãos, ainda mais do

que na Alemanha nazista, e a resistência a esses regimes poderá ser totalmente

impossível. Não só o regime saberá o que você sente — ele poderia fazer você

sentir o que ele quiser. O ditador poderia não ser capaz de prover o cidadão de

serviços de saúde ou igualdade, mas seria capaz de fazer com que ele o amasse e

odiasse seus adversários. A democracia em seu formato atual não será capaz de

sobreviver à fusão da biotecnologia com a tecnologia da informação. Ou a

democracia se reinventa com sucesso numa forma radicalmente nova, ou os

humanos acabarão vivendo em “ditaduras digitais”.

Não será um retorno à época de Hitler e Stálin. As ditaduras digitais serão tão

diferentes da Alemanha nazista quanto a Alemanha nazista foi diferente do

Antigo Regime na França. Luís XIV era um autocrata centralizador, mas não

tinha tecnologia para construir um Estado totalitário moderno. Não teve

oposição a seu governo, mas na ausência de rádios, telefones e trens, tinha pouco

controle sobre a vida cotidiana de camponeses em aldeias remotas da Bretanha,

ou mesmo de citadinos no coração de Paris. Tampouco tinha vontade ou

capacidade de estabelecer um partido popular, um movimento de jovens em

todo o país, ou um sistema nacional de educação.30 Foram as novas tecnologias

do século XX que deram a Hitler tanto a motivação quanto o poder de fazer coisas

desse tipo. Não podemos prever quais serão as motivações e poderes das

ditaduras digitais em 2084, mas é muito pouco provável que só copiem Hitler e

Stálin. Os que se dispuserem a lutar novamente as mesmas batalhas da década de

1930 poderão ser surpreendidos, indefesos, por um ataque provindo de uma

direção totalmente diferente.

Mesmo que a democracia consiga se adaptar e sobreviver, as pessoas podem

tornar-se as vítimas de novos tipos de opressão e discriminação. Já hoje em dia,

cada vez mais bancos, corporações e instituições estão usando algoritmos para analisar dados e tomar decisões a nosso respeito. Quando você pede um

empréstimo a seu banco, é provável que seu pedido seja processado por um

algoritmo e não por um humano. O algoritmo analisa grande quantidade de

dados sobre você e estatísticas sobre milhões de outras pessoas, e decide se você é

confiável o bastante para receber um empréstimo. Frequentemente, o algoritmo

faz o trabalho melhor do que faria um gerente. Mas o problema é que se o

algoritmo discriminar injustamente certas pessoas, será difícil saber. Se o banco

se recusar a lhe dar um empréstimo e você perguntar por quê, o banco

responderá: “O algoritmo disse que não”. Você pergunta: “Por que o algoritmo

disse não? O que há de errado comigo?”, e o banco responde: “Não sabemos.

Nenhum humano entende esse algoritmo, porque é baseado num aprendizado

de máquina avançado. Mas confiamos em nosso algoritmo, por isso não lhe

daremos um empréstimo”.31

Quando se discriminam grupos inteiros, como mulheres ou negros, esses

grupos podem se organizar e protestar contra a discriminação coletiva. Mas

agora um algoritmo seria capaz de discriminar você individualmente, sem que

você saiba por quê. Talvez o algoritmo tenha encontrado alguma coisa da qual

não gostou em seu DNA, em sua história pessoal ou em sua conta no Facebook. O

algoritmo teria discriminado você não porque é mulher ou negro — mas porque

você é você. Há algo específico em você de que o algoritmo não gosta. Você não

sabe o que é, e mesmo se soubesse não poderia organizar um protesto com outras

pessoas, porque não há outras pessoas que sejam alvo do mesmo preconceito. É

só você. Em vez de só discriminação coletiva, no século XXI talvez deparemos

com um crescente problema de discriminação individual.32

Nos níveis mais altos da autoridade provavelmente ainda teremos figurantes

humanos, que nos darão a ilusão de que os algoritmos são apenas conselheiros, e

que a autoridade final ainda está em mãos humanas. Não vamos nomear uma IA

chanceler da Alemanha ou CEO do Google. No entanto, as decisões tomadas pelo

chanceler da Alemanha ou pelo CEO do Google serão formuladas pela IA. O

chanceler ainda poderia escolher entre várias opções diferentes, mas todas seriam

resultado da análise feita por Big Data, e refletirão mais como a IA vê o mundo do

que como os humanos o veem.

Para citar um exemplo análogo, hoje políticos de todo o mundo podem escolher entre várias políticas econômicas diferentes, mas em quase todos os

casos as várias políticas em oferta refletem uma perspectiva capitalista da

economia. Os políticos têm uma ilusão de escolha, mas as decisões realmente

importantes já terão sido tomadas antes pelos economistas, banqueiros e homens

de negócio, que formataram as diferentes opções no menu. Dentro de algumas

décadas, os políticos estarão escolhendo opções de um menu escrito pela IA.

 

INTELIGÊNCIA ARTIFICIAL E ESTUPIDEZ NATURAL

 

Uma boa notícia é que pelo menos nas próximas poucas décadas não teremos

de lidar com esse absoluto pesadelo de ficção científica em que a IA adquire

consciência e decide escravizar ou aniquilar a humanidade. Cada vez mais vamos

confiar nos algoritmos para que tomem decisões por nós, mas não é provável que

os algoritmos comecem conscientemente a nos manipular. Eles não terão

consciência.

A ficção científica tende a confundir inteligência com consciência, e supõe que

para se equipar ou suplantar a inteligência humana os computadores terão de

desenvolver consciência. O enredo básico de quase todos os filmes e livros sobre

IA gira em torno do momento mágico no qual um computador ou robô ganha

consciência. Tendo acontecido isso, ou o herói humano se apaixona pelo robô,

ou o robô tenta matar todos os humanos, ou ambas as coisas acontecem

simultaneamente.

Porém na realidade não há motivo para supor que a inteligência artificial vá

desenvolver consciência, porque inteligência e consciência são coisas muito

diferentes. Inteligência é a aptidão para resolver problemas. Consciência é a

aptidão para sentir coisas como dor, alegria, amor e raiva. Tendemos a confundir

os dois porque nos humanos e nos outros mamíferos a inteligência anda de mãos

dadas com a consciência. Mamíferos resolvem a maioria dos problemas sentindo

coisas. Computadores, no entanto, resolvem problemas de maneira muito

diversa.

Há vários caminhos diferentes que levam a uma grande inteligência, e apenas

alguns desses caminhos envolvem a tomada de consciência. Assim como os

aviões voam mais rápido que aves sem jamais desenvolver penas, também os computadores podem resolver problemas muito melhor do que mamíferos sem

jamais desenvolver sentimentos. É verdade que a IA terá de analisar sentimentos

humanos com muita precisão para ser capaz de tratar doenças humanas,

identificar terroristas humanos, recomendar parceiros humanos e percorrer uma

rua cheia de pedestres humanos. Mas poderia fazer isso sem ter sentimentos

próprios. Um algoritmo não precisa sentir alegria, raiva ou medo para

reconhecer os diferentes padrões bioquímicos de macacos alegres, irados ou

assustados.

Claro, não é de todo impossível que a IA desenvolva seus próprios

sentimentos. Ainda não sabemos o bastante sobre a consciência para ter certeza.

Em geral, há três possibilidades que precisamos levar em consideração:

 

1. A consciência está, de alguma forma, ligada à bioquímica orgânica de tal

modo que nunca será possível criar consciência em sistemas não orgânicos.

2. A consciência não está ligada à bioquímica orgânica, mas está ligada à

inteligência de tal modo que os computadores poderiam desenvolver

consciência, e computadores terão de desenvolver consciência se ultrapassarem

um certo limiar da inteligência.

3. Não há ligações essenciais entre consciência e bioquímica orgânica nem

entre consciência e alta inteligência. Daí que os computadores poderiam

desenvolver consciência — mas não necessariamente. Poderiam tornar-se

superinteligentes mesmo tendo consciência zero.

 

No estágio atual de conhecimento, não podemos descartar nenhuma dessas

opções. Mas, precisamente porque sabemos tão pouco sobre a consciência,

parece improvável que possamos programar computadores conscientes em

algum momento próximo. Por isso, apesar do imenso poder da inteligência

artificial, num futuro previsível seu uso continuará a depender em alguma

medida da consciência humana.

O perigo é que se investirmos demais no desenvolvimento da IA e de menos

no desenvolvimento da consciência humana, a simples inteligência artificial

sofisticada dos computadores poderia servir apenas para dar poder à estupidez

natural dos humanos. É improvável que enfrentemos uma rebelião de robôs nas próximas décadas, mas poderíamos ter de lidar com hordas de bots que sabem,

melhor do que nossas mães, como manipular nossas emoções e usar essa

misteriosa habilidade para tentar nos vender alguma coisa — seja um carro, um

político ou toda uma ideologia. Os robôs poderiam identificar nossos temores,

ódios e desejos mais profundos, e usar essas alavancas interiores contra nós. Já

tivemos uma amostra disso em eleições e referendos recentes por todo o mundo,

quando hackers aprenderam como manipular eleitores individuais analisando

dados sobre eles e explorando seus preconceitos.33 Enquanto os filmes de ficção

científica terminam em apocalipses dramáticos com fogo e fumaça, na realidade

podemos estar a um clique de um apocalipse banal.

Para evitar tais resultados, para cada dólar e cada minuto que investimos no

desenvolvimento de inteligência artificial, seria sensato investir um dólar e um

minuto em avançar a consciência humana. Infelizmente, não estamos fazendo

muita coisa para pesquisar e desenvolver a consciência humana. Estamos

pesquisando e desenvolvendo habilidades humanas principalmente em função

das necessidades imediatas do sistema econômico e político, e não de acordo

com nossas necessidades de longo prazo como seres conscientes. Meu chefe quer

que eu responda aos e-mails o mais rápido possível, mas tem pouco interesse em

minha capacidade de saborear e apreciar a comida que estou comendo.

Consequentemente, eu verifico meus e-mails durante as refeições, enquanto vou

perdendo a capacidade de prestar atenção a minhas próprias sensações. O

sistema econômico me pressiona a expandir e diversificar minha carteira de

investimentos, mas me dá zero incentivo para expandir e diversificar minha

compaixão. Assim, eu me esforço cada vez mais para entender os mistérios da

bolsa de valores, e cada vez menos para compreender as causas profundas do

sofrimento.

Nisso, os humanos são semelhantes a outros animais domésticos. Temos

criado vacas dóceis que produzem enormes quantidades de leite, mas que de

resto são muito inferiores a seus ancestrais selvagens. São menos ágeis, menos

curiosas e menos dotadas de recursos.34 Estamos criando agora homens

domesticados que produzem enormes quantidades de dados e funcionam como

chips muito eficientes num enorme mecanismo de processamento de dados, mas

essas vacas de dados estão longe de atingir seu potencial máximo. Na verdade, não temos ideia de qual seja ele, porque sabemos muito pouco sobre nossa mente

e, em vez de investir na sua exploração, nos concentramos em aumentar a

velocidade de nossas conexões à internet e a eficiência de nossos algoritmos de

Big Data. Se não formos cuidadosos, vamos acabar tendo humanos degradados

fazendo mau uso de computadores sofisticados para causar estragos em si

mesmos e no mundo.

Ditaduras digitais não são o único perigo que nos aguarda. Juntamente com a

liberdade, a ordem liberal também dá grande valor à igualdade. O liberalismo

sempre zelou pela liberdade política, e gradualmente veio a se dar conta de que a

igualdade econômica é quase tão importante. Pois sem uma rede de segurança

social e um mínimo de igualdade econômica, a liberdade não tem sentido. Mas,

assim como os algoritmos de Big Data poderiam extinguir a liberdade, eles

poderiam simultaneamente criar a sociedade mais desigual que já existiu. Toda a

riqueza e todo o poder do mundo poderiam se concentrar nas mãos de uma

minúscula elite, enquanto a maior parte do povo sofreria, não de exploração, mas

de algo muito pior — irrelevância.