Informação, Conhecimento, Ação Autônoma e Big Data: Continuidade ou Revolução?

Daniel Martínez-Ávila, Edna Alves de Souza e Maria Eunice Quilici Gonzalez (orgs.) · Capítulo 12 de 17

Páginas do PDF

Informação, Conhecimento, Ação Autônoma e Big Data: Continuidade ou Revolução?

Algoritmos genéticos e aprendizagem: quem, de fato, aprende?

Algoritmos genéticos e

aprendizagem: quem, de fato,

aprende?

Monica Aiub

Considerando Big Data, tal como a definição do Oxford English Dictionary, uma quantidade de dados tão grande que sua manipulação exige desafios capazes de levar a mudanças nas formas tradicionais de análise de dados, a questão que se coloca não se refere à quantidade de dados, mas como analisálos. A forma tradicional de análise e interpretação dos dados, diante de uma grande quantidade, torna-se pouco efetiva. Para otimizar o processo de análise e interpretação de dados, atingindo mais rapidez e precisão, são utilizados métodos automatizados, especialmente estatísticos e de aprendizado de máquina (machine learning). A principal tarefa destes métodos é a mineração de dados (data mining), que ocorre a partir de observação de padrões ou estabelecimento de relações entre dados. Algoritmos genéticos – métodos de otimização e busca introduzidos por John Holland (1975) e popularizados por David Goldberg (1988) – têm se apresentado como uma possível resposta, entre outras, para a análise dessa grande e complexa quantidade de dados.

Os algoritmos genéticos são baseados na evolução biológica, mais especificamente, na genética populacional. Inspirados na seleção natural, funcionam a partir do modelo de sistemas adaptativos, buscando as melhores soluções ou as soluções aceitáveis para os problemas através de conhecimentos acumulados sobre os mesmos. Ao invés da codificação de um parâmetro de solução, trabalham com conjuntos de parâmetros; não consideram indivíduos, mas populações; utilizam-se de informações sobre custos e recompensas, e de regras probabilísticas e não determinísticas. Ou seja, tentam replicar os processos da evolução biológica, não apenas apresentando um passo a passo determinístico, mas atuando a partir de cálculos de probabilidade. Consideram, portanto, os elementos históricos referentes a origem do problema e formas anteriormente testadas para solução como fontes de conhecimento que integram o cálculo probabilístico. Tentam, com isso, emular o processo de evolução das espécies.

Seus principais componentes são nomeados numa linguagem composta por termos também utilizados em Biologia, tais como: cromossomo, que corresponde à sequência de códigos que representa uma possível solução. Um cromossomo, como em Biologia, é formado por genes, que aqui correspondem a cada parâmetro codificado no cromossomo. Outro termo é população, que se refere ao conjunto de soluções do problema. A população pode ser escolhida aleatória ou heuristicamente. São também utilizados termos como: avaliação ou função de aptidão, que diz respeito à medida do grau de aptidão de um indivíduo (qualidade quanto à solução ótima); e seleção, que consiste em copiar boas soluções e eliminar soluções de baixa aptidão.

Na linguagem dos algoritmos genéticos, incluem-se, ainda: operadores genéticos – que visam transformar a população através de sucessivas gerações, objetivando resultado satisfatório; critérios de parada – estabelecidos por resultados ou por tempo previamente determinado; e parâmetros de controle – que correspondem a tamanho da população, taxa de cruzamento, taxa de mutação, número de gerações.

Algumas pesquisas apresentam algoritmos capazes de, por exemplo, reconhecer rostos (Universidade de Hong Kong); diagnosticar depressão (Universidade de Vermont e Universidade de Harvard); identificar sarcasmo (Universidade Hebraica); determinar personalidade (Universidade de Stanford e Universidade de Cambridge), resumir textos (empresa Salesforce); identificar usuário bêbado (Universidade de Rochester); produzir arte criativa (Universidade de Rutgers); identificar orientação sexual por análise facial (Universidade de Stanford); decodificar pensamentos (Universidade da Califórnia), entre outras atividades anteriormente consideradas exclusividade humana. Afirmam os textos de divulgação destas pesquisas que os resultados obtidos com o uso dos algoritmos são mais precisos que a análise humana.

 

1 Observando algumas pesquisas que

utilizam algoritmos genéticos

Wu Youyou, Michal Kosinski e David Stillwell (2015), numa parceria entre as universidades de Cambridge e Stanford, desenvolveram um estudo que compara a precisão dos julgamentos de personalidade humanos com aqueles baseados em algoritmos genéticos. Eles trabalharam com uma amostra de 86.222 voluntários, que preencheram um questionário com cem itens. A conclusão da pesquisa indica que as predições computacionais baseadas em algoritmos genéticos são mais precisas do que as predições feitas pelos amigos de facebook dos participantes.

Os pesquisadores utilizaram o Questionário de personalidade de cinco fatores (IPIP), medindo as características – abertura, consciência, extroversão, amabilidade e neuroticismo ou instabilidade emocional – pelo método lexical. Com 70.520 participantes, foram observados os likes no facebook. A associação de padrões de gosto (likes no facebook) e traços de personalidade geraram resultados mais precisos que a avaliação feita por amigos de facebook. Para a avaliação humana, foram utilizados dez itens propostos a partir do Questionário de personalidade de cinco fatores. Os critérios para avaliação, em ambos os casos, foram a autoavaliação do voluntário, o cruzamento entre avaliações de humanos (neste caso foram considerados 14.410 voluntários) e a validade externa.

Afirmam os autores que as ferramentas de avaliação de personalidade automatizadas, sendo mais precisas e baratas, podem afetar a sociedade de várias maneiras: marketing adaptado aos usuários; trabalho de recrutadores facilitado; produtos e serviços mais adequados a seus usuários e, para a ciência, coleta de dados de personalidade sem sobrecarregar os participantes com longos questionários. O mais curioso é a afirmação sobre, no futuro, as pessoas poderem abandonar seus próprios julgamentos e confiar mais em computadores para tomar decisões importantes na vida, como escolher atividades, carreira ou até mesmo parceiros para um relacionamento afetivo (YOUYOU; KOSINSKI; STILLWELL, 2015, p. 1039).

Andrew G. Reece e Christopher M. Danforth (2016), das universidades de Harvard e Vermont, pesquisaram o instagram de 166 pessoas e utilizaram algoritmos genéticos para identificar marcadores de depressão. Foram analisadas 43.950 fotos, sendo observados: características das fotos, como cores, saturação, brilho; metadados, como comentários e likes; frequência de posts; e presença de pessoas nas imagens, identificada com detecção algorítmica de faces. Suas conclusões indicam que pessoas com depressão tendem a postar fotos mais escuras, em tons de azul ou cinza; indicam uma relação inversa entre o número de comentários nas fotos e os índices de depressão, assim como uma relação direta entre a frequência de posts e a depressão; maior incidência de fotos de rosto (selfies) entre os depressivos. Os resultados, segundo os pesquisadores, superam o sucesso da média dos diagnósticos médicos. Os pesquisadores apontam novos caminhos para detecção precoce de transtornos mentais e afirmam que o programa possibilita diagnosticar com maior precisão e rapidez que os médicos.

Ahmed Elgammal, Bingchen Liu, Mohamed Elhoseiny, Marian Mazzone (2017), do Laboratório de Arte e IA da Universidade de Rutgers, inspirados na obra de Colin Martindale (1990) sobre a necessidade constante de inovação na arte, produziram um software que aprende observando obras de arte e é capaz de produzir obras de arte criativa. As obras criadas pelo programa foram apresentadas à avaliação humana e foi impossível a distinção entre as obras criadas por artistas e as criadas pelo software, para 53% dos voluntários. Os pesquisadores criaram dois algoritmos em competição: um algoritmo gerativo, que gerou aleatoriamente imagens com padrões e formas distintas; e um algoritmo discriminativo, cuja função era avaliar e selecionar as obras adequadas ao padrão de referência. Quando o algoritmo discriminativo passou a identificar como adequadas ao padrão as obras “criadas” pelo algoritmo gerativo, iniciou-se novo passo no projeto. O algoritmo discriminativo foi alimentado com diferentes estilos de arte, a fim de criar um padrão de identificação do que é comumente aceito como arte. O algoritmo gerativo tentava criar conforme os padrões e o algoritmo discriminativo classificava. A competição entre os algoritmos funcionava segundo o seguinte critério: se o algoritmo discriminativo não conseguisse identificar o estilo da obra criada, o algoritmo gerativo ganhava pontos; se o algoritmo gerativo criasse obras facilmente classificadas, perdia pontos. Na segunda fase da pesquisa, as obras foram avaliadas por humanos.

 

2 Algoritmos genéticos na

aprendizagem

O desenvolvimento e a disseminação do ensino à distância trouxeram a necessidade de softwares educacionais que pudessem atender a demandas desta modalidade de ensino. A fim de abarcar o grande campo de probabilidades presente na área educacional, algoritmos genéticos também são utilizados na construção destes softwares. A ideia inicial é que fossem instrumentos para auxiliar os estudantes no desenvolvimento de seu processo de aprendizagem.

Algoritmos genéticos utilizados em cursos de educação à distância auxiliariam no processo de aprendizagem ao indicarem objetos de aprendizagem mais adequados a cada estudante, recomendando objetos sensíveis ao contexto (JÁCOME JÚNIOR; MENDES NETO; SILVA, 2012). A educação à distância, muitas vezes, dada a sua abrangência – principalmente a partir da educação móvel (utilizada em dispositivos sem fio) –, para facilitar o acesso aos conteúdos educacionais, acaba por apresentar conteúdos inadequados aos usuários. A fim de solucionar este problema, são utilizados algoritmos genéticos, para que sejam oferecidos aos estudantes objetos de aprendizagem mais adequados.

Num primeiro momento, esta poderia parecer uma forma interessantíssima para lidar com uma das questões fundamentais em educação: a necessidade de adequação dos conteúdos ao contexto e à linguagem do estudante. Contudo, contexto, neste caso, não se refere essencialmente à realidade do estudante, que necessitaria de pesquisas muito mais detalhadas, mas à localidade onde ele se encontra e outros elementos, tais como as condições do equipamento que ele utiliza. Para cada localidade há um repositório de objetos de aprendizagem que serão oferecidos ao estudante. Assim, além de escolher seus objetos de aprendizagem, o estudante terá um ambiente virtual criado para ele, a partir dos dados coletados no repositório, considerando-se outros usuários com características similares e padrões de escolhas anteriores. Isto possibilitaria, segundo os pesquisadores (JÁCOME JÚNIOR; MENDES NETO; SILVA, 2012), a criação de um micromundo virtual e o desenvolvimento de autonomia, criatividade, atenção e memória do usuário.

Hoje há plataformas, softwares e jogos educacionais que não são trabalhados apenas nos cursos de educação à distância, mas são utilizados em cursos presenciais e apresentados como um diferencial pedagógico em muitas escolas. Podemos citar como exemplo, entre tantos outros, a plataforma Létrus, que consiste num programa que objetiva melhorar a capacidade de escrita dos estudantes, visando a nota de redação no ENEM. Com base em “milhares de textos já escritos”, ou seja, um banco de dados com as redações com excelente pontuação, o programa começa por identificar o perfil de escrita de cada estudante, oferecendo orientações “personalizadas” para melhorar a performance do aluno. Este programa é apresentado como diferencial em várias escolas particulares e utilizado na terceira série do Ensino Médio em algumas escolas da Rede Pública Estadual de São Paulo. Assim como ele, vários programas já foram incorporados ao cotidiano educacional, os professores também interagem com o programa, que “aprende” e “incorpora” novos elementos.

É preciso, contudo, considerar que, ainda que os algoritmos genéticos trabalhem com probabilidades e que possam “aprender” com o usuário do software, suas bases iniciais estabelecem limites de atuação, traçados pelo programa. Tais limites, se comparados às possibilidades humanas, são, ainda, muito restritos. Porém, a despeito disso, alguns softwares e aplicativos educacionais são usados mais como formas de adestramento do que como processos múltiplos e variados de aprendizagem. Ou seja, muitas vezes, ao invés de desenvolver a habilidade reflexiva e investigativa, tais programas são utilizados de modo a gerar padrões específicos de associação de dados, tornando tais padrões, através da repetição, hábitos incorporados dos estudantes.

Se ao invés de desenvolver suas habilidades de escrita o estudante aprender um formato padrão para escrever seus textos, e apenas reproduzi-lo, impedindo-se de explorar a criatividade na escrita, muito brevemente haverá programas capazes de “redigir textos” melhor do que muitos humanos. Se inserirmos aqui os dados acerca das pesquisas citadas na sessão anterior, especialmente o programa capaz de gerar arte criativa, poderíamos nos questionar: estaríamos gerando programas capazes de criar e nos surpreender, ao mesmo tempo em que nos “adestramos” para responder conforme o esperado pelos programas utilizados para nos avaliar?

Até mesmo as interações humanas que se dão por estas interfaces são estabelecidas a partir dos padrões previamente determinados por elas, isto é, ao interagir com outros usuários de um aplicativo, programa ou jogo, há limites e possibilidades estabelecidos pelo software para esta interação. Além disso, cada vez que um aplicativo é utilizado, novos dados dos usuários são coletados, incluindo-se as formas de associação de dados; tais dados são considerados “capital” da empresa proprietária do aplicativo.

Se considerarmos as recentes mudanças em nossa Lei de Diretrizes e Bases da Educação Nacional (LDBN), permitindo que parte da carga horária seja à distância, inclusive na Educação Básica; as discussões no Senado acerca de educação domiciliar ( a homeschooling ); a 4 Revolução Industrial, com a aposta da paulatina substituição de profissionais (tais como professores, médicos, advogados, engenheiros etc.) por softwares, que rumos estaríamos traçando para a educação? Seriam tais rumos uma revolução educacional ou a continuidade de um processo de precarização na educação?

 

3 Uma leitura a partir de Peirce e

Edelman

A Teoria da Seleção dos Grupos Neuronais ou Darwinismo Neural, de Gerald Edelman (1987), também inspirada na teoria evolutiva de Darwin, é baseada em três princípios. O primeiro é a seleção no desenvolvimento, ou seja, um processo que conduz à formação da neuroanatomia. Esta, apesar de característica da espécie, possui um enorme grau de variação, no qual as informações transmitidas por herança genética constituirão, a partir do processo de desenvolvimento do feto, um repertório primário de categorização das experiências. Assim, o desenvolvimento neuronal do feto gerará, mesmo em caso de gêmeos univitelinos, cérebros diferentes ao nascer.

No segundo princípio, as conexões sinápticas são fortalecidas ou enfraquecidas por processos bioquímicos. O conjunto de variantes dos circuitos neuronais é chamado de repertório secundário. O terceiro princípio “sugere que os mapas cerebrais interagem através de um processo chamado reentrada” (EDELMAN, 1995, p. 128).

Tenciono provar aqui que a seleção somática, atuando sobre as cartografias globais, com novos tipos de cartografias juntando-se aos anteriores ao longo da evolução, é um poderoso meio de aquisição de novas funções tais como memórias especializadas e capacidades conceituais (EDELMAN, 1995, p. 148).

Poderíamos considerar a proposta de Edelman como um elemento favorável ao desenvolvimento de algoritmos genéticos que adquirissem, a partir da construção de um repertório secundário, novas funções, tais como “memórias especializadas e capacidades conceituais”. Para tal, precisaríamos criar padrões como se houvesse uma natureza regular, ordenada. O próprio Edelman afirma que o padrão da natureza é a variação, a diversidade. O estabelecimento de padrões e repetições é próprio da mente humana. Observamos padrões naturais porque eles se destacam em meio à diversidade, esta é observada como “a música nunca ouvida porque sempre ouvida”.

O pensamento em termos de populações considera que a variabilidade não

é um erro, mas sim, como diz o grande evolucionista Ernst Mayr, um

fenômeno real. A variabilidade individual de uma população é a fonte de

diversidade, sobre a qual atua a seleção natural para produzir diferentes

tipos de organismos (EDELMAN, 1995, p. 111).

Peirce também considera a variação da natureza:

A natureza não é regular. Nenhuma desordem é menos ordenada do que a

combinação existente. É verdade que as leis particulares e as regularidades

são incontáveis; mas ninguém pensa sobre as irregularidades que são

infinitamente mais frequentes. Cada fato verdadeiro sobre qualquer coisa no

universo está relacionado a qualquer outro fato verdadeiro. Mas a grande

maioria destas relações são fortuitas e irregulares (PEIRCE, CP, 5.342). 1

A constatação da variabilidade, que segundo Edelman é responsável pelo desenvolvimento, na espécie, de memória e pensamento conceitual, exige um mesmo processo de variação e irregularidade para que um algoritmo pudesse obter resultados tão ou mais precisos que os resultados humanos. Isto porque, ainda que o algoritmo trabalhe com uma quantidade de dados extremamente grande, os padrões de relação observados poderão ser fortuitos, ou seja, apenas coincidências observadas, mas que não apresentam uma relação de fato; ou modificados pela ação do acaso ou por interações diversas. Poderíamos argumentar que não temos condições de processar e relacionar tantos dados quanto um programa é capaz de fazer e, por ter acesso a mais dados, o resultado obtido pelo programa seria mais preciso.

Porém, os padrões de relação estabelecidos por algoritmos genéticos são pautados em estatística, ou seja, a partir do método indutivo. O que se observa a partir do método indutivo não pode ser aplicado a cada indivíduo da espécie pesquisada. Assim, não é possível considerar as relações estabelecidas por algoritmos genéticos como processos de categorização universais. Como esclarece Queiroz:

Se lidamos com métodos indutivos, então não podemos garantir universalidade na aplicação das categorias. Metodologicamente, o problema é óbvio. Não é possível, por observação, construir uma lista na qual qualquer coisa que se possa pensar ou experimentar tenha lugar (QUEIROZ, 2004, p. 34).

As formas humanas de categorização dos dados variam de acordo com nossos repertórios primário e secundário e com a reentrada. Ou seja, a cada situação vivida, a cada relação estabelecida com o mundo ou com o outro, os próprios padrões que utilizamos para categorizar nossas experiências podem ser modificados, é o que chamamos plasticidade.

Peirce afirmou que “A mais plástica de todas as coisas é a mente humana e, depois dela, vem o mundo orgânico […]. Ora, a tendência generalizante é a grande lei da mente, a lei da associação, a lei de adquirir hábitos” (CP, 7.515).

A aprendizagem é, segundo Peirce, a realização da plasticidade, ou seja, a possibilidade que temos de modificar nossos hábitos diante das necessidades colocadas por nossas relações com o mundo. Neste caso, não apenas os dados do mundo são diversos, mas a mente humana modifica seus hábitos de categorização e associação dos dados a partir das experiências, ela é capaz de aprender com as experiências e os erros.

Os algoritmos genéticos, em sua construção, utilizam regras probabilísticas. A partir delas, categorizam e relacionam dados, tais como cores e saturação de uma foto e depressão – conforme pesquisa descrita na sessão anterior.

A própria probabilidade é uma ideia essencialmente imprecisa, exigindo, no seu uso toda a precaução do pragmatismo, no qual sua origem indutiva deve ser firmemente mantida como se fosse uma bússola pela qual devemos guiar com segurança nosso barco neste oceano de probabilidades. A indução poderia ser definida, em termos precisos, como sendo a inferência virtual de uma probabilidade, se é que a probabilidade pode ser definida sem a ideia da indução (CP, 2.101).

Neste “oceano de probabilidades” que é o real, não podemos esquecer o caráter impreciso da indução. Ainda que apontássemos as relações observadas por dados estatísticos como um processo abdutivo, faltaria a tal processo a capacidade de interagir com a rede de signos e a diversidade de significados que podem ser atribuídos; faltaria, ainda, a interação e movimentação constante entre os métodos dedutivo, indutivo e abdutivo.

 

4 Alguns questionamentos

A partir destas observações, surgem alguns questionamentos. Não temos respostas para eles, mas colocá-los poderá nos provocar a pensar acerca do tipo de vida e de sociedade que estamos construindo.

Que tipo de aprendizagem possui um estudante que aprende, com seu professor do cursinho, como escrever uma redação segundo os critérios do algoritmo utilizado para a correção da mesma? E o estudante que aprende com programas como o Létrus? Se considerarmos aprendizagem a realização da plasticidade, estaríamos moldando nossas mentes, como próteses cognitivas a partir das quais conduziremos nossa existência? Seriam os algoritmos genéticos estímulos ao desenvolvimento de nossas habilidades cognitivas ou a replicação de padrões e modos de vida úteis à manutenção da ordem vigente?

O estudante de música que aprende a “compor” a partir do aplicativo “compositor” sem conhecer harmonia musical, teoria ou acústica, sem compreender os significados das relações entre a música e a sociedade será um compositor ou um programa o superará na qualidade das composições?

Correríamos o risco, ao criarmos máquinas capazes de escrever livros, compor e executar músicas, criar obras de arte, ou seja, atividades consideradas exclusividade humana, de nos tornarmos dependentes delas e, consequentemente, dependentes dos detentores da propriedade de tais máquinas?

Se nossos saberes e capacidades criativas podem se tornar “propriedade” de uma empresa, que tipo de sociedade estamos criando? E nela, quais os limites de nossas ações e de nossa criatividade?

Poderíamos, de fato, considerar que no uso de aplicativos e/ou jogos, construídos a partir de algoritmos genéticos há aprendizagem? Se há, quem, de fato, aprende? O usuário, o aplicativo ou a empresa proprietária do aplicativo?

Se o programa for uma ferramenta, um instrumento de apoio para auxiliar estudantes, professores, pesquisadores, profissionais etc., ele poderá ser muito útil, principalmente porque nos oferecerá acesso a uma quantidade maior de dados. Contudo, esses dados já serão “filtrados” segundo critérios previamente estabelecidos e, consequentemente, o resultado ficará limitado a este “filtro”. Se pensarmos numa educação desenvolvida exclusiva ou majoritariamente tendo programas como interface, perderemos a perspectiva da diversidade, da variabilidade que o encontro e o convívio propiciam.

Se vistos como instrumentos, Big Data, algoritmos genéticos, mineração de dados, programas etc. – ou seja, o desenvolvimento de tecnologias e inteligência artificial não têm o poder de revolucionar, pois apenas nos auxiliarão na continuidade de nossos processos.

Se vistos como suficientes para desempenhar atividades humanas melhor que os humanos, também não serão revolucionários, pois apenas intensificarão o processo de precarização da existência.

 

Referências

AMARAL, F. Aprenda mineração de dados. Rio de Janeiro: Alta Books, 2016.

EDELMAN G. M. Biologia da Consciência. Lisboa: Instituto Piaget, 1995.

EDELMAN G. M. Neural Darwinism: The Theory of Neuronal Group Selection. New York: Basic Books, 1987.

ELGAMMAL, A.; LIU, B.; ELHOSEINY, M.; MAZZONE, M. CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms. In arXiv:1706.07068v1 [cs.AI] 21 Jun 2017. Disponível em:

https://arxiv.org/pdf/1706.07068.pdf. Acesso em 15/04/2018.

GOLDBERG, D.E. Genetic Algorithms in Search, Optimization, an Learning. Boston: Addison-Wesley, 1989.

HOLLAND, J. H. Adaptation in Natural and Artificial Systems. Ann Arbor: University of Michigan Press, 1975.

JÁCOME JÚNIOR, L.; MENDES NETO, F. M.; SILVA, L. C. N. Uma abordagem baseada em algoritmo genético para recomendação de objetos de aprendizagem sensível ao contexto do estudante. Anais do 23o Simpósio Brasileiro de Informática na Educação (SBIE 2012), ISSN 2316-6533. Rio de Janeiro, 26-30 de Novembro de

2012. Disponível em: http://www.br-

ie.org/pub/index.php/sbie/article/viewFile/1673/1435. Acesso em 15/04/2018.

MARTINDALE, C. The clockwork muse: The predictability of artistic change. New York, NY, US: Basic Books, 1990.

MEISTER, I. A terceira margem: O conhecimento nas redes sociais. São Paulo: Mackenzie, 2014.

OXFORD ENGLISH DICTIONARY [Internet]. Oxford: Oxford University Press; 2015. Big Data; [cited 2015 Apr 17]; [1 paragraph].

Available from: http://www.oed.com/view/Entry/18833.

PEIRCE, C.S. Collected Papers of Charles Sanders Peirce. (CP). CD-ROM past masters. Charlotterville: Intelex Corporation, 1992.

QUEIROZ, J. Semiose segundo Peirce. São Paulo: EDUC/PUC, 2004.

REECE, A. G.; DANFORTH, C. Instagram photos reveal predictive markers of depression. In EPJ Data Science, 6, 2016. Disponível

em: https://www.researchgate.net/publication/306186650/download. Acesso em 15/04/2018.

YOUYOU, W.; KOSINSKI, M.; STILLWELL, D. Computer-based personality judgments are more accurate than those made by humans. PNAS January 27, 2015 112 (4) 1036-1040. Disponível em:

http://www.pnas.org/content/112/4/1036. Acesso em 15/04/2018.