Linguística de corpus: a importância do uso de ferramentas computacionais na construção de corpora linguísticos diacrônicos

Linguística de corpus: a

 

importância do uso de

 

ferramentas computacionais na

 

construção de corpora

 

linguísticos diacrônicos

 

Aline Peixoto Gravina

 

Introdução

 

A Linguística de Corpus é caracterizada por uns pesquisadores, como Sardinha (2000), como sendo uma abordagem e por outros, como Rocha (2000), como uma metodologia. Tratá-la como uma metodologia amplia a sua definição e, inclusive, engloba o conceito de abordagem, uma vez que a abrangência do termo abordagem é mais restrita e menos sistemática. Por não se preocupar em explicar aspectos da língua e não se enquadrar em um campo de estudo específico no âmbito da linguagem, a Linguística de Corpus não deve ser considerada como um ramo dos estudos linguísticos, mas sim uma base metodológica para as análises de língua.

Devido a esse caráter efêmero e não especificado, a Linguística de Corpus pode ser combinada com muitas áreas linguísticas, desde estudos sincrônicos a estudos diacrônicos, seja por estudos formais ou funcionais da língua, em seus aspectos fonéticos, fonológicos, morfológicos, sintáticos, semânticos, sociolinguísticos, dentre outros.

Especificamente na área de Linguística Histórica, o surgimento de tecnologias para aprimorar a constituição de grandes corpora foi de fundamental importância para a viabilidade da promoção não apenas de um número maior de estudos, mas também uma forma mais aprofundada e detalhada de análises linguísticas na área. A tecnologia veio para que grande parte de tempo fosse poupado aos pesquisadores ao possibilitar a disponibilidade de textos em plataformas online de fácil acesso. Além disso, a utilização de programas estatísticos e a criação de ferramentas computacionais, que fizessem anotações morfológicas e sintáticas nos textos, facilitaram as buscas linguísticas, otimizando não apenas o tempo do pesquisador, mas também a confiabilidade dos dados extraídos, uma vez que tal metodologia possibilita a replicação do estudo por outros pesquisadores.

Ao ter como pano de fundo as vantagens do uso de ferramentas computacionais na elaboração de corpora linguísticos diacrônicos, o presente trabalho tem como objetivo apresentar uma metodologia de composição de um corpus digital a partir dos parâmetros estabelecidos pelo projeto Corpus Histórico do Português Tycho Brahe, projeto temático coordenado pela professora Charlotte Marie Chambelland Galves no Instituto de Estudos da Linguagem da Universidade Estadual de Campinas. Todas as ferramentas computacionais utilizadas para desenvolver este trabalho, exceto a ferramenta de transcrição de imagem em textos digitais, o OCR-Tesseract, foram retiradas dos links disponibilizados no site desse

grande projeto temático 1.

Para demonstrar a funcionalidade das ferramentas computacionais na composição de um corpus histórico, essa pesquisa utilizou de jornais que circularam no Brasil, na cidade de Ouro Preto/MG, e em Portugal, na cidade de Évora/distrito de Évora, no século 19 e na primeira metade do século 20. Os jornais brasileiros selecionados para esse estudo foram O Recreador Mineiro (1845 a 1848), Jornal Mineiro (1890 a 1900) e Tribuna de Ouro Preto (1945 a 1948). Os periódicos portugueses escolhidos foram A Illustração Luso-brazileira (1850 a 1895), Manuelinho de Évora (1888 a 1895) e Notícias de Évora (1945 a 1948).

Após a definição dos textos, o pesquisador, que trabalha com dados históricos, passa por sua maior dificuldade: a constituição do corpus linguístico de forma a ter acesso fácil e rápido aos dados para efetuar as análises, dentro dos prazos estabelecidos no meio acadêmico. Portanto, o contato e o treinamento desses pesquisadores com softwares e programas computacionais tornam-se algo imprescindível para a elaboração de um corpus que seja funcional e acessível, não apenas para pesquisa em elaboração, mas também para futuros estudos com fenômenos linguísticos nos textos selecionados.

Para cumprir esses propósitos, elaborou-se um corpus linguístico com anotações morfológicas e sintáticas, de maneira a possibilitar buscas das mais diversas. O corpus foi desenvolvido a partir de textos jornalísticos brasileiros e portugueses, tendo em seu conjunto mais de trezentas mil palavras transcritas e anotadas morfológica e sintaticamente. Nas próximas seções desse texto, serão apresentados os processos e as ferramentas computacionais utilizadas para desenvolver esse trabalho. Na seção 2 será apresentado, de maneira geral, o Corpus Histórico do Português Tycho Brahe, projeto que inspirou a metodologia dessa pesquisa. Na seção 3, serão apresentados os jornais selecionados para compor a pesquisa, desde a justificativa da escolha de seu recorte temporal até a apresentação da composição de seus conteúdos. Na seção 4, serão detalhadas as formas de transcrição do material selecionado: transcrição manual semidiplomática e transcrição automática semidiplomática pelos softwares OCR-Tesseract e gcans2. pdf. Na seção 5, a ferramenta computacional eDictor é descrita de forma minuciosa, demonstrando seu importante papel na composição e elaboração da etiquetagem das palavras e da anotação morfossintática. Por fim, na seção 6, serão apresentados a interface da ferramenta de correção de análise sintática Corpus Draw e um exemplo de como realizar uma busca linguística pela ferramenta linguística Corpus Search. As apreciações a respeito do trabalho desenvolvido foram realizadas na seção Considerações finais.

 

Corpus histórico do português tycho

brahe

O Corpus Histórico do Português Tycho Brahe (doravante CHPTB) consiste em um corpus eletrônico anotado morfológica e sintaticamente, com acesso livre e gratuito pela internet. O CHPTB foi inspirado e elaborado nos moldes do Penn-Helsinki Parsed Corpus of Middle English (PPCME), desenvolvido por Taylor e Kroch (1998), e possui como objetivo disponibilizar publicamente dados históricos do português europeu (PE) e do português brasileiro (PB) anotados de tal maneira que os pesquisadores de sua história possam recuperar rápida e inambiguamente informações categoriais e estruturais pertinentes a análises morfossintáticas da língua.

Segundo a metodologia proposta por Taylor e Kroch (1998) para o PPCME, a etiquetagem morfológica dos textos constitui o primeiro passo do processo de anotação, servindo de base para a codificação sintática subsequente. Contudo, é importante ressaltar que os textos automaticamente etiquetados são disponibilizados independentemente, uma vez que já contêm por si informações relevantes para estudos da língua. Assim, cada um dos textos deve estar eletronicamente disponível em três formatos: i) ortograficamente transcritos; ii) morfologicamente etiquetado; iii) sintaticamente anotado. O propósito principal do CHPTB é que todos os textos que o compõem, passem por esses três processos.

Iniciado com o nome de Corpus Anotado do Português Histórico Tycho Brahe, o trabalho de Galves (1998) foi uma iniciativa pioneira no âmbito da língua portuguesa e, 20 anos depois, ainda permanece como o maior corpus eletrônico anotado de textos históricos em português. Atualmente, o corpus compreende setenta e seis textos (3.302.696 palavras) que estão disponíveis para pesquisa livre para diferentes objetivos, como versões para leitura, com transcrição conservadora e modernizada e possibilidades de realizações de buscas através de um sistema de anotação linguística em duas etapas: quarenta e cinco textos (2.012.798 palavras) com anotação morfológica e vinte e sete textos (1.234.323 palavras) com anotação sintática (GALVES; ANDRADE; FARIA, 2017). Paixão de Sousa (2014, p. 56-57) apresenta de maneira sucinta o retrospecto das escolhas das obras que hoje compõem o projeto:

A seleção dos documentos começou seguindo os objetivos de Galves

(1998), reunindo um conjunto de textos portugueses escritos por autores

nascidos entre os séculos XVI e XIX como subsídio para estudar mudanças

gramaticais sofridas pelo Português Europeu naquele período; mas, com o

desenvolvimento de projetos subsequentes, o horizonte do corpus se

expandiu no tempo e no espaço, e a coleção passou a incluir obras de

autores brasileiros e africanos, assim como obras representativas de fases

mais recuadas da língua.

 

Como os objetivos iniciais do projeto contemplavam apenas autores portugueses, grande parte das obras que compõem o CHPTB são lusitanas, total de sessenta e cinco obras; o número de textos brasileiros ainda está desproporcional, em relação ao português, total de onze obras. Em relação aos gêneros textuais, o corpus possui dezessete cartas, dois conjuntos de atas, vinte e três textos narrativos, sete textos dissertativos, três gramáticas, nove textos do gênero jornalístico (gazetas ou jornais) e quinze textos dramaturgos.

Com o propósito de contribuir com textos jornalísticos brasileiros e portugueses, o presente trabalhou se pautou na mesma metodologia utilizada no CHPTB para assim ter os textos publicados no Corpus de forma a disponibilizar a toda comunidade científica o acervo do material produzido, possibilitando a busca automática de fenômenos linguísticos.

 

A escolha dos jornais portugueses e

brasileiros

 

Nesta seção, serão apresentados os seis jornais selecionados para a composição de um corpus anotado, morfologicamente e sintaticamente, que contempla o século 19, e a primeira metade do século 20, no Brasil e em Portugal, para estudos de fenômenos linguísticos no decorrer desse período. Buscou-se demonstrar, além de uma preocupação de igualdade temporal, similaridades na constituição dos textos, para que estudos comparativos de fenômenos linguísticos não fossem prejudicados por serem de tipologias muito distintas, uma vez que o gênero jornalístico pode conter várias tipologias textuais (textos de opinião, narrações, anúncios, editoriais, entre outros).

A justificativa pela escolha do século 19, como ponto de partida de formação do corpus, se deve ao fato de que, no Brasil, a impressão de jornais só foi permitida a partir de 1808, quando a corte portuguesa aqui se estabeleceu. Esta data também foi um marco para a criação de instituições de ensino e instituições financeiras na colônia. No âmbito linguístico, estudos, como de Tarallo (1994), apontam o surgimento de uma gramática tipicamente brasileira, a partir do final do século 19. Estudos sobre clíticos, a respeito do português oitocentista, apontam mudanças a partir de autores que nasceram no final do século 18, ou seja, reflexos de seus escritos aparecem no século 19 (PAIXÃO DE SOUSA, 2004).

Em Portugal, o século 19 representa um período bastante significativo da vida social, política, econômica e cultural. Neste século, apareceram os primeiros diários e os primeiros jornais especializados do país, que tratariam não apenas do aspecto político, mas também se destinariam à defesa de interesses sociais, à divulgação de atividades intelectuais, científicas, religiosas e até recreativas (RAFAEL; SANTOS, 1998). Os jornais passam, a partir de então, a ser uma condição estrutural do funcionamento da sociedade liberal em Portugal.

 

Primeira metade do século 19:

A Illustração luso-brazileira e O Recreador

Mineiro

 

A Illustração luso-brazileira teve seu primeiro exemplar publicado em 5 de janeiro de 1856 na cidade de Évora e o último em 31 de dezembro de 1859. Seu proprietário era Antonio José Fernandes Lopes. O periódico tinha o objetivo de promover o progresso das letras, das artes, bem como a divulgação de diversos tipos de conhecimentos ao maior número de leitores possíveis. Os artigos traziam textos literários de ficção, ensaios críticos sobre personalidades contemporâneas portuguesas e estrangeiras, noticiários, textos sobre instituições religiosas, anúncios, propagandas, além de editoriais. Para o presente estudo, foram selecionados os textos que contemplavam a tipologia dissertativa ou mesmo descritiva, tais como os ensaios, editoriais, textos escritos por religiosos ou políticos. Textos narrativos, propagandas e anúncios foram deixados de fora da constituição do corpus.

Em terras brasileiras, o jornal escolhido foi O Recreador Mineiro. A primeira publicação deste periódico foi em 1 de janeiro de 1845 na cidade de Ouro Preto, MG/Brasil, sendo de circulação quinzenal ininterrupta até 15 de junho de 1848, totalizando 84 exemplares. Durante todo seu período de tiragem, o jornal teve como diretor, redator, editor, tipógrafo e dono Bernardo Xavier Pinto de Souza. Os textos selecionados para essa pesquisa foram aqueles que apresentaram caráter dissertativo/opinativo, notícias descritivas ou explicativas, além de editorias, quando presentes. Priorizou-se ainda a escolha por textos que aparecessem assinados por redatores brasileiros natos, uma vez que, na primeira metade do século 19, havia muitos portugueses na cidade de Ouro Preto. Com o propósito de selecionar textos que representassem a escrita de falantes nativos do PB, foram transcritos textos assinados com nomes de bispos, vereadores e demais pessoas influentes que compunham a elite ouropretana. Ao realizar a análise da procedência dos redatores brasileiros, destacaram-se os seguintes nomes como principais colaboradores: Agostinho Antonio Tassara de Pádua, Antonio Alves Pereira Coruja, Manoel José Pires da Silva Pontes, Manoel Machado Nunes.

 

Segunda metade do século 19:

O Manuelinho d´Évora e Jornal Mineiro

 

Em Portugal, O Manuelinho d´ Évora: Folha politica, litterária e humorística. Amicus Socrates, Amicus Plato, sed magis amica veritas é considerado o mais completo repositório histórico da imprensa eborense de século 19 (MONTE, 1978). Era um jornal de âmbito político (ligado à oposição), literário e humorístico, de

impressão semanal, propriedade de Cunha Bravo & Cª2, e tinha por administrador e redator José Matias Carreira Júnior, a quem posteriormente passou a pertencer. Incluía seções de literatura, arte e arqueologia, retratos, caricaturas políticas e imagens de monumentos.

No Brasil, o periódico Jornal Mineiro – orgam republicano, político, literário e noticioso teve sua primeira publicação em um domingo, 14 de novembro de 1897. Possuía tiragem contínua duas vezes por semana: às quartas e aos domingos. O último número desse periódico data de 8 de fevereiro de 1900, totalizando 140 exemplares. Como o próprio subtítulo do jornal diz, os artigos tratavam dos temas de política, religião, literatura e notícias importantes sobre a cidade de Ouro Preto, além de conter muitos anúncios publicitários. O jornal era de caráter totalmente elitista e governista, deixando em evidência suas preferências eleitorais, uma vez que apoiava a elite oligárquica que detinha o poder político da época.

Tanto o Jornal Mineiro quanto o Manuelinho d´Évora se posicionavam e faziam frente em suas reportagens para os candidatos e/ou partidos que os apoiassem. Essa característica facilitou na escolha dos textos de ambos jornais, sendo possível, inclusive, retirar textos com mesmo tema, no entanto, um tratando da política brasileira e o outro da política portuguesa, respectivamente. Foram selecionados também muitos textos escritos por religiosos, que, em ambos jornais, não se mantinham isentos em relação ao tema que era apresentado.

 

Primeira metade do século 20:

Notícias de Évora e O Tribuna de Ouro Preto

 

O periódico Notícias d´Évora – Diário Regionalista da manhã foi fundado pelos senhores Francisco Eduardo Baranhona e o cônego Alfredo César de Oliveira em 8 de setembro de 1900. Este jornal permaneceu circulando por Évora por quase 92 anos, tendo seu último exemplar publicado em 31 de março de 1992. Devido ao grande período de circulação, o jornal passou por vários proprietários e por várias ideologias. Até a implantação da república, os ideais desse periódico estavam ligados ao Partido Regenerador-Liberal, um dos partidos portugueses do rotativismo da Monarquia Constitucional, que alternava no poder com o Partido Progressista.

Especificamente para nosso estudo, selecionamos textos que foram publicados nesse jornal no período de 1945 a 1948. Nesse intervalo, o diretor responsável foi o senhor Joaquim dos Santos Reis (MONTE, 1978). A diversidade de temas publicados, sempre expondo uma opinião crítica a respeito dos assuntos abordados, foi um dos motivos da escolha por esse periódico.

No Brasil, O Jornal Tribuna de Ouro Preto estava sob os auspícios da Sociedade Amigos de Ouro Preto (SAOP), fundada em 1933, e possuía como lema a ausência de “cor política”. Apesar de tal lema, muitos dos seus membros pertenceram e presidiram partidos políticos como, por exemplo, o redator do jornal, Moacyr do Amaral Lisboa, que esteve à frente do Partido Republicano. A Sociedade era composta por importantes membros da elite mineira da época: prefeitos, vereadores, intelectuais, engenheiros, advogados, dentre outros. Promovia eventos sobremodo significativos, como o apoio à criação da Universidade Federal de Ouro Preto (UFOP). O primeiro número do jornal Tribuna de Ouro Preto foi lançado em 3 de junho de 1945. Inicialmente sua tiragem foi quinzenal, mas a partir do décimo número, passou a ser publicado semanalmente. O último número encontrado na Biblioteca Nacional do Rio de Janeiro é de 7 de setembro de 1947, totalizando 44 números do periódico.

Diferentemente de seu contemporâneo português, Notícias d ´Évora, o Tribuna de Ouro Preto teve um período curto de circulação, apenas 2 anos e 3 meses. No entanto, ambos os jornais possuem similaridades, tais como ideologias próximas (republicana) e parecidos estilos de textos selecionados para a composição do corpus (abordagem política de forma crítica e opinativa). Isso lhes atribui uma metodologia de análise comparativa de confiabilidade para futuros estudos comparativos, em relação ao conteúdo e à tipologia.

 

Transcrição do Corpus

Após a seleção dos textos dos jornais, o próximo passo para a elaboração de um corpus, em que seja possível realizar buscas para averiguar fenômenos linguísticos, é a transcrição. Para preparar os textos para transcrição, foi necessário, incialmente, obter todo o conjunto de jornais de maneira digitalizada. O jornal O Recreador Mineiro encontrava-se microfilmado e foi todo digitalizado em três

DVDs pelo projeto 3 Memória da Leitura, na Universidade Estadual de Campinas. O Jornal Mineiro e o Tribuna de Ouro Preto foram digitalizados em seis CDs pelo acervo da Biblioteca Nacional do Rio de Janeiro. Os três jornais portugueses utilizados neste trabalho foram digitalizados em nove CDs pela Biblioteca Nacional de Évora,

em Portugal 4. O conjunto total de transcrições dos textos foi de trezentas mil palavras, cento e cinquenta mil dos jornais brasileiros e cento e cinquenta mil de jornais portugueses.

É importante ressaltar que toda transcrição é uma forma de intervenção no texto original. As transcrições ditas “Edições Diplomáticas” são aquelas que mais se aproximam do texto original, ou seja, são as mais conservadoras: não se abrem as abreviaturas, não se moderniza a escrita das palavras, busca-se a forma mais fiel de cópia. Há ainda as “edições semidiplomáticas” que consistem em um grau de transcrição com intervenção maior, mas ainda considerado como aceitável, pois ainda conserva a maior parte das características linguísticas do texto original. Tanto as edições diplomáticas quanto as edições semidiplomáticas abarcam o objetivo principal de uma edição filológica: “tonar o texto acessível para o leitor especializado de hoje, com a máxima preservação de suas características originais.” (PAIXÃO DE SOUSA; KEPLER; FARIA, 2012, p. 194). A forma de transcrição escolhida para o presente trabalho foi a semidiplomática, ou seja, quando necessário foram realizadas intervenções para adaptar o texto antigo para a digitação moderna. No entanto, buscou-se, ao máximo, manter-se o mais fiel possível ao texto original.

As transcrições dos jornais brasileiros ocorreram no período de janeiro de 2006 a outubro de 2007 de maneira manual por Gravina

(2008) 5. As transcrições dos jornais portugueses ocorreram de setembro de 2010 a novembro de 2011 e foram executadas de duas formas: cinquenta mil palavras de maneira manual e cem mil palavras por dois softwares: OCR-tesseract e gscan2pdf.

Diferentemente dos jornais brasileiros, os jornais portugueses não foram totalmente transcritos de maneira manual. Apenas o periódico Notícias d´ Évora teve parte de seus textos transcritos de forma

manual6. Os outros dois, A illustração luso-brazileira e O Manuelinho d´Évora, foram transcritos integralmente a partir dos softwares mencionados.

O OCR (Optical Character Recognition ou Reconhecimento Ótico de Caracteres) é utilizado para realizar a captação de imagens em código de letras. Apesar de ter esse grande potencial, a maioria das versões de OCR é ineficaz para a transformações de imagem em textos de maneira satisfatória, principalmente para documentos antigos, pois qualquer irregularidade na imagem (letras mais claras, manchas e até mesmo caracteres em itálico) faz com que a leitura ótica não se dê como o esperado e, assim, não se consiga reproduzir com total êxito o texto.

Para a realização desta pesquisa, utilizou-se o OCR-Tesseract na versão para Linux/Ubuntu. A qualidade desse software para capturar imagens e as transformar em texto é imensamente superior comparado a outros. Na intenção de obter um êxito maior na transcrição e assim otimizar o tempo de trabalho, esse software foi utilizado conjuntamente com outro, o Gscan2pdf. A união desses dois softwares possibilitou uma maior agilidade no processo de

transcrição 7.

Figura 1 – Imagem do uso do tesseract e gcans2pdf

 

Fonte: Artsy Tuesday: Gscan2pdf-Frontend for scanning

utilities

A questão, no entanto, é que um texto com edição filológica apresenta incompatibilidades na utilização de ferramentas computacionais capazes de executar marcações automáticas. O uso de ferramentas computacionais, além de facilitar o estudo e análises de textos, ainda possibilita que isso seja feito em maior escala. Diante dessa situação, há o seguinte desafio: como fazer uma transcrição em que se tenha poucas interferências (edições diplomáticas ou semidiplomáticas), mas, ao mesmo tempo, seja possível efetuar anotações utilizando ferramentas computacionais?

O CHPTB trabalha com ferramentas computacionais que caminham para essa harmonia entre filologia e tecnologia: textos o mais próximo do original e possibilidades de buscas linguísticas automáticas. Devido a essas características, na busca de uma harmonia entre a filologia e as buscas linguísticas, o presente estudo optou por utilizar as ferramentas computacionais do CHPTB para composição do corpus linguístico de jornais brasileiros e portugueses.

 

A ferramenta eDictor

O eDictor foi a ferramenta criada para aproveitar as vantagens da anotação em XML (Extended Markup Language) – linguagem de anotação que possibilita modelar o texto em conteúdos eletronicamente legíveis – mas que também permite uma interface, na qual é possível manter o texto antigo com suas características originais. A versão atual dessa ferramenta foi desenvolvida por Paixão de Sousa, Kepler e Faria (2012). Além de facilitar a edição dos textos, a ideia desses autores era criar uma interface capaz de integrar o sistema de edição ao sistema de correção da anotação morfológica. A interface do eDictor possibilita a exibição do conteúdo textual, deixando em segundo plano as marcas de estrutura em linguagem formato XML, embora visíveis, tais como parágrafos, marcas de quebra de páginas, fim de sentenças etc. De maneira geral, sua interface evita o contato direto do usuário com a estrutura XML, mesmo ela estando presente. Logo, possibilita uma maior facilidade de manuseio, sem deixar de utilizar as marcações computacionais necessárias para as análises automáticas. A imagem a seguir apresenta a interface da ferramenta. Há um menu de aplicação para acesso a todas suas funcionalidades e a barra de ferramentas apresenta a possibilidade de várias ações no texto como: voltar, adiantar, apagar, salvar, acrescentar palavras e tantas outras opções que uma edição ou codificação podem exigir.

Figura 2 – Interface gráfica do eDictor

 

Fonte: print screen da tela da ferramenta computacional e-

Dictor.

A versão atual do eDictor pode ser baixada para dois sistemas

operacionais: 7 Linux e Windows (XP/Vista). A parte principal do eDictor é a área do texto, que se encontra subdivida em três partes: Transcrição, Edição e Morfologia (destacada em vermelho na imagem).

A primeira aba, “Transcrição”, é o local onde o texto transcrito receberá toda codificação computacional em linguagem XML, condição essencial para possíveis buscas automáticas nos textos. O texto transcrito pode estar salvo em um arquivo do computador e ser selecionado e importado para essa aba do programa ou do lado direito nesse módulo de transcrição, há uma seção denominada fac-

símile9, onde é possível importar imagens, efetuando-se a transcrição diretamente na ferramenta, adicionando comentários e/ou outras informações necessárias (transcrição semidiplomática). Seja com a importação de arquivos para a ferramenta – ação efetuada por esse trabalho, uma vez que os textos já se encontravam transcritos – seja por transcrições efetuadas na própria ferramenta (como na próxima imagem), o eDictor, ao entrar em contato com as transcrições, é capaz de gerar um arquivo com as marcações em XML. Esse padrão automático XML pode codificar um grande volume de informações estruturais e linguísticas no texto, fazendo uso delas de maneira flexível, a partir de um documento principal que pode ser desmembrado em diferentes níveis para as próximas etapas do trabalho.

Figura 3 – Interface gráfica do eDictor na aba transcrição:

possibilidade de importação de imagens em pdf para realizar

transcrições manuais dos textos

 

Fonte: print screen da tela da ferramenta computacional e-

Dictor.

 

Na aba “Edição”, o texto é exibido com as edições em destaque para que o usuário possa ver tudo que foi modificado de forma automática e, assim, possa realizar alterações quando necessário. Ou seja, nesse módulo é possível fazer alterações até a profundidade desejada (ortográfica, morfológica, sintática, pontuação etc). Especificamente para os jornais selecionados, optou-se em modernizar toda a linguagem utilizada para que as buscas pudessem ser mais dinâmicas ao serem realizadas. No entanto, é possível o pesquisador conservar a grafia ou outros elementos linguísticos na versão original, quando uma versão original for solicitada. Em outras palavras, os textos dos jornais possuem duas possibilidades ao serem gerados em versão HTML: a forma mais próxima do original, por transcrições semidiplomática, e uma versão do texto “modernizada”, elaborada no módulo de edição do eDictor.

Os textos produzidos no século 20 não precisaram de muitas modernizações, diferentemente daqueles produzidos no século 19. Na modernização da grafia, cita-se como exemplo o duplo “l” na escrita do pronome pessoal de terceira pessoa, seja feminino ou masculino, singular ou plural, no jornal Recreador Mineiro. A grafia desse pronome, nesse periódico, era totalmente inconstante, ora era escrito como “ele, eles, ela, elas ” ora como “elle, elles, ella, ellas ”. Se essa inconstância de grafia fosse mantida, traria alguns problemas futuros, pois em uma busca automática por contextos em que aparecessem pronomes pessoais, o usuário deveria estar ciente de todas as possibilidades de grafias, caso contrário, a busca por essa classe gramatical não estaria totalmente contemplada. Assim, ao modernizar a grafia desses pronomes, solvem-se problemas como esses, tendo uma busca mais completa nos dados.

Outro exemplo da importância da modernização para as buscas está na expansão das abreviaturas nos textos. As abreviaturas não expandidas trazem dois problemas para as buscas automáticas: i) falta de padrão de escrita; ii) o uso de ponto entre letras. Como já explicado, a falta de padrão na escrita traz a exigência de um usuário que tenha conhecimento sobre todas as possibilidades de escritas da palavra ou expressão pesquisada, o que, por não ser um procedimento padrão nas buscas, gera resultados incompletos. O segundo problema apontado, sobre o uso de pontuação entre letras nas abreviaturas, diz respeito ao fato de que, ao gerar uma linguagem automática de XML, o eDictor entende que todo ponto diz respeito a uma sentença. Portanto, se a abreviatura não for expandida e, por consequência, os pontos não forem retirados de sua composição, a marcação que ficará na linguagem computacional será da finalização de uma sentença e início de outra. Logo, uma busca automática, que tenha como variável “início/final de sentenças”, estará comprometida. Por exemplo, uma abreviatura como “Sr.” no meio de uma oração indicará o final de uma sentença e início de outra, o que não será condizente com a realidade linguística. A seguir, ilustra-se a interface da aba “edição”, local onde toda modernização pode ser efetuada.

Figura 4 – Interface gráfica do eDictor na aba Edição

 

Fonte: print screen da tela da ferramenta computacional e-

Dictor

É importante enfatizar seja qual for o grau de intervenção editorial aplicado aos textos, todas as etapas do processamento ficam registradas, de modo que a informação sobre a forma original dos termos nos textos não se perde. De fato, nota-se que, se a interface do eDictor simula um editor de textos normal, a ferramenta é, em essência, um anotador, que aplica uma linguagem de marcação sobre os textos, o XML.

Na aba “Morfologia”, assim como na aba “Edição”, o texto apresenta-se com as edições marcadas, mas com o acréscimo da marcação das classes gramaticais das palavras, ou seja, uma anotação morfossintática. Segundo Paixão de Sousa (2014, p. 63), “A anotação morfossintática é hoje a mais automatizada de todas as etapas de anotação no Corpus, sendo realizada pelo programa desenvolvido por Kepler (2006), um analisador morfossintático automático com taxa de acerto de 95%, acoplado ao e-Dictor”. A autora explana ainda que, nesse módulo, é possível corrigir as imprecisões restantes do arquivo. Há siglas convencionadas para as classes morfossintáticas afixadas a cada palavra como se fossem etiquetas. Por isso o analisador automático desse módulo é também chamado de “etiquetador”. Na sequência, a autora demonstra como fazer a correção de uma etiqueta de AD (adjetivo) para N-P (nome, plural).

Figura 5 – e-Dictor: Interface de correção de etiquetação

(destaque: correção de [bananas/ADV] para [bananas/N-P])

 

Fonte: Paixão de Sousa, 2014, p. 64.

A interface da ferramenta é bem intuitiva e facilita o manuseio, não há necessidade de um grande conhecimento sobre programação em XML. Esse tipo de codificação, em meio ao texto, poderia afastar um usuário menos proficiente. Com o eDictor, esse tipo de linguagem é estabelecida inerente ao sistema, possibilitando intervenções quando preciso. Para o uso dessa ferramenta é preciso treinamento e familiarização com os tipos de edições e

etiquetas pré-estabelecidas pelo programa10. O eDictor permitiu que os textos dos jornais, mesmo tendo sido transcritos em versões mais conservadoras (como a semidiplomática), estivessem também disponíveis para realização de buscas automáticas, a partir das intervenções de modernizações realizadas.

 

Corpus Draw/Corpus Search

 

Para efetuar a anotação sintática, assim como acontece com as anotações morfossintáticas, as ferramentas utilizadas também possuem mecanismos automatizados. Primeiro, o texto é submetido a um analisador sintático (parser), que introduz a estrutura sintática projetada a partir das categorias lexicais marcadas para cada palavra pelo etiquetador morfológico.

O CHPTB usa para isso o parser probabilístico desenvolvido por Bickel (2004). O parser precisa de longo treinamento para chegar a uma eficiência satisfatória, tendo em vista que a tarefa de produzir uma anotação sintática automática é mais complexa que a de produzir uma etiquetação morfossintática.

[…] trata-se de construir algoritmos que não apenas reconheçam identidades

em sequências linearmente dispostas, mas ainda, que reconheçam padrões

de agrupamento hierárquico – um “parser”, logo, correções manuais na

anotação automática foram necessárias. (PAIXÃO DE SOUSA, 2014, p. 68).

 

Nessa etapa do processo, também foram introduzidas, de maneira manual, as categorias de coindexações e as categorias vazias. Para tanto, dispôs-se de uma interface gráfica denominada Corpus Draw, em que a sentença anotada morfologicamente pelo eDictor é importada e transformada pela interface em uma estrutura

sintática arbórea (Figura 6). O Corpus Draw, desenvolvido por Bikel

(2004), faz parte do pacote 11 Corpus Search desenvolvido por Randall et al., (2009), ferramenta que possibilita a busca dos fenômenos linguísticos. Nessa interface, é possível realizar toda correção da anotação sintática dos textos em que o parser pode ter gerado de forma equivocada.

Figura 6 – Interface arbórea do Corpus Draw

 

Fonte: print screen da tela da ferramenta computacional

Corpus Draw.

O primeiro passo para efetuar as correções de anotações sintáticas, geradas pelo parse na ferramenta Corpus Draw, foi a necessidade de um treinamento intensivo para se familiarizar com as etiquetas de anotação sintáticas de Corpus Search. Por se tratar de estruturas mais complexas, e específicas ao programa, que as estruturas morfológicas do eDictor, a familiarização com as etiquetas e com as construções sintáticas necessitaram de maior

tempo e dedicação de estudo ao manual disponível no CHPTB11. Essa parte foi essencial no processo, pois apenas com o reconhecimento das etiquetas, será possível realizar os caminhos das buscas para construções sintáticas, caso contrário, se a familiarização for apenas por aspectos morfológicos, as buscas linguísticas só poderão ser realizadas nesse nível.

É importante salientar que anotação sintática realizada nos seis jornais desse estudo não teve como objetivo seguir as tendências de análises discutidas na atualidade na teoria linguística. Seguiu-se o mesmo propósito estabelecido pelo CHPTB: disponibilizar um corpus anotado sintaticamente é obter um maior número possível de estruturas a serem recuperadas automaticamente, e não uma análise linguística, especificamente. Por isso, a importância de se estabelecer critérios sistemáticos para a anotação sintática. Só assim, as buscas serão possíveis.

Após a realização das correções sintáticas de maneira manual, o material encontra-se pronto para realizar buscas de construções sintáticas de forma automática. Os textos, possuindo as marcações de todas as etiquetas morfossintáticas e anotações sintáticas necessárias, permitem, ao pesquisador, elaborar caminhos para as mais diversas buscas linguísticas através da ferramenta Corpus Search. Como estudo de caso para esse trabalho, utilizou-se a seguinte busca: investigar o número de sentenças finitas subordinadas com ordem verbo-sujeito em textos jornalísticos na primeira metade do século 19 no Brasil. Após o estudo do manual e da familiarização com as etiquetas de anotação morfológica e, especialmente, sintática, chegou-se ao seguinte caminho:

(1) VSsubordinada.q

define: port.def

print_indices: t

node: IP*

query: ( IP-SUB iDominates NP-SBJ )

AND ( NP-SBJ iDominates !\*pro\* )

AND ( NP-SBJ iDominates !\*exp\* )

AND ( tns_vb2 precedes NP-SBJ )

 

Em resumo, a busca diz o seguinte: investigue todas as sentenças subordinadas com verbos finitos. Exclua da busca as sentenças subordinadas que possuam sujeitos nulos e expletivos, investigando apenas as sentenças que apresentem a ordem linear verbo-sujeito, ou seja, em que o verbo apareça antes do sujeito. De maneira geral, é isso que se diz. Para elucidar como se chegou na busca, de forma mais técnica, na sequência, será feita a descrição das etiquetas de cada linha da busca.

Para entender como se chegou ao caminho de busca no exemplo (1), é preciso saber que “tns_vb2” (etiqueta na última linha na busca) é um arquivo que contém a descrição de todos os verbos finitos de maneira computacional, para realizar a busca desse contexto nos textos. Toda essa descrição verbal já vem pronta no pacote Corpus Search no CHPTB. É preciso saber também que os códigos básicos da anotação são os parêntesis, […], indicando o limite de cada estrutura e seu encaixamento hierárquico, e as siglas em maiúsculas, (X…), indicando as categorias de cada estrutura. A disposição dos níveis em recuos tabulares pretende apenas facilitar a visualização – em termos computacionais, esse é simplesmente um esquema (X (Y (Z)(W))).

Para rodar uma busca automática em Corpus Search, o arquivo precisa estar salvo em uma extensão “.q”, utilizou-se a ferramenta “bloco de notas” para esse propósito. Logo, em seguida, após o estudo do manual, sabe-se que, obrigatoriamente, todas as buscas deverão conter as seguintes etiquetas, respectivamente, na primeira e segunda linha do caminho: define: port.def e print_indices: t .

A primeira linha da busca define: port.def explicita que, ao realizar a busca, o parser deve dirigir-se ao arquivo que contém as etiquetas com as predefinições usadas no texto. No exemplo, o arquivo que contém as etiquetas com as predefinições tem o nome de port.def. logo, todas as etiquetas colocadas no caminho da busca que estejam no arquivo de predefinições serão localizadas para resultados. A segunda linha, print_indices: t, indica que ao realizar a busca, deseja-se que o fenômeno analisado seja identificado por um índice que permita localizá-lo na árvore. Ou seja, as anotações sintáticas foram elaboradas por módulos com domínios e hierarquias diferentes e deseja-se ver onde se localiza o fenômeno da busca nessa hierarquia.

A existência de símbolo asterisco (*), antes ou após de uma etiqueta, significa que aquela etiqueta pode ter algo que a complemente, como por exemplo, uma coindexação. Assim, voltando à terceira linha da busca no exemplo (1), node: IP* significa que o comando dado para a busca é o seguinte: procure em todos os níveis mais alto da hierarquia de anotação que possua um verbo flexionado (IP = Inflectional Phrase).

Nas linhas seguintes da busca, aparecem as especificações de quais contextos interessam para encontrar o fenômeno linguístico pesquisado. A busca pretendida requer todos os sujeitos (NP-SBJ), que se encontrem foneticamente realizados, e estejam imediatamente dominados por uma sentença finita que seja subordinada (IP-SUB), por isso, a query (investigação) inicia-se: query: (IP-SUB iDominates NP-SBJ ). O sinal de exclamação (!) no caminho da busca significa negação, assim, como o objetivo é encontrar sentenças subordinadas que apresentem a ordem verbo-sujeito (VS), para a busca ficar mais precisa, deve-se retirar as construções de sentenças subordinadas que contenham sujeitos nulos (NP-SBJ \*pro*\ ) e sujeitos expletivos (NP-SBJ \*exp*\), seguidos ou não de coindexações. Para excluir esses contextos : AND ( NP-SBJ iDominates !\*pro\* ) AND ( NP-SBJ iDominates !\*exp\* ). Por fim, a última linha AND ( tns_vb2 precedes NP-SBJ ) diz: encontre as sentenças em que o verbo finito venha antes do sujeito na sentença, uma vez que a ordem linear VS faz parte da busca pretendida.

Após definir a busca, salvá-la na extensão “.q”, VSsubordinada.q . Abriu-se o terminal do computador, utilizando da ferramenta Corpus Search e realizou-se o caminho da busca no arquivo dos textos

etiquetados do Recreador Mineiro. A Figura 7 apresenta a interface do resultado dessa busca.

Figura 7 – Apresentação do resultado da busca

VSsubordinada.q no jornal Recreador Mineiro

 

Fonte: print screen da tela da ferramenta computacional

Corpus Search.

A forma de apresentação dos resultados na interface desse programa é fornecidA forma de apresentação dos resultados na interface desse programa é fornecida de duas formas: i) por estatística, ou seja, pelo número de sentenças encontradas no texto com os critérios de busca elaborados e ii) de forma que se possa ver cada uma das sentenças que foi contabilizada pelo programa. Dessa maneira, não se apresentam apenas os números, mas também a sentença contabilizada. Esse mecanismo facilita a conferência e a revisão dos dados que foram apresentados, se eles realmente estão condizentes com o objetivo da busca efetuada.

No exemplo da busca, foram encontradas 254 sentenças com sujeitos pós-verbais em sentenças finitas subordinadas do total 2390 sentenças subordinadas investigadas. Isso significa dizer que as 2136 sentenças restantes são subordinadas que não apresentam a ordem VS. Ou seja, ou serão SV ou contêm sujeitos nulos (pro) ou contêm sujeitos expletivos (exp) em suas constituições, elementos que foram excluídos na elaboração do caminho da busca. Os resultados foram encontrados em segundos, daí a importância de se ter grandes corpora anotados. Após a elaboração de uma busca, ela pode ser efetuada em qualquer arquivo que esteja seguindo o mesmo padrão das etiquetas utilizadas na busca. É algo prático e soluciona um sério problema encontrado para os pesquisadores da área de linguística histórica, que não dispõem de tempo para conseguir elaborar um corpus confiável e ao mesmo tempo elaborar análises linguísticas, uma vez que os prazos e a exequidade impostos para as pesquisas pela academia necessitam ser cumpridos.

A elaboração do corpus de jornais brasileiros e portugueses, passando por todas as ferramentas computacionais apresentadas nesse trabalho, levou a média de dois anos e meio para ser concluída. A partir desse material, é possível realizar buscas morfossintáticas e de fenômenos sintáticos em mais de 300 mil palavras anotadas, tudo isso em pouco tempo de busca, permitindo ao pesquisador maior tempo de análises aos fenômenos linguísticos e não ao preparo de todo o material para realizar buscas. O preparo de um material confiável é algo essencial, mas é algo sempre demorado e, às vezes, que não é disponibilizado para futuros trabalhos, por isso, deve ser divulgado e incentivado o preparo de textos por meio de ferramentas computacionais.

 

Considerações finais

 

Neste texto, procurou-se demonstrar a constituição de um corpus anotado eletronicamente, a partir da metodologia de um projeto pioneiro de anotação de textos históricos em língua portuguesa, CHPTB, no qual a aliança entre a linguística histórica e a computação foi construída de modo consistente ao longo de muitos anos de trabalho e que nos mostrou como o trabalho em linguística histórica pode ser fascinante e desafiador. A utilização de ferramentas computacionais para a elaboração de grandes corpora anotados de língua vem se firmando como um recurso imprescindível para fazer estudos de mudança linguística, uma vez que requerem além da quantidade, confiabilidade. Estudos desta natureza ajudam a compreender a língua como algo vivo e em constante transformação.

Paixão de Sousa (2004) aponta que estudos históricos realizados com base em textos antigos dependem, antes de tudo, da garantia da fidelidade às formas originais dos textos, sendo este o pilar de sustentação que qualquer estudo linguístico, em qualquer quadro teórico. No caso dos corpora eletrônicos, esse pressuposto fundamental pode ser integrado a outros requisitos, como a necessidade de quantidade, agilidade e automação no trabalho estatístico de seleção de dados. Pode-se dizer ainda que a conjunção dessas vertentes configura o principal desafio do trabalho de edição especializada e análise linguística de textos antigos no meio eletrônico. O trabalho com o texto antigo no âmbito da linguística histórica, nos novos moldes permitidos pela aliança entre a tradição do conhecimento filológico e as inovações do tratamento computacional, tem, portanto, um compromisso ético importante frente a essa nova realidade material do texto.

 

Referências

 

BIKEL, Daniel. On the parameter space of generative lexicalized statistical parsing models. [tese]. Philadelphia: University of Pennsylvania, 2004.

FINGER, Marcelo. Técnicas de otimização da precisão empregadas no etiquetador Tycho Brahe. In: V Encontro para o Processamento Computacional da Língua Portuguesa Escrita e Falada. (PROPOR 2000), Atibaia, SP; 19-22 de novembro de 2000. p. 141-154.

GALVES, Charlotte. Padrões rítmicos, fixação de parâmetros e mudança linguística [projeto de pesquisa]. Campinas: Universidade Estadual de Campinas/Fundação de Amparo à Pesquisa do Estado de São Paulo, 1998. Disponível em:

http://www.tycho.iel.unicamp.br/~tycho/prfpml/fase1. Acesso em: 30 abr. 2018

GALVES, Charlotte; ANDRADE, Aroldo L. de; FARIA, Pablo. Tycho Brahe Parsed Corpus of Historical Portuguese, dec. 2017.

Disponível em: http://www.tycho.iel.unicamp.br/~tycho/corpus/texts. Acesso em: 30 abr. 2018.

GRAVINA, Aline P. 2008. 164 p. A natureza do sujeito nulo na diacronia do PB: estudo de um corpus mineiro (1845-1950). Dissertação (Mestrado em Linguística) – Instituto de Estudos da Linguagem da Universidade Estadual de Campinas, Universidade Estadual de Campinas, 2008.

KEPLER, Fábio N. Modelagem de contextos para aprendizado automático aplicado à análise morfossintática. 2010. 124 p. Tese (Doutorado) – Universidade Estadual de São Paulo, Programa de Pós-Graduação em Ciências da Computação, Instituto de Matemática e Estatística, São Paulo, 2010.

KEPLER, Fábio N. Um etiquetador morfo-sintático baseado em cadeias de Markov de tamanho variável. 2006. 67 p. Dissertação (Mestrado) – Universidade de São Paulo: Programa de Pós-Graduação em Ciência da Computação, Instituto de Matemática e Estatística, São Paulo, 2006.

KEPLER, Fábio N.; FINGER, Marcelo. Part-of-speech tagging of portuguese based on variable length Markov Chains. In: VIEIRA, Renata et al. (ed.). Computational processing of the portuguese language: 7th INTERNACIONAL WORSHOP, PROPOR 2006. Berlin/Heidelberg: Springer Verlag, 2006. p. 248-52.

MONTE, Gil do. O jornalismo eborense (1846-1976). 2. ed. Évora, Portugal, 1978.

PAIXÃO DE SOUSA, Maria C. O Corpus Tycho Brahe: contribuições para as humanidades digitais no Brasil. Filologia e Linguística Portuguesa, São Paulo, v. 16, dez. 2014, p. 53-93.

http://dx.doi.org/10.11606/issn.2176-9419.v16ispep53-93. Acesso em: 30 abr. 2018.

PAIXÃO DE SOUSA, Maria; KEPLER, Fábio; FARIA, Pablo. EDictor: Novas perspectivas na codificação e edição de corpora de textos históricos. In: HEPHERD, Tânia; SARDINHA, Tony; PINTO, Márcia. (org.). Caminhos da Linguística de Corpus. Campinas, SP: Mercado das Letras, 2012. p. 191-223.

PAIXÃO DE SOUSA, Maria C. Língua barroca: sintaxe e história do português nos 1600. 2004. Tese (Doutorado) – Instituto de Estudos da Linguagem, UNICAMP, 2004.

RAFAEL, Gina G.; SANTOS, Manuela. Jornais e revistas portugueses do século XIX. v. 1, Biblioteca Nacional, Lisboa, Portugal, 1998.

RANDALL, Beth; TAYLOR, Ann; KROCH, Anthony. CorpusSearch 2 [programa de computador. Versão: [2]. Data de publicação [2009]. Atualizado em: [20/11/2009]. Disponível em:

http://corpussearch.sourceforge.net/. Acesso em: 30 abr. 2018.

ROCHA, Marco. Relações anafóricas no português falado: uma abordagem baseada em corpus. DELTA, São Paulo, v. 16, n. 2, p. 229-261, 2000.

SARDINHA, Tony B. Linguística de Corpus: histórico e problemática. DELTA, São Paulo, v. 16, n. 2, p. 323-367, 2000.

TARALLO, Fernando L. Diagnosticando uma gramática brasileira. In: M. KATO; I. ROBERTS (ed.). Português Brasileiro: uma viagem diacrônica. Campinas/SP, Editora da Unicamp, 1994, p. 69-105.

TAYLOR, Ann; KROCH, Anthony. The Penn-Helsinki Parsed Corpus of Middle English II. Manuscrito não publicado. Univ. Pensilvânia, 1998.