Avaliação de LLMs na identificação de sinalizadores discursivos em textos jornalísticos anotados com RST

Roana Rodrigues; Paula Christina Figueira Cardoso; Jackson Wilke da Cruz Souza

doi:10.14393/LL63-v42S-2026-11

Autores

Roana Rodrigues Universidade Federal de Sergipe Autor https://orcid.org/0000-0002-7748-8716
Paula Christina Figueira Cardoso Universidade Federal do Pará Autor https://orcid.org/0000-0003-3621-8960
Jackson Wilke da Cruz Souza Universidade Federal da Bahia Autor https://orcid.org/0000-0003-1881-6780

DOI:

https://doi.org/10.14393/LL63-v42S-2026-11

Palavras-chave:

Rhetorical Structure Theory, Sinalizadores discursivos, Large Language Models, Anotação de corpus, Processamento de Linguagem Natural

Resumo

Neste estudo, investigamos a aplicabilidade de Large Language Models (LLMs) na anotação de sinalizadores discursivos (SDs) que contribuem com a identificação de relações de coerência em textos jornalísticos do português brasileiro, anotados segundo a Rhetorical Structure Theory (RST). Utilizamos os modelos GPT-4 e LLaMA-4 para analisar três relações retóricas presentes no corpus CSTNews, previamente anotado por especialistas humanos. A análise comparativa revelou uma convergência expressiva quanto à identificação de SDs considerados prototípicos de cada relação. O GPT-4 apresentou anotações mais granulares, incluindo SDs que não contribuíam diretamente para a identificação da relação; já o LLaMA-4 produziu anotações mais sucintas, com predominância de SDs únicos. Os modelos sugeriram possíveis novos sinalizadores não catalogados. Concluímos que, embora não substituam a anotação humana, os LLMs podem atuar como ferramentas auxiliares, otimizando o tempo e possibilitando a ampliação da análise linguística em contextos computacionais.

Downloads

Os dados de download ainda não estão disponíveis.

Biografia do Autor

Roana Rodrigues, Universidade Federal de Sergipe

Professora do Departamento de Letras Estrangeiras e do Programa de Pós-Graduação em Letras da Universidade Federal de Sergipe (UFS). Doutora em Linguística pela Universidade Federal de São Carlos (UFSCar). Pesquisa, principalmente, sobre o comportamento sintático-semântico de construções verbais de variantes das línguas portuguesa e espanhola, e tem interesse nas áreas de processamento de linguagem natural e estudos do léxico.
Paula Christina Figueira Cardoso, Universidade Federal do Pará

Professora Adjunta da Faculdade de Computação da Universidade Federal do Pará (UFPA). Doutora em Ciência da Computação pelo Instituto de Ciências Matemáticas e de Computação na Universidade de São Paulo. Atua na área de processamento de linguagem natural.
Jackson Wilke da Cruz Souza, Universidade Federal da Bahia

Professor na Universidade Federal da Bahia (UFBA), vinculado ao Instituto de Ciência, Tecnologia e Inovação (ICTI) e ao Programa de Pós-Graduação em Língua e Cultura (PPGLinC/UFBA). Doutor em Linguística pela Universidade Federal de São Carlos (UFSCar), com especialização em Processamento de Linguagem Natural (PLN) e Inteligência Artificial.

Referências

ACHIAM J. et al. GPT-4 technical report. Cornell University. arXiv. 10.48550/arXiv.2303.08774, 2024. DOI: https://doi.org/10.48550/arXiv.2303.08774.

ALUÍSIO, S. M.; ALMEIDA, G. M. B. O que é e como se constrói um corpus? Lições aprendidas na compilação de vários corpora para pesquisa linguística. Calidoscópio, v. 4, n. 3, p. 156-178, 2006.

BARBOSA, B. K. S.; CAMPELO, C. E. C. LLMs as Tools for Evaluating Textual Coherence: A Comparative Analysis. In: Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL). SBC, 2024. p. 278-287. DOI: https://doi.org/10.5753/stil.2024.245379.

CARDOSO, P. C. F. et al. CSTNews: A discourse-annotated corpus for single and multi-document summarization of news texts in Brazilian Portuguese. In: Proceedings of the 3rd RST Brazilian Meeting. Cuiabá/Brazil, 2011. p. 88-105.

CARDOSO, P. et al. A Linguagem em Foco: Anotação de Sinalizadores Discursivos em Textos Jornalísticos. In: Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL). SBC, 2024. p. 247-256. DOI: https://doi.org/10.5753/stil.2024.245329.

CHAN, C.; CHENG, J.; WANG, W.; JIANG, Y.; FANG, T.; LIU, X.; SONG, Y. Exploring the potential of CHATGPT on sentence level relations: A focus on temporal, causal, and discourse relations. In: Findings of the Association for Computational Linguistics: EACL 2024. 2024. p. 684-721.

DANTAS, E.; BÁRBARA, L. D. J. S.; PEREIRA, M. A.; GAMA, N. S.; ALMEIDA, T. J. A.; SOUZA, J. W. D. C.; CARDOSO, P. C. F.; RODRIGUES, R. Manual de anotação de sinalizadores discursivos em textos jornalísticos. Relatório Técnico do Núcleo Interinstitucional de Linguística Computacional, n. 447, 2024. Disponível em: https://repositorio.usp.br/item/003207370. Acesso em: 20 mar. 2025.

DAS, D.; TABOADA, M. RST Signalling Corpus: A corpus of signals of coherence relations. Language Resources and Evaluation, v. 52, p. 149-184, 2018. DOI: https://doi.org/10.1007/s10579-017-9383-x.

DAVIES, M. The Corpus of Contemporary American English (COCA). 2008. Disponível em: https://www.english-corpora.org/coca/. Acesso em: 20 mar. 2025.

HUANG, Q.; TAO, M.; AN, Z.; ZHANG, C.; JIANG, C.; CHEN, Z.; WU, Z.; FENG, Y. Lawyer LLaMA technical report. arXiv 10.48550/arXiv.2303.08774, 2023. DOI: DOI: https://doi.org/10.48550/arXiv.2305.15062.

LAI, A.; TETREAULT, J. Discourse coherence in the wild: A dataset evaluation and methods. In: Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, 2018. p. 214–223. DOI: https://aclanthology.org/W18-5023/.

MANN, W. C.; THOMPSON, S. A. Rhetorical structure theory: A theory of text organization. Los Angeles: University of Southern California, Information Sciences Institute, p. 87-190, 1987.

MIKKELSEN, L. F.; KINCH, O.; PEDERSEN, A. J.; LACROIX, O. Ddisco: A discourse coherence dataset for danish. In: Proceedings of the 13th Language Resources and Evaluation Conference (LREC), 2022. p. 1234–1243.

MUERMANS, T. C.; KOSSEIM, L. A BERT-Based approach for multilingual discourse connective detection. In: International Conference on Applications of Natural Language to Information Systems. Cham: Springer International Publishing, 2022. p. 449-460. https://doi.org/10.1007/978-3-031-08473-7_41.

NASUTION, A. H.; ONAN, A. ChatGPT label: Comparing the quality of human-generated and LLM-generated annotations in low-resource language NLP tasks. IEEE Access, v. 12, p. 71876-71900, 2024. DOI: https://doi.org/10.1109/ACCESS.2024.3402809.

PARDO, T. A. S. Métodos para análise discursiva automática. Tese (Doutorado em Ciência da Computação) – Universidade de São Paulo, São Carlos, 2005. DOI: https://doi.org/10.11606/T.55.2005.tde-29082005-172336.

SIVARAJKUMAR, S.; KELLEY, M.; SAMOLYK‑MAZZANTI, A.; VISWESWARAN, S.; WANG, Y. An empirical evaluation of prompting strategies for large language models in zero-shot clinical natural language processing: algorithm development and validation study. JMIR Medical Informatics, v. 12, p. e55318, 2024. DOI: https://doi.org/10.2196/55318.

SOUZA, J. W. C.; CARDOSO, P. C. F.; RODRIGUES, R. Taxonomy of Discourse Signals for RST Relations: A Study in a News Corpus. Revista Brasileira de Linguística Aplicada, 2025. DOI: https://doi.org/10.1590/1984-6398202549793.

WANG, X.; KIM, H.; RAHMAN, S.; MITRA, K.; MIAO, Z. Human-LLM collaborative annotation through effective verification of LLM labels. In: Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems. 2024. p. 1-21. DOI: https://doi.org/10.1145/3613904.3641960.

ZELDES, A. rstWeb-a browser-based annotation interface for Rhetorical Structure Theory and discourse relations. In: Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations. 2016. p. 1-5.

ZELDES, A.; AOYAMA, T.; LIU, Y. J.; PENG, S.; DAS, D.; GESSLER, L. eRST: A Signaled Graph Theory of Discourse Relations and Organization. Computational Linguistics, v. 51, n. 1, p. 23-72, 2024. DOI: https://doi.org/10.1162/coli_a_00538.