Avaliação de LLMs na identificação de sinalizadores discursivos em textos jornalísticos anotados com RST

Roana Rodrigues; Paula Christina Figueira Cardoso; Jackson Wilke da Cruz Souza

doi:10.14393/LL63-v42S-2026-11

Authors

Roana Rodrigues Universidade Federal de Sergipe Author https://orcid.org/0000-0002-7748-8716
Paula Christina Figueira Cardoso Universidade Federal do Pará Author https://orcid.org/0000-0003-3621-8960
Jackson Wilke da Cruz Souza Universidade Federal da Bahia Author https://orcid.org/0000-0003-1881-6780

DOI:

https://doi.org/10.14393/LL63-v42S-2026-11

Keywords:

Rhetorical Structure Theory, Discourse signals, Large Language Models, Corpus annotation, Natural Language Processing

Abstract

In this study, we investigated the applicability of Large Language Models (LLMs) in the annotation of signal markers (SMs) that contribute to the identification of coherence relations in Brazilian Portuguese news texts, annotated according to the Rhetorical Structure Theory (RST). We used the GPT-4 and LLaMA-4 models to analyze three rhetorical relations in the CSTNews corpus, previously annotated by human experts. The comparative analysis revealed a significant convergence in the identification of SMs considered prototypical of each relation. GPT-4 produced more fine-grained annotations, including SMs that did not directly contribute to identifying the relation, whereas LLaMA-4 generated more concise annotations, predominantly assigning single SMs. The models also suggested potential new, non-catalogued signals. We concluded that, although they do not replace human annotation, LLMs can serve as auxiliary tools, optimizing time and enabling the expansion of linguistic analysis in computational contexts.

Downloads

Download data is not yet available.

Author Biographies

Roana Rodrigues, Universidade Federal de Sergipe

Professora do Departamento de Letras Estrangeiras e do Programa de Pós-Graduação em Letras da Universidade Federal de Sergipe (UFS). Doutora em Linguística pela Universidade Federal de São Carlos (UFSCar). Pesquisa, principalmente, sobre o comportamento sintático-semântico de construções verbais de variantes das línguas portuguesa e espanhola, e tem interesse nas áreas de processamento de linguagem natural e estudos do léxico.
Paula Christina Figueira Cardoso, Universidade Federal do Pará

Professora Adjunta da Faculdade de Computação da Universidade Federal do Pará (UFPA). Doutora em Ciência da Computação pelo Instituto de Ciências Matemáticas e de Computação na Universidade de São Paulo. Atua na área de processamento de linguagem natural.
Jackson Wilke da Cruz Souza, Universidade Federal da Bahia

Professor na Universidade Federal da Bahia (UFBA), vinculado ao Instituto de Ciência, Tecnologia e Inovação (ICTI) e ao Programa de Pós-Graduação em Língua e Cultura (PPGLinC/UFBA). Doutor em Linguística pela Universidade Federal de São Carlos (UFSCar), com especialização em Processamento de Linguagem Natural (PLN) e Inteligência Artificial.

References

ACHIAM J. et al. GPT-4 technical report. Cornell University. arXiv. 10.48550/arXiv.2303.08774, 2024. DOI: https://doi.org/10.48550/arXiv.2303.08774.

ALUÍSIO, S. M.; ALMEIDA, G. M. B. O que é e como se constrói um corpus? Lições aprendidas na compilação de vários corpora para pesquisa linguística. Calidoscópio, v. 4, n. 3, p. 156-178, 2006.

BARBOSA, B. K. S.; CAMPELO, C. E. C. LLMs as Tools for Evaluating Textual Coherence: A Comparative Analysis. In: Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL). SBC, 2024. p. 278-287. DOI: https://doi.org/10.5753/stil.2024.245379.

CARDOSO, P. C. F. et al. CSTNews: A discourse-annotated corpus for single and multi-document summarization of news texts in Brazilian Portuguese. In: Proceedings of the 3rd RST Brazilian Meeting. Cuiabá/Brazil, 2011. p. 88-105.

CARDOSO, P. et al. A Linguagem em Foco: Anotação de Sinalizadores Discursivos em Textos Jornalísticos. In: Anais do Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL). SBC, 2024. p. 247-256. DOI: https://doi.org/10.5753/stil.2024.245329.

CHAN, C.; CHENG, J.; WANG, W.; JIANG, Y.; FANG, T.; LIU, X.; SONG, Y. Exploring the potential of CHATGPT on sentence level relations: A focus on temporal, causal, and discourse relations. In: Findings of the Association for Computational Linguistics: EACL 2024. 2024. p. 684-721.

DANTAS, E.; BÁRBARA, L. D. J. S.; PEREIRA, M. A.; GAMA, N. S.; ALMEIDA, T. J. A.; SOUZA, J. W. D. C.; CARDOSO, P. C. F.; RODRIGUES, R. Manual de anotação de sinalizadores discursivos em textos jornalísticos. Relatório Técnico do Núcleo Interinstitucional de Linguística Computacional, n. 447, 2024. Disponível em: https://repositorio.usp.br/item/003207370. Acesso em: 20 mar. 2025.

DAS, D.; TABOADA, M. RST Signalling Corpus: A corpus of signals of coherence relations. Language Resources and Evaluation, v. 52, p. 149-184, 2018. DOI: https://doi.org/10.1007/s10579-017-9383-x.

DAVIES, M. The Corpus of Contemporary American English (COCA). 2008. Disponível em: https://www.english-corpora.org/coca/. Acesso em: 20 mar. 2025.

HUANG, Q.; TAO, M.; AN, Z.; ZHANG, C.; JIANG, C.; CHEN, Z.; WU, Z.; FENG, Y. Lawyer LLaMA technical report. arXiv 10.48550/arXiv.2303.08774, 2023. DOI: DOI: https://doi.org/10.48550/arXiv.2305.15062.

LAI, A.; TETREAULT, J. Discourse coherence in the wild: A dataset evaluation and methods. In: Proceedings of the 19th Annual SIGdial Meeting on Discourse and Dialogue, 2018. p. 214–223. DOI: https://aclanthology.org/W18-5023/.

MANN, W. C.; THOMPSON, S. A. Rhetorical structure theory: A theory of text organization. Los Angeles: University of Southern California, Information Sciences Institute, p. 87-190, 1987.

MIKKELSEN, L. F.; KINCH, O.; PEDERSEN, A. J.; LACROIX, O. Ddisco: A discourse coherence dataset for danish. In: Proceedings of the 13th Language Resources and Evaluation Conference (LREC), 2022. p. 1234–1243.

MUERMANS, T. C.; KOSSEIM, L. A BERT-Based approach for multilingual discourse connective detection. In: International Conference on Applications of Natural Language to Information Systems. Cham: Springer International Publishing, 2022. p. 449-460. https://doi.org/10.1007/978-3-031-08473-7_41.

NASUTION, A. H.; ONAN, A. ChatGPT label: Comparing the quality of human-generated and LLM-generated annotations in low-resource language NLP tasks. IEEE Access, v. 12, p. 71876-71900, 2024. DOI: https://doi.org/10.1109/ACCESS.2024.3402809.

PARDO, T. A. S. Métodos para análise discursiva automática. Tese (Doutorado em Ciência da Computação) – Universidade de São Paulo, São Carlos, 2005. DOI: https://doi.org/10.11606/T.55.2005.tde-29082005-172336.

SIVARAJKUMAR, S.; KELLEY, M.; SAMOLYK‑MAZZANTI, A.; VISWESWARAN, S.; WANG, Y. An empirical evaluation of prompting strategies for large language models in zero-shot clinical natural language processing: algorithm development and validation study. JMIR Medical Informatics, v. 12, p. e55318, 2024. DOI: https://doi.org/10.2196/55318.

SOUZA, J. W. C.; CARDOSO, P. C. F.; RODRIGUES, R. Taxonomy of Discourse Signals for RST Relations: A Study in a News Corpus. Revista Brasileira de Linguística Aplicada, 2025. DOI: https://doi.org/10.1590/1984-6398202549793.

WANG, X.; KIM, H.; RAHMAN, S.; MITRA, K.; MIAO, Z. Human-LLM collaborative annotation through effective verification of LLM labels. In: Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems. 2024. p. 1-21. DOI: https://doi.org/10.1145/3613904.3641960.

ZELDES, A. rstWeb-a browser-based annotation interface for Rhetorical Structure Theory and discourse relations. In: Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations. 2016. p. 1-5.

ZELDES, A.; AOYAMA, T.; LIU, Y. J.; PENG, S.; DAS, D.; GESSLER, L. eRST: A Signaled Graph Theory of Discourse Relations and Organization. Computational Linguistics, v. 51, n. 1, p. 23-72, 2024. DOI: https://doi.org/10.1162/coli_a_00538.