Análise semântica de audiodescrição em curta-metragem: uma abordagem multimodal a partir da Semântica de Frames

Letícia Dornelas; Maucha Andrade Gamonal; Adriana Silvina Pagano

doi:10.14393/DLv18a2024-66

Authors

Letícia Dornelas UFMG https://orcid.org/0009-0008-7563-7846
Maucha Andrade Gamonal UFMG https://orcid.org/0000-0002-5810-3913
Adriana Silvina Pagano UFMG https://orcid.org/0000-0002-3150-3503

DOI:

https://doi.org/10.14393/DLv18a2024-66

Keywords:

Audiovisual Translation Studies, Audio description, Frame Semantics, FrameNet Brasil, Multimodal semantic annotation

Abstract

This work presents an exploratory study of multimodal semantic annotation based on Frame Semantics (Fillmore, 1982) and Audiovisual Translation Studies. Through a corpus semantically annotated using the FrameNet Brasil methodology for multimodality (Belcavello et al., 2022), the semantic relations of the frames evoked in the transcription of the audio description and the dynamic images (video scenes) of the Brazilian short film Eu não quero voltar sozinho, produced in 2010 by Lacuna Filmes, are analyzed. For this purpose, frames are organized based on root types, which are groupings of structurally similar frames (Ruppenhofer et al., 2016), considering the criteria adopted in the creation of an audio description, according to the Guide for Accessible Audiovisual Productions (Brazil, 2016). The results demonstrate that the elements of the communicative modes simultaneously act in the evocation and invocation of frames, contributing to the meaning in audiovisual work, which by nature is multimodal.

Downloads

Download data is not yet available.

Metrics

Metrics Loading ...

Author Biographies

Letícia Dornelas, UFMG

Mestra em Linguística Aplicada com foco em Estudos da Tradução (UFMG/CAPES).

Maucha Andrade Gamonal, UFMG

Doutora em Linguística pelo Programa de Pós-Graduação em Linguística da Universidade Federal de Juiz de Fora (2017). Atua como professora de Língua Portuguesa. Atualmente, é bolsista de Pós-Doutorado na Universidade Federal de Minas Gerais (UFMG).

Adriana Silvina Pagano, UFMG

Professora titular de Linguística Aplicada da Universidade Federal de Minas Gerais, onde desenvolve pesquisa em Estudos da Tradução e Linguística Computacional.

References

CABITZA, F.; CAMPAGNER, A.; BASILE, V. Toward a Perspectivist Turn in Ground Truthing for Predictive Computing. In: Proceedings of the AAAI Conference on Artificial Intelligence, 37(6), 6860-6868, 2023. DOI https://doi.org/10.1609/aaai.v37i6.25840

BATEMAN, J.; WILDFEUER, J.; HIIPPALA, T. Multimodality: Foundations, research and analysis–A problem-oriented introduction. Walter de Gruyter GmbH & Co KG. 2017. DOI https://doi.org/10.1515/9783110479898

BELCAVELLO, F.; VIRIDIANO, M.; MATOS, E.; TORRENT, T. T. Charon: A FrameNet Annotation Tool for Multimodal Corpora. In: Proceedings of the 16th Linguistic Annotation Workshop (LAW-XVI) within LREC2022. Marseille: ELRA, 2022. p. 91-96.

BELCAVELLO, F. FrameNet annotation for multimodal corpora: devising a methodology for the semantic representation of text-image interactions in audiovisual productions. 135 f. Tese (Doutorado). Universidade Federal de Juiz de Fora, Faculdade de Letras. Programa de Pós-graduação em Linguística, Juiz de Fora. 2023.

CZULO, O. Frame Semantics. In: ENTI (Enciclopédia de Tradução e Interpretação). Granada. Associação Ibérica dos Estudos de Tradução e Interpretação. 2024. Disponível em https://www.aieti.eu/enti/frame_semantics_ENG/:.

DE SOUZA, D. S.; PAGANO, A. S.; GAMONAL, M. A. A audiodescrição sob a perspectiva da Semântica de Frames: um estudo exploratório. Revista Gatilho, 23, 2022. DOI https://doi.org/10.34019/1808-9461.2022.v23.38564

EU NÃO QUERO VOLTAR SOZINHO. Direção: Daniel Ribeiro. Produção: Lacuna Filmes. Brasil: [s. n.], 2010. Disponível em: https://www.youtube.com/watch?v=FkNoXubidmk.

FILLMORE, C. Frame semantics. In: Linguistics in the Morning Calm. Seul: Hanshin Publishing Co., 1982. p.111-137.

FILLMORE, C. Frames and the semantics of understanding. In: Quaderni di Semantica. v. 6, n. 2, p. 222-254, 1985.

FILLMORE, C. J.; BAKER, C. A frames approach to semantic analysis. In: HEINE, B.; NARROG, H. (ed.). The Oxford Handbook of Linguistic Analysis. 1. ed. Oxford: Oxford University Press, 2010. p. 313-340. DOI https://doi.org/10.1093/oxfordhb/9780199544004.013.0013

FRAMENET BRASIL: Webtool 4.0, 2024. Plataforma de anotação. Disponível em: https://webtool.frame.net.br. Acesso em: 02, set. de 2024.

GAMONAL, M. Copa 2014 FrameNet Brasil: diretrizes para a constituição de um dicionário eletrônico trilíngue a partir da análise de frames da experiência turística. 2013. 145 f. Dissertação (Mestrado em Linguística). Faculdade de Letras, Universidade Federal de Juiz de Fora, Juiz de Fora, 2013.

HIIPPALA, T. Genre analysis. Multimodal genre analysis, University of Helsinki, p. 2-14, 2014. DOI https://doi.org/10.1515/9781614511175.111

HOLMES, J. S. The Name and Nature of Translation Studies. In: VENUTI, L. The Translation Studies Reader. Londres: Routledge, 2000. p. 172-185.

MAYER, F. Imagem como símbolo acústico: a semiótica aplicada à prática da audiodescrição. 2012. 147 f. Dissertação (Mestrado em Comunicação) - Pontifícia Universidade Católica de Minas Gerais, [S. l.], 2012.

MUNDAY, J. Main issues of translation studies. In: MUNDAY, J. (ed.) Introducing Translation Studies: Theories and Applications. 4. ed. Londres: Routledge, 2016. p. 7-27. DOI https://doi.org/10.4324/9781315691862

NAVES, S. B.; M., C.; ALVES, S. F.; ARAÚJO, V. L. S. (org.). Guia para Produções Audiovisuais Acessíveis. Brasília: Secretaria do Audiovisual do Ministério da Cultura, 2016.

PAGANO, A. S.; TEIXEIRA, A. L. R.; MAYER, F. A. Accessible Audiovisual Translation. In: The Oxford Handbook of Translation and Social Practices. Oxford University Press, 2020, p. 66-82. DOI https://doi.org/10.1093/oxfordhb/9780190067205.013.4

RUPPENHOFER, J.; ELLSWORTH, M.; PETRUCK, M. R. L.; JOHNSON, C. R.; SCHEFFCZYK, J. FrameNet II: Extended theory and practice. Berkeley: International Computer Science Institute, 2016.

SANTOS, Z. B.; PIMENTA, S. M. O. Da semiótica social à multimodalidade: a orquestração de significados. CASA: Cadernos de Semiótica Aplicada, [S. l.], p. 295 - 324, 2014. DOI https://doi.org/10.21709/casa.v12i2.7243

TORRENT, T. T.; LORENZI, A.; MATOS, E. E. S.; BELCAVELLO, F.; VIRIDIANO, M.; GAMONAL, M. A. Lutma: a Frame-Making Tool for Collaborative FrameNet Development. In: Proceedings of the 1st Workshop on Perspectivist Approaches to NLP, Marselha, p. 100-107, 2022.

TORRENT, T. T.; ELLSWORTH, M. Behind the Labels: Criteria for Defining Analytical Categories in FrameNet Brasil. Veredas: Frame Semantics and Its Technological Applications, Juiz de Fora, v. 14, n. 1, p. 44-65, 2013.

VIRIDIANO, M.; ALMEIDA, A. L.; TORRENT, T. T.; MATOS, E. E.; PAGANO, A. S.; SIGILIANO, N. S.; GAMONAL, M. A.; ABREU, H. A.; DUTRA, L. V.; SAMAGAIO, M. M.; PINTO, M. C.; CAMPOS, F.; BRAZ, G. A.; MAZZEI, B.; OLIVEIRA, M. F.; LUZ, A. C. L.; RUIZ, L. P.; XAVIER, J. B.; PESTANA, A.; COSTA, J.; RABELO, I.; SILVA, A. B.; ROZA, R.; MOTA, M. S.; OLIVEIRA, I.; FREITAS, M. H. P. Framed Multi30K: A Frame-Based Multimodal-Multilingual Dataset. In: Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). Torino: ELRA/ICCL, p. 7438 – 7449, 2024.