当代外语研究

当代外语研究 >

2025 , Vol. 25 >Issue 3: 119 - 128

DOI: https://doi.org/10.3969/j.issn.1674-8921.2025.03.011

人工智能与外语教育

人工智能时代的多模态话语研究:机遇与路径

  • 李战子 ,
  • 韩泽婷
展开
  • 1.国防科技大学,南京, 210012
    2.湖南工程学院,湘潭, 411100
李战子,博士,国防科技大学外国语学院教授、博士生导师。主要研究方向为功能语言学、话语分析
*韩泽婷,国防科技大学外国语学院博士研究生、湖南工程学院外国语学院讲师。主要研究方向为功能语言学、话语分析。电子邮箱:hanzeting@hnie.edu.cn

网络出版日期: 2025-05-16

基金资助

*2023年湖南省教育厅科学研究项目 “中美国家身份互建对比研究——基于两国学者评论话语的分析”(23C0261)

收起

Exploring Multimodal Discourse in the AI Age: Opportunities and Prospects

  • LI Zhanzi ,
  • HAN Zeting
Expand

Online published: 2025-05-16

Fold

摘要

随着生成式AI的发展,社会符号学视角下的多模态话语研究迎来了新的机遇与挑战。本文通过梳理国内外多模态研究的新进展,探讨AI技术在社会符号学研究中的应用及其影响。研究表明,AI在弥补多模态话语研究方法论不足的同时,有助于促进多模态语类创新,并推动社会符号学理论向注重传播各要素的意义交换过程的转向。面对AI在共情力和多模态理解方面的局限,未来应该通过构建和谐的人机协作关系,打破学科壁垒,丰富多模态话语理论的阐释。

关键词： 社会符号学; 人工智能; 生成式AI; 多模态话语; 数字语类

本文引用格式

李战子 , 韩泽婷 . 人工智能时代的多模态话语研究:机遇与路径[J]. 当代外语研究, 2025 , 25(3) : 119 -128 . DOI: 10.3969/j.issn.1674-8921.2025.03.011

Abstract

With the rise of generative AI, social semiotic multimodality studies face new opportunities and challenges. This paper reviews recent developments in multimodal researches to explore the application and impacts of AI technologies in social semiotics. Our findings show that AI helps overcome methodological limitations in multimodal discourse research, stimulates innovation in multimodal genres, and contributes to a paradigm shift in social semiotics theory—one that considers all communicative elements in the dynamic meaning exchange process. To address AI’s limitations in empathy and multimodal comprehension, future efforts should focus on building harmonious human-AI collaboration, encouraging interdisciplinary work and enriching the interpretation of multimodal discourse theory.

Key words： social semiotics; artificial intelligence; GAI; multimodal discourse; digital genre

参考文献

[1] Aiello G. & T. van Leeuwen. 2023. Michel Pastoureau and the history of visual communication[J]. Visual Communication 22(1):27-45.
[2] Bateman J. A. 2022. Multimodality, where next? Some meta-methodological considerations[J]. Multimodality & Society 2(1): 41-63.
[3] Bewersdorff A., C. Hartmann M. Hornberger, et al. 2025. Taking the next step with generative artificial intelligence: The transformative role of multimodal large language models in science education[J]. Learning and Individual Differences 118: 102601-102601.
[4] Halliday M. A. K. 1978. Language as Social Semiotic: The Social Interpretation of Language and Meaning[M]. London: Edward Arnold.
[5] Han Y. & B. E. Smith. 2023. An ecological perspective on the use of memes for language learning[J]. Language Learning and Technology 27(2):155-175.
[6] Kress G. & T. van Leeuwen. 1996. Reading Images: The Grammar of Visual Design[M]. London: Routledge.
[7] Kress G. & T. van Leeuwen. 2001. Multimodal Discourse: The Modes and Media of Contemporary Communication[M]. London: Hodder Arnold.
[8] Lee Y.-J. 2023. Language learning affordances of Instagram and TikTok[J]. Innovation in Language Learning and Teaching 17(2): 408-423.
[9] Pratschke B. M. 2024. Generative AI and Education: Digital Pedagogies, Teaching Innovation and Learning Design[M]. Berlin & London: Springer Nature.
[10] Polli C. & M. G. Sindoni. 2024. Multimodal computation or interpretation? Automatic vs. critical understanding of text-image relations in racist memes in English[J]. Discourse Context & Media 57: 100755-100755.
[11] Shirahata M., M. Lahti & M. Siitonen. 2023. Language ideologies in a Finnish university student union’s Facebook communication practices[J]. Social Semiotics 35(1): 114-132.
[12] St?ckl H. 2020. Linguistic multimodality-multimodal linguistics:A state-of-the-art sketch[A]. In J. Wildfeuer, J. Pflaeging, J. A. Bateman. et al. (eds.). Multimodality: Disciplinary Thoughts and the Challenge of Diversity[C]. Berlin, Boston: De Gruyter. 41-68.
[13] Valeiras-Jurado J. & E. Bernad-Mechó. 2022. Modal density and coherence in science dissemination: Orchestrating multimodal ensembles in online ted talks and YouTube science videos[J]. Journal of English for Academic Purposes 58(1): 101118-101118.
[14] Westberg G. & G. Kv?le. 2024. The generic uniqueness of ai imagery: A critical approach to DALLE as semiotic technology[J]. Discourse & Society: 1-24.
[15] 陈凯泉、 张春雪、 吴玥玥、 等. 2019. 教育人工智能(EAI)中的多模态学习分析、适应性反馈及人机协同[J]. 远程教育杂志 37(5): 24-34.
[16] 崔中良. 2024. 通感、具身与意识:人机交互实现的感知基础[J]. 湖北大学学报(哲学社会科学版) 51(2): 143-152.
[17] 胡易容、 马翾昂、 尹婧雯. 2024. 意义理论再出发:2023年传播符号学研究前沿综述[J]. 新闻界(1): 59-68.
[18] 胡钰. 2020. 正确面对人工智能新闻业的崛起[N]. 中国社会科学报(8-06):A30.
[19] 刘海涛. 2024. 从语言数据到语言智能——数智时代对语言研究者的挑战[J]. 中国外语 21(5): 60-66.
[20] 梅冰. 2024. 师范生对人工智能赋能外语教学接受度探析[J]. 当代外语研究(2): 89-99.
[21] 欧志刚、 刘玉屏、 覃可、 等. 2024. 人工智能多模态教学资源的生成与评价——基于AIGC在国际中文教育的应用[J]. 现代教育技术 34(9): 37-47.
[22] 钱锋、 董毅敏、 张铁明、 等. 2023. 元宇宙多模态、跨模态内容时代的科技出版理论探讨与实践研究[J]. 中国科技期刊研究 34(7): 902-908.
[23] 王建民、 曹静. 2020. 人类学的多模态转向及其意义[J]. 民族研究(4): 61-73, 139-140.
[24] 杨凝. 2022. 国际视野下教育机器人的研究现状与发展趋势——基于对25项系统化文献综述的再综述[J]. 现代教育技术 32(6): 122-126.
[25] 袁毓林. 2024. ChatGPT语境下语言学的挑战和出路[J]. 现代外语(4): 1-6.
[26] 张敏、 张可、 张东鑫. 2024. 政务社交媒体中公众情感治理:理论框架与实施策略[J]. 情报科学(5):1-21.
[27] 赵星植. 2021. 社会符号学的兴起与前景:一个学术史的回顾[J]. 重庆广播电视大学学报 33(5): 3-9.
Options
文章导航

/

〈 〉