人工智能时代的多模态话语研究:机遇与路径

doi:10.3969/j.issn.1674-8921.2025.03.011

当代外语研究 ›› 2025, Vol. 25 ›› Issue (3): 119-128.doi: 10.3969/j.issn.1674-8921.2025.03.011

人工智能时代的多模态话语研究:机遇与路径

李战子¹, 韩泽婷¹^,²()

1.国防科技大学,南京, 210012
2.湖南工程学院,湘潭, 411100

出版日期:2025-06-28 发布日期:2025-05-16
通讯作者: 韩泽婷 E-mail:hanzeting@hnie.edu.cn
作者简介:李战子,博士,国防科技大学外国语学院教授、博士生导师。主要研究方向为功能语言学、话语分析
基金资助:
^*2023年湖南省教育厅科学研究项目 “中美国家身份互建对比研究——基于两国学者评论话语的分析”(23C0261)

Exploring Multimodal Discourse in the AI Age: Opportunities and Prospects

LI Zhanzi¹, HAN Zeting¹^,²()

Online:2025-06-28 Published:2025-05-16
Contact: HAN Zeting E-mail:hanzeting@hnie.edu.cn

摘要/Abstract

摘要：

随着生成式AI的发展,社会符号学视角下的多模态话语研究迎来了新的机遇与挑战。本文通过梳理国内外多模态研究的新进展,探讨AI技术在社会符号学研究中的应用及其影响。研究表明,AI在弥补多模态话语研究方法论不足的同时,有助于促进多模态语类创新,并推动社会符号学理论向注重传播各要素的意义交换过程的转向。面对AI在共情力和多模态理解方面的局限,未来应该通过构建和谐的人机协作关系,打破学科壁垒,丰富多模态话语理论的阐释。

关键词: 社会符号学, 人工智能, 生成式AI, 多模态话语, 数字语类

Abstract:

With the rise of generative AI, social semiotic multimodality studies face new opportunities and challenges. This paper reviews recent developments in multimodal researches to explore the application and impacts of AI technologies in social semiotics. Our findings show that AI helps overcome methodological limitations in multimodal discourse research, stimulates innovation in multimodal genres, and contributes to a paradigm shift in social semiotics theory—one that considers all communicative elements in the dynamic meaning exchange process. To address AI’s limitations in empathy and multimodal comprehension, future efforts should focus on building harmonious human-AI collaboration, encouraging interdisciplinary work and enriching the interpretation of multimodal discourse theory.

Key words: social semiotics, artificial intelligence, GAI, multimodal discourse, digital genre

中图分类号:

H319

李战子, 韩泽婷. 人工智能时代的多模态话语研究:机遇与路径[J]. 当代外语研究, 2025, 25(3): 119-128.

LI Zhanzi, HAN Zeting. Exploring Multimodal Discourse in the AI Age: Opportunities and Prospects[J]. Contemporary Foreign Languages Studies, 2025, 25(3): 119-128.

参考文献 27

[1]	Aiello G. & T. van Leeuwen. 2023. Michel Pastoureau and the history of visual communication[J]. Visual Communication 22(1):27-45.
[2]	Bateman J. A. 2022. Multimodality, where next? Some meta-methodological considerations[J]. Multimodality & Society 2(1): 41-63.
[3]	Bewersdorff A., C. Hartmann M. Hornberger, et al. 2025. Taking the next step with generative artificial intelligence: The transformative role of multimodal large language models in science education[J]. Learning and Individual Differences 118: 102601-102601.
[4]	Halliday M. A. K. 1978. Language as Social Semiotic: The Social Interpretation of Language and Meaning[M]. London: Edward Arnold.
[5]	Han Y. & B. E. Smith. 2023. An ecological perspective on the use of memes for language learning[J]. Language Learning and Technology 27(2):155-175.
[6]	Kress G. & T. van Leeuwen. 1996. Reading Images: The Grammar of Visual Design[M]. London: Routledge.
[7]	Kress G. & T. van Leeuwen. 2001. Multimodal Discourse: The Modes and Media of Contemporary Communication[M]. London: Hodder Arnold.
[8]	Lee Y.-J. 2023. Language learning affordances of Instagram and TikTok[J]. Innovation in Language Learning and Teaching 17(2): 408-423.
[9]	Pratschke B. M. 2024. Generative AI and Education: Digital Pedagogies, Teaching Innovation and Learning Design[M]. Berlin & London: Springer Nature.
[10]	Polli C. & M. G. Sindoni. 2024. Multimodal computation or interpretation? Automatic vs. critical understanding of text-image relations in racist memes in English[J]. Discourse Context & Media 57: 100755-100755.
[11]	Shirahata M., M. Lahti & M. Siitonen. 2023. Language ideologies in a Finnish university student union’s Facebook communication practices[J]. Social Semiotics 35(1): 114-132.
[12]	Stöckl H. 2020. Linguistic multimodality-multimodal linguistics:A state-of-the-art sketch[A]. In J. Wildfeuer, J. Pflaeging, J. A. Bateman. et al. (eds.). Multimodality: Disciplinary Thoughts and the Challenge of Diversity[C]. Berlin, Boston: De Gruyter. 41-68.
[13]	Valeiras-Jurado J. & E. Bernad-Mechó. 2022. Modal density and coherence in science dissemination: Orchestrating multimodal ensembles in online ted talks and YouTube science videos[J]. Journal of English for Academic Purposes 58(1): 101118-101118.
[14]	Westberg G. & G. Kvåle. 2024. The generic uniqueness of ai imagery: A critical approach to DALLE as semiotic technology[J]. Discourse & Society: 1-24.
[15]	陈凯泉、张春雪、吴玥玥、等. 2019. 教育人工智能(EAI)中的多模态学习分析、适应性反馈及人机协同[J]. 远程教育杂志 37(5): 24-34.
[16]	崔中良. 2024. 通感、具身与意识:人机交互实现的感知基础[J]. 湖北大学学报(哲学社会科学版) 51(2): 143-152.
[17]	胡易容、马翾昂、尹婧雯. 2024. 意义理论再出发:2023年传播符号学研究前沿综述[J]. 新闻界(1): 59-68.
[18]	胡钰. 2020. 正确面对人工智能新闻业的崛起[N]. 中国社会科学报(8-06):A30.
[19]	刘海涛. 2024. 从语言数据到语言智能——数智时代对语言研究者的挑战[J]. 中国外语 21(5): 60-66.
[20]	梅冰. 2024. 师范生对人工智能赋能外语教学接受度探析[J]. 当代外语研究(2): 89-99. doi: 10.3969/j.issn.1674-8921.2024.02.008
[21]	欧志刚、刘玉屏、覃可、等. 2024. 人工智能多模态教学资源的生成与评价——基于AIGC在国际中文教育的应用[J]. 现代教育技术 34(9): 37-47.
[22]	钱锋、董毅敏、张铁明、等. 2023. 元宇宙多模态、跨模态内容时代的科技出版理论探讨与实践研究[J]. 中国科技期刊研究 34(7): 902-908. doi: 10.11946/cjstp.202306180449
[23]	王建民、曹静. 2020. 人类学的多模态转向及其意义[J]. 民族研究(4): 61-73, 139-140.
[24]	杨凝. 2022. 国际视野下教育机器人的研究现状与发展趋势——基于对25项系统化文献综述的再综述[J]. 现代教育技术 32(6): 122-126.
[25]	袁毓林. 2024. ChatGPT语境下语言学的挑战和出路[J]. 现代外语(4): 1-6.
[26]	张敏、张可、张东鑫. 2024. 政务社交媒体中公众情感治理:理论框架与实施策略[J]. 情报科学(5):1-21.
[27]	赵星植. 2021. 社会符号学的兴起与前景:一个学术史的回顾[J]. 重庆广播电视大学学报 33(5): 3-9.

人工智能时代的多模态话语研究:机遇与路径

Exploring Multimodal Discourse in the AI Age: Opportunities and Prospects

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献 27

相关文章 12

编辑推荐

Metrics

本文评价

[1]	郜洁. 生成式人工智能的双刃剑效应——DeepSeek在外语教育领域的应用优势与潜在风险探析[J]. 当代外语研究, 2025, 25(3): 140-151.
[2]	王海啸. 生成式AI时代大学英语数智教材建设框架探索[J]. 当代外语研究, 2025, 25(2): 23-33.
[3]	李晶洁, 陈秋燕. 人机协同智能写作发展演进分析与启示[J]. 当代外语研究, 2025, 25(1): 73-83.
[4]	许悦婷, 古玥. 人工智能时代的外语教学与外语教师专业发展:挑战、身份认同危机与出路[J]. 当代外语研究, 2025, 25(1): 60-72.
[5]	胡壮麟. 与时俱进,永无止境——有关多模态和人工智能研究的若干认识[J]. 当代外语研究, 2025, 25(1): 53-59.
[6]	卓玲. 外语教育学视域下人工智能对外语教学生态位的影响[J]. 当代外语研究, 2024, 24(5): 103-115.
[7]	梅冰. 师范生对人工智能赋能外语教学接受度探析[J]. 当代外语研究, 2024, 24(2): 89-99.
[8]	孙炬, 赵一. 《同心战“疫”》中家国情怀的多模态话语分析[J]. 当代外语研究, 2023, 23(6): 78-89.
[9]	史芸. 人工智能翻译的知识伦理与知识建构[J]. 当代外语研究, 2023, 23(6): 156-165.
[10]	张剑. 外国文学研究的跨学科和数字人文范式[J]. 当代外语研究, 2023, 23(3): 5-13.
[11]	叶起昌;. 叙事符号学的格雷马斯模式——评《符号学的关键术语》[J]. 当代外语研究, 2012, 12(03): 128-130.
[12]	陈瑜敏;黄国文;. 马丁的语篇分析观[J]. 当代外语研究, 2010, 10(10): 19-24+62.