马利 “多模态叙事绘本图文关系分析及教学实践研究*”，《中小学英语教学与研究》2023年第8期，第24-28页
【摘要】绘本是一种典型的多模态文本，在儿童教育中起着重要的作用。本文以符际互补理论为基础，从概念功能层面分析多模态叙事绘本中的图文关系，并结合叙事篇章的特点，从定位、进展、评议和结局四个角度，探讨多模态叙事绘本中文字模态和图像模态相互补足、协同构建概念意义的过程，以帮助学生更好地理解多模态绘本中的图文关系，提升“看”的技能。
【关键词】多模态；叙事绘本；图文关系；看
【作者】马利
【单位】江苏省宜兴市教师发展中心
【单位】
引言
“多模态绘本，尤其是叙事绘本，是儿童生活、教育中的重要读物，在儿童读写教育、意识形态塑造和社会文化价值培植等方面发挥作用”（胡勇，2021）；“为他们未来的学校学习和社会化奠定基础”（邱晴，2020）。优秀绘本中的图文可以相互印衬填补彼此的空白，激发读者思考。《义务教育英语课程标准（2022年版）》（以下简称《课标》）在听、说、读、写四项语言技能之上新增了“看”的技能，要求阅读者“理解多模态语篇中非文字资源传达的意义“（教育部，2022：30），要求教师“关注
中人物或动物的行为、表情、心理状态、色彩搭配，以及场景布局等传递的意义”（教育部，2022：49）。
虽然《课标》对“看”的技能提出了较为明确的要求，但并没有给出具体的方法指导。基于此，本文以符际互补理论为基础，从概念功能层面分析多模态叙事绘本中的图文关系，并结合叙事篇章的特点，从定位、进展、评议和结局四个角度，探讨多模态叙事绘本中文字模态和图像模态相互补足、协同构建概念意义的过程，为帮助学生更好地理解多模态绘本中的图文关系、提升“看”的技能提供参考。
本文以外语教学与研究出版社《多维阅读第15级：Chicken Beat（“动感小鸡”乐队）》（王蔷、Jill Eggleton，2018）为探讨对象，该故事大意为Betty因个子太高经常受到同学们嘲笑，后因组建“动感小鸡”乐队，和同学们成了好朋友。
一、核心概念界定
（一）符际互补理论
Royce（1998）依据系统功能语言学提出了符际互补理论。符际互补指多模态语篇中的文字模态和图像模态相互协同、补充，两者同为表达意义的资源，共同完成意义的建构，共同为读者呈现一个连贯的多模态语篇；在概念意义层面上，用“参与者”“活动”“环境”和“属性”等参数信息来表达图像模态和文字模态的表征功能（Royce, 1998）。该理论由研究单一符号的意义转向研究两种符号互补协作从而达到符号整合的意义，为多模态语篇研究开辟了新的道路（吕行，2015：41）。运用符际互补理论来研究多模态语篇，使得读者对图像与文字互补关系的解读有了理论依据，也使得读者对多模态语篇意义的解读更加全面、科学、准确（杨曙，2012）。本文所研究的符际互补关系指图像模态和文字模态之间的互补关系，以下简称图文关系。
（二）概念符际互补关系分析框架
语篇通过“概念功能对人们在现实世界中的各种经历进行描述”（苗兴伟、张蕾，2021：112）。语篇的概念功能是读者认识客观世界、反思主观世界的有效凭借。
Royce（1998）通过对图文概念特征的研究进一步揭示了图像模态和文字模态相互作用构建概念意义的过程，并提出了概念符际互补关系分析框架。具体分析路径如下：首先，识别图像模态中的视觉信息符号，主要包括图像中的参与者、正在进行的活动、环境和属性等信息。这些视觉信息符号与文字一样，具有实现表征信息和经验的概念功能。然后，深入分析与视觉符号信息同时出现的语言文字，查找文字文本中与视觉信息符号意义相关联（相似或相反）的词汇，获得相应的英文词汇表。最后，对图像模态中的视觉信息符号和文字文本中与之相关联的词汇进行分析，确定图文关系。在叙事绘本中，图像模态和文字模态通过各种方式共建互补，即多个符号系统通过符号间的语义衔接关系进行整合，具体包括对应关系、反义关系、上下义关系、局部–整体关系和搭配关系等。对应关系是指图像模态中的参与者和文字模态中的表征之间完全一致或比较接近，可以相互替换。反义关系是指图像模态中的参与者和文字模态中的表征之间所表达的意义相反或相对。上下义关系是指图像模态中的参与者和文字模态中的表征之间是具体与抽象的关系。局部–整体关系是指图像的表征是文字所表述的一部分，或文字表述是图像表征的一部分。搭配关系是指图像模态或文字模态的某一方的出现可以触发另一方的出现，即图像和文字表达的意义通常同时出现在同一语境中。
二、多模态叙事绘本中的图文关系分析及教学实践
本文引用中的绘本《“动感小鸡”乐队》（以下简称“该绘本”）叙事结构清晰完整，是一本典型的叙事绘本。叙事绘本含有定位、进展、评议和结局等叙事成分（刘辰诞、赵秀凤，2011：164）。该绘本的图像模态和文字模态中均包含大量的概念意义，有助于我们揭示叙事绘本中的图文关系，并据此开展教学设计。通读绘本发现，文字模态中均没有明确提及“属性”，即读者无法通过阅读文字直接了解“参与者”的性格类型或品质特征。笔者认为初中生应该在阅读过程中学会揣摩作者的写作意图，并为此不断收集证据，最后形成客观评价故事中的人和事的能力。因此，在图文关系分析部分，笔者仅讨论图像模态和文字模态中的参与者、活动和环境信息。同时，笔者将设计相应的教学活动引导学生探究参与者的“属性”。
（一）定位
该绘本的定位环节（见图1）交代了故事发生的时间、地点、人物等信息。笔者按照Royce（1998）的概念符际互补关系分析框架，依次对图像模态和文字模态中的概念意义展开分析，探究两者之间存在的互补关系，然后根据叙事绘本的语篇特征开展教学设计。
1. 图像模态分析
图1中的人物图像被明显地切分在两个区间，一是位于
正中央的四个参与者，即酷小孩，另一部分是位于画面稍远处的Betty。四个酷小孩正旁若无人地谈论着什么，其中一个男孩正用手在自己头顶上方比划，眼光不由自主地注视着自己的手；左下方男孩的左手大拇指正对着Betty，右下方的女孩的眼神不自觉地瞟向远处的Betty，仿佛他们都知道Betty正在看着他们，但是他们依旧没有停止讨论。图像中有课桌、收纳柜等物品，说明地点环境可能是教室。由此，我们可以概括出绘本定位环节的参与者为四名酷小孩和Betty，活动为谈论、（手）比划、（眼睛）瞟、（手指）指、笑，环境为教室。
2. 文字模态分析
本部分共由7个小句构成。内容如下：1) Betty didn’t like her name. 2) She was going to change it as soon as she was old enough. 3) She was the tallest kid at school. 4) She didn’t like being tall, either. 5) Betty wasn’t in the cool kids’ group. 6) The kids in her class made up silly chants. 7) They were always chanting, “Betty, Betty, long as spaghetti!”
首先，笔者结合图像模态提供的视觉符号信息，分析同时出现的7个小句中与视觉符号有关的词汇，得出下列英文词汇：Betty; didn’t like; tallest; wasn’t in the cool kids’ group; chanting。其次，为了深入了解语言文字中所蕴含的表征意义，笔者对小句中的活动类型做了深入分析。在第1和第4小句中，作者用两个“didn’t like”表达Betty强烈的心理感受——既对自己名字的不满，也对自己的身高不满；第2和第6小句客观描述了Betty想要更换姓名的迫切心情和酷小孩编顺口溜嘲笑Betty的过程；第3小句描述Betty是全校最高的学生这个事实；第5小句突出Betty不属于酷小孩群体；第7小句中的“spaghetti”不再仅是一种物品，而是酷小孩给Betty起的绰号。
3. 图文关系解读
概念功能中的图文关系主要指模态之间所表达的意义有所不同而呈现出的相互补充、增效，产生比各模态简单叠加更大的效果（Royce，1998）。笔者以定位环节提供的图像及相应的语言文字作为分析对象，探讨概念意义层面的图文关系（见表1）。
通过观察发现，作者对图中的施动者从面部表情、肢体动作到服饰配件均采用了细节描写，以突出酷小孩在画面中的主体地位，并与Betty的垂头丧气形成鲜明的对比。图中四个酷小孩虽然知道Betty正在看着他们，但是依旧没有停止喊口号。因此，我们可以推断，酷小孩们在日常生活中经常以取笑Betty为乐。同时，文字模态中的语言描述给出了Betty想改名字的真正原因，因为Betty不是酷小孩群体中的一员，所以处处遭受排挤，也为下文鸡群中的“啄序”现象埋下伏笔，顺理成章地将Betty与鸡崽建立关联。
4. 教学设计
通过上述分析发现，在“参与者”和“环境”角度，作者采用了一一对应的图文关系。在教学过程中，教师可以借助叙事绘本中丰富的图像特征，针对图像中的参与者和环境进行提问，如：How many students can you see in the picture? Who are they? Where might they be and how do you know that? 以此带领学生梳理故事基本信息。“活动”是推进故事发展的关键因素，作者采用了上下义关系和局部–整体的关系。图像提供了抽象的信息，如酷小孩的得意与Betty的失落，至于其中的原因，读者就必须借助文字的阐释才能明了。因此，在阅读绘本文字之前，教师可以通过提问设置悬念，如：Betty was not as happy as her classmates, the cool kids. Actually, she was a bit sad. What happened to her? Can you guess? 以此拓展学生的发散性思维，激发学生的阅读期待。
（二）进展
进展环节（见图2）描述构成故事的主要事件，是故事的发展。
按照上文的分析框架得出该绘本故事进展环节的图文关系如下（见表2）：
该绘本在进展环节以图文对应的方式呈现“参与者”信息，用上下义关系体现“活动”信息。如上表所示，面对图像的抽象信息及多义阐释，文字作为概念术语可以确定视觉对象的基本属性和对象间的相互关系。语言符号中的 “pecking order”（啄序）是关于生物界内同一类群参与者之间等级关系的专有名词，作者随后用小句做出解释，即“当一只鸡崽与众不同时，其他鸡崽就会驱逐它”，并在下文中反复使用“peck”一词，凸显鸡崽的生存劣势。作者甚至将它与死亡联系起来，以凸显位于“啄序”底端的生物的艰难。层层铺垫之后，影响故事整体发展的关键事件“chicken beat”以小句形式“She could feel its (the chicken’s) heart beating fast in its bony little body”出现在读者眼前。
绘本中的鸡崽是影响整个故事发展的关键人物，是主人公Betty的缩影。为帮助学生解读作者的写作意图，教师设计了一系列由浅入深的探究活动。首先，引导学生联系上下文猜测小句“She could feel its heart beating fast in its bony little body”中“its”和“beat”的字面含义。然后，师生结合叙事情节的发展趋势，推测“beat”的隐含意义，即“击败”或“赢”，意指鸡崽的逆袭；“chicken”在英语文化里有胆小的意思，正如图1中Betty的小心翼翼。再后，学生和同桌讨论鸡崽的可能结局并陈述原因，通过观点碰撞，探究其文化内涵。最后，教师呈现下一页鸡崽羽翼渐丰的
，从侧面印证“beating”的言外之意。
（三）评议
绘本的评议环节（见图3）是对故事中的人或事展开评价。
按照上文的分析框架，对该绘本评议环节的图文关系可解读如下：
本部分的图像模态采用一幅现场音乐会的
，图像模态和文字模态在“参与者”角度表述信息基本一致，为对应关系；在“活动”角度，文字模态呈现抽象信息，而图像模态则对其进行细致入微的刻画，如通过对乐队成员的眼神、动作等细部特征的描绘，具体体现了“a fantastic band”所蕴含的语言信息，属于上下义关系；在“环境”角度，地点和伴随物等音乐会特有的场景布置暗示活动发生的地点，图文之间是搭配关系。
叙事成分“评议”在叙事绘本中承担着评价的作用，也暗示着创作者的主观思想和情感。教师设计一系列层层递进的问题，探究作者的写作意图：What do you think of the concert? Successful or unsuccessful? Who was the soul of the band? What made Betty change a lot? 教师引导学生先仔细观察图像，对演唱会的成功与否做出合理判断；再结合聚光灯的特显效果，猜测乐队的灵魂人物是谁；紧接着，借助语言文字“the band leader”验证猜测；最后体会谚语“Knowledge is no burden”（艺多不压身）所承载的文化内涵，勉励自己培养广泛的业余爱好。
（四）结局
绘本的结局环节（见图4）是指故事的定论。笔者参照Royce的概念符际互补关系分析框架，对结局环节的图文关系展开解读。
结局环节的图像模态和文字模态大多采用对应关系，如奖杯上的“FIRST”字样透露出乐队表演获得了一等奖，与语言文字“The band was so good that it won a competition”形成一一对应的关系；奖杯中放着Betty的鼓槌，与“it was Betty’s amazing drumming that helped them win”相呼应。
在进展环节，读者初步了解了“chicken beat”的文化内涵。在绘本的结尾环节，教师从图像模态和文字模态两方面入手，通过设问“Why did Ella call the chicken Betty?”引发学生思考鸡崽和Betty之间具有哪些共同特征。对比绘本中Betty与鸡崽的图像特征，我们发现，两者的图像系统表征功能高度一致，通过探究主人公的心理活动、归纳人物的性格特征，可以培养学生的共情能力，也为结局部分鸡崽的命名提供逻辑支撑。通过对比语言文字中鸡崽的外貌变化，以及酷小孩对Betty的评价转变，有助于深入理解“chicken beat”的文化意涵，意指鸡崽和Betty两者的逆袭，再次回扣绘本标题（Chicken Beat）。在这个故事中共有三个参与者：Betty、Chicken和Ella，那么谁才是真正的主角呢？教师设置开放性问题，提升学生思维的发散性和深刻性：Who is the leading role, Betty, Ella or the chicken? Why? 笔者带领学生分析图文关系中的“参与者”信息。我们发现，绘本标题是“Chicken Beat”，但Chicken并不是出现频率最高的参与者；鸡崽最后被命名为Betty，但Betty也不是最主要的参与者，反而是Ella出现的频率最高。作者为什么将Ella设定为最重要的参与者呢？通过讨论，学生认识到：校园欺凌中没有旁观者，每一个学生都是校园霸凌的受害者。这也是作者创作此绘本的目的所在。教师随即组织“校园霸凌，你我都是当事人”的小型讨论会。通过此项学习活动，学生不仅认同Ella的果敢，更表示在以后的生活中会勇敢地向校园霸凌说“不”。
三、总结与启示
本研究基于符际互补理论，从概念功能层面分析多模态叙事绘本《“动感小鸡”乐队》中的图文关系，是图文关系研究的一次有益尝试。本研究发现，叙事绘本概念意义上的图文互补机制以图文对应和图文上下义为主，个别采用图文搭配，这是由多模态叙事绘本的语篇属性所决定的。在“参与者”和“环境”维度，作者采用了图文对应关系。教师在开始语言文字教学前，可以针对图像中的参与者和环境进行提问，帮助读者快速了解故事梗概，轻松进入故事世界。在“活动”维度，作者采用了图文上下义关系。教师可以通过分析
中的人物动作、表情以及场景布置等传递的意义，带领学生推理判断参与者的“属性”，深入领会作者的写作意图。另外，教师还可以进一步分析图像模态中的图示、图标等视觉符号的隐喻作用，引导学生推测故事走向或者预测主人公的结局，培养学生的共情能力和发散性思维。
虽然”看”的技能已写入《课标》，但是我们对“看”的技能的认识和研究还处于初始阶段。“看”的视觉模态资源如何与语言文字资源合理配置、互为补充？如何通过“看”促进学生的语言能力和认知能力？这些都还有待更多一线教师继续深入研究和实践。
参考文献
1. Royce, T.D. (1998) Synergy on the page: Exploring intersemiotic complementarity in page-based multimodal text. Japan Association Systemic Functional Linguistics Occasional Papers, 1(1): 25-50.
2. 胡勇 “概念意义视阈下多模态叙事绘本图文关系研究”，《江西社会科学》2021年第6期
3. 教育部 《义务教育英语课程标准（2022年版）》，北京师范大学出版社，2022年
4. 刘辰诞、赵秀凤（编著） 《什么是篇章语言学》，上海外语教育出版社，2011年
5. 吕行 《多模态语篇的意义构建研究》，外语教学与研究出版社，2015年
6. 苗兴伟、张蕾 《汉语语篇分析》，外语教学与研究出版社，2021年
7. 邱晴 “图文互补与意义建构——儿童绘本的多模态话语研究”，《江西师范大学学报（哲学社会科学版）》2020年第3期
8. 王蔷、Jill Eggleton（主编） 《多维阅读第15级：Chicken Beat（“动感小鸡”乐队）》，外语教学与研究出版社，2018年
9. 杨曙 “符际互补理论——多模态话语分析理论框架”，《长江大学学报（社会科学版）》2012年第7期
转自：“中小学英语教学与研究”微信公众号
如有侵权，请联系本站删除！
