0 引 言
多媒体信息处理（ Multimedia Information Processing，MIP ）一门综合交叉性专业课，包含众多的内容，如文本处理、音频处理、图像处理、图形和动画处理以及视频处理 6 部分[1]，各部分的技术和算法相互借鉴，相互支撑。然而，国内外很少有大学的计算机科学、电子工程专业及相关专业开设多媒体信息处理（ Multimedia Information Processing，MIP ）课程。这主要由于大学在课程设置上，通常开设不同的课程（如数据挖掘、语音识别等）分别教授这些内容。这使得学生很难融合多媒体信息处理课程 6 部分内容的相关技术和算法，无法领会它们之间的内在联系并灵活应用，缺少各个媒体类型的关联性与差异性的比较学习体验。近年来，各种媒体模态的交叉融合以及跨媒体技术的发展，对工科学生掌握以元宇宙为代表的新型多媒体处理应用的综合开发能力提出了要求[2]。这些能力可以增强学生的未来就业和科研的核心竞争力。相较于单一媒体的应用问题，多媒体或跨媒体更注重交叉融合技术的开发和应用；同时，交叉人才培养和教育已成为社会和教育界的发展趋势。
1 教育学主动学习原则与人工智能主动学习模型
在高等教育学领域，主动学习原则和基本理论是指在上课过程中，学生除了被动听教师授课和记笔记以外，也与教师一同参与教学过程的教学方法。主动学习为学生提供了发展学科技能和专业知识的学习架构，教师也可以通过项目设计进一步促进与班上学生之间的互动，也能提高学生学习效果[3]。
教育学的主动学习定义属于原则概念上的定义，在现代人工智能和机器学习领域，主动学习通过设计具有自主学习能力的模型，结合我们的经验与学习规则，达到使用少样本却能获得好结果的效果。以科学研究的方法分析主动学习，主动学习 A 被具体化如公式（1），如图 1 所示。
A=(C,Q,S,L,U) （1）
其中，C 被定义为一组或者一个分类器 Classifier；Q 是查询函数 Query，用于从 U 未标注样本池 Unlabeled Sample Pool 中查询信息量大的信息；S 是督导者 Supervisor，可以为 U 中样本标注正确的标签；L 是用于训练已标注的样本 Labelled Sample。学习者通过少量初始标记样本 L 开始学习，通过一定的查询函数 Q 选择出一个或一批最有用的样本，并向督导者 S 询问标签，然后利用获得的新知识来训练分类器 C 和进行下一轮查询。主动学习 A 是一个循环的过程，直至达到某一停止准则为止。
2 多媒体信息处理课程的主动学习方法框架
不同于传统课堂上学生被动地接受知识，MIP 课程的主动学习方法能够结合学生的兴趣和反馈，让学生选择性地“学”自己感兴趣的知识。同时，基于真实世界的项目设计可以培养出学生对于多媒体技术和算法“习”的能力。学生在“学”到多媒体基本概念的基础上，设计和开发课程提供的真实世界项目，主动思考，发展出学生解决项目中具体问题的“习”的能力。与此同时，“习”中遇到的困难和问题能够反过来指导学生要求教师讲授相关多媒体技术和算法内容以便学生“学”以致用。
为达到以上效果，以科学研究的方法融合教育学主动学习原则和人工智能主动学习方法的多媒体信息处理课程主动学习的教学框架如图 2 所示。其中，在人工智能领域，主动学习获得未标注样例的方式，可分为两种类型：基于“流”( stream-based )和基于“池”( pool-based )。在基于流的主动学习中，未标记的样例按先后顺序逐个提交给选择引擎，由选择引擎决定是否标注当前提交的样例；如果不标注，则将其丢弃。基于池的主动学习则维护一个未标注样例的集合，由选择引擎在该集合中选择当前要标注的样例。
在多媒体信息处理课程教学过程中，教师为图 2 中主动学习模型中的“S”，在每节课课堂上通过互动的方式征求学生以“流”方式的反馈。在一学期 16 节 32 个课时的理论课堂教学实践中，我们在第一节课和第七节课集中以“池”方式征求学生在课程初期（第一节，当学生对多媒体技术和知识点没有什么了解的基础上，即图 2 多媒体信息处理课程主动学习模型中的“L”基本为空的情况下）和课程中间（第七节，当学生已经对多媒体技术和知识点有了一定了解的基础上，即多媒体信息课程主动学习模型中的“L”中已经有一些知识点的情况下）对教师教授的多媒体相关技术知识点的期望。在主动学习中，学生利用已有经验学习新知识，又依靠获得的知识点总结和积累经验，提出新需求，主动不断获得自己感兴趣的新知识点。表 1 和表 2 列出了 2022 年春季学期学生在课程第一节课后以及第七节课后希望学的多媒体知识点，可以看出学生的进步和对最新知识点的进一步渴望。
教师会根据学生的不断的新需求调整授课内容（即在多媒体信息处理课程主动学习模型中的所有未讲授多媒体知识点“U”中，结合课程完整性的同时着重讲述学生要求讲述的知识点）。主动学习的“主动”，指学生主动提出请求（多媒体信息处理课程主动学习模型中的“Q”），也就是说，还需要一个外在的能够对其请求进行反馈的教师实体。即主动学习是交互进行的，教师随时掌握学生的需求，课上课下学生主动提供反馈以及积极参与，对提高教学质量是至关重要的。
其次，在结合主动学习的教学实践中，如何平衡学生个体化的需求和班级的共同需求是一个重要因素。在课程教学中，教师对课程初期的学生反馈（见表 1 ）进行分类，分析学生主动提出的需求，设计相应课程内容。同时，授课教师挑选学生认为核心并最有价值的多媒体知识点，并结合知识点对课程的覆盖，也综合评估知识点对学生项目的作用，并讲授。这使学生在一学期的课程中获得了融合班级的共性需求，又照顾到每个学生个体的收获。
3 结合主动学习的多媒体信息处理课程教学实践
3.1 通过真实世界项目引导学生主动探索
图 2 中多媒体信息处理主动学习模型中的“C”结合多媒体信息处理技术的实用性特点，设计基于激发学生兴趣的、融合多媒体技术的真实世界项目，包括多媒体文本数据库、图像处理、AR/VR 等具有技术挑战性的实际项目。引导学生有目的性地发现项目中的难点技术问题，分析其中可能需要用到的多媒体技术知识点，带着问题听课。同时向授课教师提出要学习的多媒体知识点，让授课教师基于学生主动要求进行相应课程内容设计和知识点讲解。这种方法会激发学生主动发现、调研和自学这些知识点，学生会被鼓励和助教、行业导师及团队同学一同讨论和学习，锻炼了学生未来面对真实世界多媒体项目的分析处理能力。
3.2 设计融合思政立德树人及遵循科学化的课程项目
在图 2 的主动学习教学框架中，课程制定了真实世界项目需求设计的三项基本原则：要让学生感兴趣，项目有一定挑战性，项目要来自现实世界的真正需求（行业导师参与项目设计和指导）。同时这些项目设计体现了现代科技与中国传统文化（甲骨文，深圳三星堆商代考古，三星堆文化）融合以及中国现代科技（医疗科技以及数字图书馆技术）的立德树人思政元素。表 3 为 2022 年春季学期的 MIP 课程项目名称及小组数目，其中学生自由选择个人感兴趣且难度适合的项目作为课程项目（考虑到全球新冠疫情影响，本课程特地针对海外留学生开设了项目 2）。学生选择这些真实世界项目后，会发现有许多技术和应用难点需要克服，这将引导他们带着问题听多媒体信息处理课程，提高了授课效果。学生将学会把课堂上学习的知识点应用到项目中。在这个过程中，学生通过自身理解思考，能够很快把课程中教师教授的知识点真正掌握成自己的知识。同时，针对南科大新型研究型大学的特点，项目设计模拟科研人员工作，在要求上采取开放式和启发式的方式，不限定探索和解决问题的方式，不限定项目目标的具体指标和标准答案。为了鼓励团队之间的相互学习和适当竞争，我们允许几个团队开发同一个项目，允许有不同的多媒体技术实现方案和结果，同时鼓励学生呈现他们的多样性技术方案，这种做法达到了团队之间相互借鉴学习的效果。
3.3 利用多元化及多种行业专家导师的指导
课程教授团队对应图 2 中主动学习模型教学框架中的“S”，包括一名授课教师、8 名本硕博助教、7 名行业专家导师。为保证每个小组得到充分指导，至少一名助教和至少一名行业专家对学生进行技术和行业知识辅导。结合授课教师的理论讲授、助教课下辅助、行业专家指导，以及学生报告方式互动的方式，课程实现对学生学习全方位支持和帮助。在项目评分上，本课程也采取小组台上报告，台下班上全体学生和教师共同评分的方式，让每位学生有真正的主动参与感。
3.4 鼓励学生主动参与式学习
学生对应图 2 中主动学习教学框架中的“C”，他们在课堂上通过学习授课教师教授的分析问题方法和多媒体信息处理的算法知识点（对应图 2 中的“L”），结合自己选择的项目中遇到的实际应用需求，经过对知识点的思考和应用，把教师教授的知识点转化为自己独立思考过的个人知识。在学习过程中，学生会进一步挖掘自己在项目中遇到的实际难点，以及提出自己对要进一步学习的知识点的需求（分别对应图 2 中的“Q”和“U”），授课教师根据学生的主动需求，不断调整和优化教学内容，并在课堂上讲授，形成一个良性循环。
4 学生对多媒体信息处理课程主动学习方法的反馈
在多媒体信息处理课程基于主动学习方法的多年教学实践中，授课教师调研了学生对课程教学方法的反馈并设计对应问卷调查。图 3 所示是问卷调查中主要问题的学生满意度汇总，可知：① 94% 的学生认为多媒体信息处理课程授课内容符合他们对这门课初始预期，帮助他们构建了多媒体知识框架，整合了以前学习的知识，有利于他们专业发展与职业规划；②大部分学生十分认可课程真实世界项目主题选择方式，认为这种项目主题有利于培养他们应用学习到的知识解决实际应用问题，并培养主动思考能力；③对课程的主动学习方法实践，大部分学生认为这是一个与其他课程不同的创新改革实践，其中，课程互动环节让授课教师较好地了解学生对知识点的掌握程度，以动态调整教学内容，同时，学生也能在这个过程中及时回顾及总结自己的学习情况；④学生十分喜欢项目小组的学习方式，普遍认为这种学习方式显著提高了学习效率，帮助他们更快掌握课程的知识点和相关多媒体技术。
学生课程项目也取得了不错的成果，达到了这门课的预期，如学生开发的基于人工智能算法的甲骨文识别自动算法与系统已经被南方科技大学新闻官网、澎湃新闻、深圳商报、搜狐网等媒体报道，同时成功入选了省级大学生创新创业项目；基于 HTC VIVE 平台的下角山考古祭祀场景 VR 系统设计有关成果已经被南方科技大学图书馆收录；基于 AR 的骨骼手术评估系统得到了南科大附属医院合作医生的好评。特别提出的是，与南方科技大学图书馆共同开发的“我的图书馆画像”项目在 2022 年上线，作为 2022 年南科大毕业生的个性化毕业礼物。
通过主动学习授课并辅助以学生团队的真实世界项目开发，有助于培养学生多媒体知识 + 实际项目开发技能 + 团队合作素质培养 3 方面的多媒体项目开发综合能力。在课堂上通过主动学习方式，进一步把多媒体知识的传授分解为学生感兴趣的多媒体算法 + 多媒体系统编程 + 真实世界应用几个环节，培养学生在主动学习框架下提出问题以及解决问题的能力。同时，在项目中学生利用课堂上学到的多媒体知识，通过团队合作，与教师、助教以及行业导师一同讨论。这些做法培养了学生的时间管理 + 独立思考 + 团队协作的综合能力，并用自己所学的多媒体技术解决真实世界的问题，进而培养学生的社会意识。
5 结 语
3 年的创新讲授以及课程实践证明，这种教学方法可以增强多媒体信息处理课程的授课效果，激发学生主动学习的积极性和创造性。同时通过真实世界医疗以及人文考古等多媒体项目的设计，兼顾了学生科技能力的提升以及思政的人文建设，取得了预期效果。
参考文献：
[1] Zhang X, Wei J, Ye S, et al. Multimedia meets archaeology: A novel interdisciplinary teaching approach [EB/OL]. [2022-11-15].https://kc.sustech.edu.cn/handle/2SGJ60CL/328143.
[2] 王文喜, 周芳, 万月亮, 等. 元宇宙技术综述[J]. 工程科学学报, 2022(3): 1-14.
[3] Brame C.Active learning. Vanderbilt university center for teaching[EB/OL]. [2022-11-15].https://cft.vanderbilt.edu/active-learning.
基金项目：广东省高等教育教学研究和改革项目“基于主动学习的多媒体信息处理课程教学的探索与实践——从‘多媒体’到‘真实世界融媒体’”（ SJZLGC202202 ）。
第一作者简介：刘江，男，南方科技大学教授，研究方向为人工智能、手术机器人、眼脑联动，liuj@sustech.edu.cn。
引文格式: 刘 江, 章晓庆. 多媒体信息处理的主动学习教学框架 [J]. 计算机教育, 2023(6): 150-155.
转自：“计算机教育”微信公众号
如有侵权，请联系本站删除！
