增值性评价指通过对评价对象一段时间内前后发展数据的纵向比较,评判评价对象进步情况(效能)的一种评价方式,通常是以预测型模型为概念基础,用一段时间内“现在评价的实测值-基于模型计算出的评价预测值”。其中,“增值”是排除其他影响后通过自身努力得到的“净增值”。增值性评价的实质是对评价对象进行纵向区间进步情况的假设、追踪、净效应计算、交互反馈的过程。评价量表多为结构化的等级评价设计,主要包括评价指标结构安排、阈值确定、等级水平、表现性描述以及具体样例等。“评价量表的核心是一次重大的权力再分配,也是学术界对教育方式的一次重要界定和指导。”[1]开发教师发展增值性评价量表,可以让教师在搜集数据过程中履行自我评价的权利,了解学校和上级部门的成长期待,实现评价的多主体参与和评价数据的多元核对。
基于苏州高新区教师发展增值性评价系统(以下称SNDVESTD平台)的设计与要求,结合多项区域评价课题的研究,我们尝试开发了教师发展增值性评价量表,具体分为成果量表和过程量表。成果量表设计相对简单,虽然具有结果性评价的一般特点,但其阶段量化的特征有助于评价对象清晰判断自己的增值情况,改进成长,目前此量表已经投入使用;过程量表设计较为复杂,具有动态评价的特点,评价及时,响应性比较高,开发难度较大,目前已经开始研制。本文对成果量表的开发和使用进行阐释,以期为后期增值性评价过程量表编制提供经验。
这里的成果量表,借鉴李克特量表和SOLO分类理论,是基于教师评价改革的需求,综合本区域教师各类评价、考核相关指标,以及本地教师发展的整体情况而制订的,是对本区域内义务教育阶段教师个人素养和教育教学实绩的量化采集表。它通过对教师素养结构的解构,进行指标的合理赋分及等级水平的恰当赋率(每项指标分值所占总分值的比率),并结合SNDVESTD平台内嵌的增值性评价模型所需数据特点,进行二维量化采集。数据采集后,通过将量表数据输入至SNDVESTD平台,完成增值性评价数据核对,对数据进行模型化处理,对评价结果实施可视化输出。可见,评价量表的开发是增值性评价体系中重要的环节,合理的指标分解和赋值可提升教师参与评价的主动性,亦能抵近评价的公平和科学。
一
成果量表的开发
成果量表目前的评价对象是苏州高新区义务教育阶段及幼儿园教师,未来可向全学段教师逐步推广,其开发思路也可迁移至学生评价和学校评估层面。
(一)成果量表的指标划分
成果量表由三级指标构成。一级指标分为“综合及单项荣誉”“德育专项荣誉”“教育教学成果”“教科研成果”“竞赛指导成果”“其他荣誉或成果”六个部分,每个部分又细分出数量不同的二级指标(如表1所示)。
整体来看,一级指标是按照教师的荣誉类别进行划分的,同时也兼顾了本地区教师发展的特色活动(如两年一次的教师专业素养竞赛),使成果量表具有一定的稳定性;而“其他荣誉或成果”的植入让成果量表具有一定的成长张力和视角多元性。除了“其他荣誉或成果”外,二级指标总分值为120分,对各部分指标进行“赋率”计算,其中荣誉(包括综合及单项荣誉和德育专项荣誉)40分(赋率约为33.3%),教育教学成果40分(赋率约为33.3%),教科研成果30分(赋率为25%),竞赛指导成果10分(赋率约为8.3%),比例相对合理。
在赋分方面,我们对二级指标都做了10分的等值赋分。这一方面便于观察计算,另一方面也便于让教师更专注于二级指标内涵理解与建设本身,重视理读二级指标的整体结构和与一级指标的关系架构,快速发现自己成长的质态。
成果量表在对二级指标进行等值处理后,又将二级以下的三级指标进行阶梯赋分(部分未等值赋分),实现两种赋分方式的融合。对于荣誉类内容,只需在二级指标后面按照荣誉级别添加三级指标(即什么级别或部门评定的什么荣誉)。由于镇(街道)级比赛很少,未单独列入,所以,这里的三级指标划分为省级及以上、市级、区级、校级四个层次,再按照这四个层次进行梯度递减定值赋分(“区”“校”之间未列入“镇”,因此递减两级差4分;若加入“镇级”,则实现等距赋分),形成“级别+分值”的细分量表结构(表2所示即“综合及单项荣誉”指标结构与赋分)。对于量表中其他荣誉类一级指标或二级指标下的三级指标,其赋分方式可实现迁移。这样的编制思路便于教师进行评价量表构成指标的解构和结构个性化再创。
成果类内容的三级指标和分值基本采用“等级级别(类别)+获奖等级+分值”的结构形式和赋分方式。例如,教育教学成果的统计采用阶梯赋分的形式确定级差和阈值(如下页表3所示,此处分值设定,因获奖级别存在难度非线性增减,因此设定非等值变化)。一级指标“教科研成果”“竞赛指导成果”,也采用同样的结构思维和阶梯赋分方式。
就整个成果量表来看,将二级指标赋分的一致性和等级指标赋分的梯度性进行融合,有着一定的成长哲理:从数值呈现角度看,这体现出不同教师成长机会的均等,也反映出教育实践成长历程上的个体差异;从数值运算角度看,这提示教师成长需要有目标、有毅力的累积,最终将殊途同归;从设计理念角度看,这可以让教师洞见自我发展的优势和短板,确立未来发展的方向,也为团体异质协作发展提供了信息支撑。
(二)成果量表的效能保证
为了保证成果量表的效能,我们十分重视数据核验。量表中的“自评得分”由教师根据自己的成长情况,结合佐证材料,对照量表确定成长分值;量表中的“考核得分”则表示通过他评进行成长分值的确认,可通过学校评价、团队评价、骨干评价、教师互评等形式实现。我们还初步引入人工智能技术,利用AI技术对佐证材料进行快速智能识别,核验评判相关指标数据。
此外,我们也关注发挥成果量表的优势。一则,利用量表收集区域教师综合性和结果性评价数据,形成与教师个人考核、骨干评选、职称评定等常规评优、荐优、核优活动“数据池”,利于教师对个人关键成长数据有清晰认知,实现成长数据的充分利用;再则,这些数据资源容易收集,佐证过程也较为简单,易于教师理解和分类使用,有助于提升教师在评价中的结构意识和数据化能力;三则,此类量表的开发可以促进其他评价量表的开发,实现不同量表之间的整合,利于多元评价的整体实践与高效运行;另外,此类量表还能有效实现个体成长性增值评价的数据对比,为过程量表开发提供经验支撑。
(三)成果量表与SNDVESTD平台的融合
成果量表可以将教师成长中的精确结果(如具体成绩)、等级结果(如各种奖项)、现象结果(如积极性、努力程度、价值理念)转化为统一标准的具体数值,以便用同一尺度进行衡量,进行评价表达的激励,实现数字化多模态深度映射。
由于成果量表是基于SNDVESTD平台制订的,我们特别关注成果量表和平台之间的融合。一是成果量表指标项目和平台预设项目要一致。二是成果量表所设定的分值和占比也要和系统预设关系一致。三是量表样式和平台开发理念可以“复制”和迁移;四是要重视量表数据准确性的核验。量表数据的准确度不仅影响平台基础数据的准确,也影响增值模型的拟合,更会影响借助模型生成的增值性评价结果;五是量表测量要保证标准的阶段恒定。需要借助同一量表对个体进行多次测量,再用阶段的纵向发展数据拟合出比较准确的模型,实现平台增值评价结果的科学和多样输出。
二
评价量表的使用
我们经过近一年的开发,成果量表九易其稿,终于得以投入使用。在立德树人思想指导下,该量表首先关注德育方面的成果,同时重视教师教学素养、科研素养、特色素养的数据收集,整体分值和比率合理。借助增值评价平台,在填写过程中,教师能动态关注自己的发展情况,结合实际发现进步和不足,从而对个体成长的方向和定位逐步形成清晰的认识。概言之,一张成果量表既可以连接过去,为评价服务;也可以对比现实,为成长加油;同时,它也呈现了未来成长的基本图景和路径的有效指引。
当然,成果量表还需要进行进一步优化,例如,采用无纸化采集之前,可以通过多种形式先让教师对量表整体结构有初步了解,不能只是被动地碎片化录入数据;再如,对于常年低分导致的“地板效应”和常年高分引发的“天花板效应”也要思考有效的破解途径。借助成果量表发现,这两种类型的教师都面临着成长瓶颈,因此,需要借助其他的表现性评价量表来肯定其积极上进、坚持努力,利用“提醒系统”给予其合理化建议,再借助增值系统提供成长学习的必要资源库,发挥评价的撬动效应,实现增值性评价促进成长的价值。成果量表适合用于阶段性增值性成长的测量,而日常教育教学的评价测量的细分则亟待过程性量表的编制,因此,只有将成果量表融入正在编制中的过程量表,才能真正推动增值性评价科学和人性化发展。
量表的开发和使用一方面基于短周期的大数据,另一方面基于科学化、智能化和哲性化。数据可以看成教师成长的核心产物,数据之间的联结存在时间上的先后和空间上的隔离。只有理解其内涵实质才能实现增值理念的转化与创新。因此,未来的评价量表将为大数据的统计分析服务,在数据基础上拟合和利用适切的增值模型,通过统计思想将大数据进行清洗、优化、整合、运算、分析,实现动态地输出相对合理的评价结果,为成长服务。
关于成果量表,苏州高新区技术和科研团队拟从以下方面进行优化提升:
第一,关注量表评价对象的差异性。注重差异性可以说是增值性评价探索的前提要素,也是数字化赋能教研、科研及区域教师素养发展的关键。这需要我们将量表进一步细化。例如:区分教师任教学段的不同和教龄长短区间的差异,从性质上进行“伙伴化”划分,让评价量表结构更贴合教师个体、代际群体、校级群体和局部校际群体的发展,实现增值性评价的人文关怀。我们还要重视此类量表和过程表现性量表的互补与衔接,除了关注“德”“能”“绩”,还要将“勤”“廉”等表现性指标纳入评价指标体系中,促进多种量表之间的有效整合,予以不同群体教师以适切的评价,全面、客观、个性地呈现教师发展的数字轨迹变化,从多维度激发教师发展的自信。
增值性评价进入国内几十年,之所以长时间停留在理论层面,一方面源于数据存储、管理支撑不足;另一方面是因为缺少增值性评价模型的理解应用,以及缺乏增值性评价结果的理解和运用[2]。相对而言,增值性评价属于强技术、强理论和强专业的一种评价,需要教师有更深厚的信息素养和教科研素养“打底”,进而复现对增值的运算、解读,实现主动且路径清晰地成长。这也是率先研究制定成果量表后推出过程量表的重要原因。
第二,提升对量表数据的关注度。要从成果量表推开,通过对量表结构和数据的关注,让评价结果起到驱动作用。有了适切的量表数据设计,加持以良好的数据采集、分析模型拟合和数据服务,将提高教师参与增值性评价的热度。这需要我们做好以下几点:
其一,让指标数据成为教师所需。在设计量表的时候,指标除了和教师利益高度相关外,也应该和个人成长要求高度贴切,重视选择高频并且容易理解的指标概念。其二,减少量表数据的“碰壁”。避免出现“唯数据论”“数字暗箱”和“窄视化”现象,加强数据理解和数据关联,提升数字素养,进行数字伦理和安全教育,防止出现“数字鸿沟”和“数据孤岛”现象,增强量表数据理解的真实感。其三,用数据创建多元增值模型。可利用量表搜集不同时间的个人阶段成长数据,进行模型拟合;还可以用量表采集相同时间的区域大数据寻找“学术伙伴”,创建基于区域的教师成长百分等级模型,发挥不同模型的评价优势并实现可视化输出。其四,重视对量表数据背景的关怀。量表数据收集过程中,要关注教师家庭不同、经济不同、籍贯不同、教育基础不同等相关因素,在量表加以考虑并进行变量控制,以此看到教师通过自身努力得到的不同角度成长的“真风景”(净效应)。其五,实现量表数据输入系统的智联。数据的系统输入,除了时间上放开,也要在方式上深度纳入智能识别,载体上接入移动互联,适切地进行数字治理;当然,也要防止生成式人工智能高速发展下的评价数据的造假。其六,实现评价结果的可视交互。量表数据经过处理后,在评价输出时要注意可视化、多模态化以及模块可拆拼化,也要重视评价结果呈现可选、可用、可推荐和可对比的多元交互。其七,孕育数据化增值评价的生活。特别是在评价输入、运行和结果呈现中,可以和QQ、微信进行程序接入,让增值性评价成为学习和生活的一种习惯,让“万物皆数”成为一种有效的自我“体检”的思想和创新行动。
转自朱红伟名师工作室微信公众号,仅作学习交流,如有侵权,请联系本站删除!