原文信息：
Konstantin Büchel, Martina Jakob, Christoph Kühnhanss, Daniel Steffen, and Aymo Brunetti. 2022.“The Relative Effectiveness of Teachers and Learning Software: Evidence from a Field Experiment in El Salvador”. Journal of Labor Economics, Volume 40, Number 3.
原文链接：
https://www.journals.uchicago.edu/doi/10.1086/717727
01
引言
研究表明，低收入国家在学习成果方面相对高收入国家仍然落后。克服障碍的一个有希望的选择是更多地利用计算机辅助学习(CAL)。与传统的教学方法相比，计算机辅助教学有几个优点，因为它允许根据学生的能力进行自定进度的学习，提供即时反馈，并且对教师的动机和能力不太敏感。计算机辅助学习(CAL)通常被发现可以提高学生的考试成绩，如果该软件用于个性化教学，似乎特别有益。
基于一项随机对照试验，本文考察了小学数学教师和一个免费的CAL软件的相对有效性，该软件包含30多种语言的内容。研究人员于2018年2月至10月期间对萨尔瓦多莫拉兹安农村地区3至6年级的198个小学班级进行了实验，从57所符合条件的学校中随机选择29所参加项目。来自这29所学校的158个班级被随机分配到处理1(即教师，40个班级)，处理2(即CAL +督学，39个班级)，处理3(即CAL +教师，39个班级)或一个位于校内的对照组(40个班级)。其中督学只接受技术培训，工资比老师低得多。他们被要求具备最低限度的信息技术技能和一些与儿童打交道的经验，而教学证书和特定的教育学位不在选择标准之内。在干预过程中，监督人员被指示不要提供任何针对具体内容的帮助。
主要发现。结果表明，额外的计算机辅助教学课程对学生的数学技能有相当大的影响，且比由老师指导的额外的数学课更有成效，因为教师的相对影响较低。
贡献。该研究增进了对计算机辅助教学相对于其他教学模式的理解。研究结果表明，CAL有可能优于传统的教师主导的教学，尤其是在教师资质低的情况下。其次，文章还提出了教师和学习软件之间互补性的第一个实验测试。第三，文章对有关处理外部性的更广泛文献做出了贡献。最后，这项研究通过评估一个广泛可用的现成软件，增加了关于CAL有效性的累积证据。
背景和干预
02
2018年2月，研究对3528名三年级至六年级学生进行了数学评估，进一步表明小学生几乎无法掌握最基本的数学概念。图1a显示，一年级和二年级问题的正确答案比例从三年级的27%上升到六年级的57%，而六年级学生到那时应该已经上了1000多节数学课。为了将这些数字与实际情况相结合，研究在瑞士对164名学生进行了同样的测试，他们平均答对了85%到92%的问题。就连表现最差的瑞士三年级学生的表现也超过了莫拉兹昂六年级学生的中位数。
对学校访问的监测数据显示，教师缺勤率很高，平均有25%的常规课程被取消。教师积极性低，同时教学方法过时。如图1b所示，三年级至六年级的学生远远落后于官方课程，随着孩子们升入更高年级，这一差距扩大。
03
研究设计
本研究围绕RCT（随机对照试验）展开，以确定三种干预措施的因果影响。
抽样和随机化。抽样和随机化方案有三层，如图2所示。起点是莫拉兹安的所有302所小学。在随机阶段1，57所学校中的29所被随机选择参与该计划。在随机阶段2a，研究将29所选定项目学校的158个班级随机分配到控制组或三个干预组之一。这一程序产生了五组不同的小学班级，即分配给三个处理组的39或40个班级，来自29所计划学校的40个对照班级，以及来自28所对照学校的40个纯对照班级。
数据。表1显示了项目开始前收集的主要变量的汇总统计数据，以及缺勤率。特别是，它按处理状态显示不同变量的平均值和标准误差，并测试五组的平均值是否相等。尽管处理组和对照组在基线时的任何可观察维度上没有显著差异，但表1显示起点和终点评估之间的缺席率显著增加。
数学学习成果。数学评估包括萨尔瓦多小学课程的60个项目。三个主要主题的问题权重如下：（a）数字意义和基本算术(65%）（b）几何和测量(30%）（c）数据和统计(5%）与国家课程紧密一致。
社会人口调查。调查询问了学生的年龄、性别、家庭组成、家庭资产和父母教育程度，问题用
说明。
学校行政数据。2018年5月至9月，非政府组织工作人员平均进行了5次暗访学校(共约1000次)以收集监测数据。他们涵盖了常规课程和程序课程，并收集了教师出勤率、学生出勤率、计算机使用情况以及下午额外数学课实施情况的数据。
结果
04
总体效应。下式用于评估被分配到三个项目（
）中的一个或项目内学校控制班（
）的效果：
其中
是c班和s学校学生i的期末数学成绩；数学分数可以用正确答案的百分比来衡量，也可以根据纯对照组的基线分数将IRT分数标准化为µ=0和B=1。二元处理指标的定义如下：对于分配给教师进行额外数学课的学，T1=1；对于教师进行额外CAL课程的学生，T2=1；对于那些被分配到由老师指导的额外CAL课程的学生，T3=1，而对于那些被分配到可能受外部性影响的计划学校控制班的学生，CX等于1。控制变量包括代表基准数学分数的
，
代表一组学生水平的控制变量（即按平均年级年龄、性别、家庭规模和家庭资产标准化的年龄），
包括一组课堂水平的变量（即年级、班级规模和教师性别的指标）。最后，
代表k层固定效应，
代表误差项。
表2的上面板显示了与纯对照班（i.e.
）相关的效应，表2的下面板显示了项目学校中三个治疗组之间两两差异的估计值。结果表明，被分配到其中一个处理组的学生在终点评估中的表现明显好于被分配到纯对照组的学生。正如文章在第5.1节中所讨论的，分析指出CAL课程对计划内学校控制班的溢出效应，但没有发现任何证据表明学校管理层或普通教师直接暴露控制单元（即不遵守）或行为变化。
最后，本文测试了被分配到三种处理组中（定义为
）之一的学生在终点表现上观察到的差距是否在统计学上不同于零。结果表明只有额外的数学课和由老师进行的CAL课程之间的差异在10%水平上具有统计学意义。
异质性分析。文章将按主题探讨三种干预措施对学习成果的影响。理解意向性分析(intent to treat, ITT)效应对学生NSEA技能的影响如表3所示。结果发现这两种CAL处理对NSEA（数感和算术）分数的影响比对整体数学能力的影响更明显。当将计算机辅助教学带来的学习收益与没有软件的额外数学课程带来的收益进行比较时，差异在1.7到2.1个百分点之间，或者在0.092σ和0.115σ之间。
表格4显示了基于GEOM（几何和测量）和DSP（数据、概率和统计）项目的结果，减轻两组CAL处理的影响。与纯对照组相比，这种影响仍然显著，但在数量上显著减少。这些结果表明，计算机辅助学习软件可以成为传统教学的有价值的替代品，但它的影响似乎对所教授的概念很敏感。
分析也证实了认证教师的生产力极低：无论比较基础算术项目还是几何和数据分析项目的表现，接受教师额外数学课程的班级表现都不如受到外部因素影响的对照班。
基线能力、年级水平和班级规模对异质性的影响。图3描绘了根据治疗状态的基线测试分数的每个百分位处的基线测试得分的核加权局部平滑平均值。
文章更仔细地检查治疗效果和基线实现之间的函数关系。同样，文章进一步调查了报告的影响是否因年级水平或班级规模而异。为此，估计
其中（
）是处理虚拟变量与感兴趣变量（即基线数学分数、年级水平和班级规模）的交互作用。除了四个相互作用项之外，等式（2）与基准估计等式（即等式（1））相同。
表5表明关于教师指导的额外数学课的效果大小和基线成绩确实是负相关的（第1列）。回归还为基线数学分数与T2（即，cal+主管）和T3（即，cal+教师）之间的相互作用产生负符号，但p值未达到10%阈值。
当按照参与学生的年级水平研究影响异质性时，出现了类似的模式(参见表5中第2列) 。最后，结果发现无论是否使用CAL软件，大班额会降低教师的工作效率(见表5第3列。有趣的是，这种模式并没有出现在由导师指导的计算机辅助教学课程中。
课程出勤率和IV估计。本节中，本文提供了总体依从性的数据，检查了个体出勤率和个体终点评分之间的相关性，最后讨论了假设全员出勤率的三种干预措施影响的工具变量估计。
图5a涵盖了那些被分配到教师教授的额外数学课的学生，而图5b说明了两种CAL干预措施的出勤率和剩余期末分数之间的相关性。
随后，关于如果孩子们完全参加了额外的数学课程，他们会学到多少的问题，文章估计一个IV模型，第一阶段的估计被指定为：
是学生在处理t中的出勤率，取值介于0和1之间。用第1阶段（即B阶段）的预测出勤率替换二元处理指标，并估计：
为了将
解释为参加所有46节额外数学课的治疗效果，必须施加两个（限制性）性质。即：(1)治疗效果需要在学生中保持一致(2)出勤率和数学成绩之间的函数形式必须是线性的。数据表明，这两个额外的假设可能会被违反，IV估计值可能会向下偏移。因此，参加额外的数学课对低能力学生的影响比高能力学生更大。此外，出勤率和能力增长之间的函数形式似乎是(略微)凸的，而不是线性的，这表明孩子参加额外的数学课程的回报率越来越高。表6给出了IV估计值：
05
讨论
处理外部性。本文研究设计允许量化项目学校中未处理班级的溢出效应。分为以下三种因素:(1)控制组学生的直接暴露，(2)对实验设计的行为调整，即在学校层面提高表现的无意激励或控制组的反应行为。(3)同伴间的社会学习。为了防止控制组学生直接暴露在处理中，实施的非政府组织指示合同教师和监督人员限制接触被登记为正式参与者的儿童，禁止在学年中改变到处理组班级的学生参加额外的数学课。关于行为调整，通过使用班级取消和出勤率作为学校工作人员/教师努力的代理来检验这一推理，然后继续测试更慷慨的计算机硬件供应是否提高了控制班的表现。结果显示，这种差异在统计上并不显著。
关于同伴效应，即参与的学生可以与其他班级的同伴分享他们的知识和动机。结果表明，CAL受益者将他们的学习收获传递给他们的同龄人的解释似乎比预期被捐赠新设备的行为调整更合理。
成本-效益。假设呈线性剂量-反应关系，则预期投入每100美元，考试分数增加0.35σ，而在CAL课程中投入相同的资金将分别产生0.49σ和0.43σ。这意味着，即使必须以相当高的价格购买计算机，两种CAL干预措施在成本效益方面也优于其他教师主导的课程。
教师能力的作用。在本文的环境中，学习软件在基础数学教学中比认证教师更有成效，尤其是在内容复杂性方面。图6为普通教师和合同制数学课教师的数学能力，结果说明了这项评估的主要见解：莫拉兹安的小学数学教师对他们应该教授的内容掌握不足。
结论
06
本文提出的证据表明，计算机辅助教学不仅可以产生实质性的学习收益，而且可能优于传统教学。在本文的环境中，这种相对优势似乎是由教师准备和他们必须教授的概念的复杂性之间的不匹配所驱动的：在传统的教学模式下，孩子们是否能够掌握他们老师无法理解的东西似乎是值得怀疑的，而计算机辅助教学允许他们在老师的内容知识之外取得进展。因此，促进有针对性地使用计算机，对于在教师资质低的环境中开展工作的政府和非政府组织来说，可能是一个有吸引力的选择。
写在最后：
文章证实了计算机辅助学习(CAL)软件在教学中的有效性，尽管强调了在教师资质低的环境中CAL方法的价值，但推文作者以为在教学环境差的班级中不仅存在教师资质低的状况，该地区的经济状况也有待发展。因此，在实际中是否能支持计算机辅助学习(CAL)，推文作者仍持保留态度。
Abstract
This study provides evidence on the relative effectiveness of computer-assisted learning (CAL) software and traditional teaching. Based on a field experiment in Salvadoran primary schools, we evaluate three interventions that aim to improve learning in mathematics: (i) additional teacher-led classes, (ii) additional CAL classes monitored by a supervisor, and (iii) additional CAL classes instructed by a teacher. We find that CAL lessons lead to larger learning gains and are less sensitive to class size as well as student ability than teacher-centered classes. Our results highlight the value of CAL in an environment with heterogeneous classes and poorly qualified teachers.
转自：“香樟经济学术圈”微信公众号
如有侵权，请联系本站删除！
