成果导向的学生体验评估

阅读推荐:教学改进

 

导语:加拿大的西安大略大学在学生体验项目中对授课教师提出明确要求:在教学设计过程中,针对学生的学习成果必须说明学习者预期想要学习的知识点,以及在完成阶段性学习后能掌握的技能。

 

西安大略大学(Western University)是加拿大最古老的公立院校之一,尤其以学生满意度高而著称。该校非常重视学生的体验,旨在不断改进与问责,致力于通过以学生的成果导向来衡量相关的学生体验项目是否成功。

为此,西安大略大学在其“学生体验”(Student Experience,以下简称“SE”)网页上,分享了一系列以成果为导向的学生体验项目评估资料,希望帮助教师和学生干部做好各类SE项目的规划和设计。该校具体会通过怎样的手段或方式,将成果导向理念贯穿于SE项目?且看本文分享的该校相关内容的流程实操要点与经验。

 

成果导向评估循“环”

工欲善其事,必先利其器”,当下在现代企业管理中流行着一个词——“闭环”,而闭环思维作为一种系统性的管理思想和方法,是现代企业工作中的重要模式之一,在高校工作中亦如此。打开西安大略大学的SE网页,目光即会被名为“成果导向评估循环”的图片所吸引。通过该图我们可以清楚地了解到SE项目的活动是如何按照要求形成一个循“环”并有序开展的:

第一步:计划

1.(相关人员)需将各项目按重要性排序,以便后续有序推进不同项目的评估。

2.明确(SE项目)的成果目标。

3.和SE项目的相关方讨论成果产出事宜。

4.确定SE项目具体的成果评估方式和所需的评估工具。

5.如果需要的话,获得研究伦理委员会批准。

第二步:实施

1.制定SE项目的具体评估时间表和沟通方案。

2.收集与SE项目成果相关的数据。

3.分析SE项目的产出成果。

4.对SE项目的产出成果进行总结,并形成规范性的报告。

第三步:反馈&沟通

1.深入研究所得出的SE项目的产出成果,并进行相关工作的反思。

2.确定是否需要额外信息,用以阐释所得出的产出成果。

3.和相关方交流产出成果及该成果代表的意义,或是反馈的信息;收集相关方对该产出成果的反馈意见。

4.兼顾外部评估的意见,确定下一步行动计划。

第四步:行动

1.对被评估的SE项目/服务进行适当调整。

2.更换新的评估工具,进一步验证SE项目/服务的产出成果。

3.收集额外数据,使产出成果更加清晰化。

 

SE评估委员会来助力

值得一提的是,在西安大略大学,教师或学生干部若在把成果导向理念贯穿于SE项目的过程中遇到任何困难,可寻求该校“学生体验评估委员会”(Student Experience assessment committee,以下简称“SE评估委员会”)的协助。

西安大略大学的SE评估委员会于2016年12月正式成立,旨在促使参与SE项目的所有人员保持更顺畅和积极的联系与沟通,并有机会参与到跨部门的、成果导向理念下的SE项目的评估、设计和执行中。该委员会同时还会进行资源共享,尤其是在和参与SE项目的所有人员分享(产出)成果评估工具和最佳评估手段方面,以便使全校的SE项目的评估保持一致性和较高的质量。

具体来看,SE评估委员会将按照学校规定,致力于完成以下目标:

◆在整个SE项目期间,创建该活动的(产出成果)评估清单。

◆作为资源支持的角色,支持各个部门的教职员工积极参与评估。

◆认真审查所有的SE项目,促使这些SE项目的流程和质量得到保障与提升。

◆协助相关教职人员做好SE项目的(产出成果)评估计划和评估工具的开发、应用。对于SE项目的(产出成果)评估计划,西安大略大学要求:将评估活动按优先次序排序;做好未评估项目的评估计划;找出各个SE项目之间的差异;避免对同一SE项目反复评估;强化评估活动的质量和一致性。

◆做好对SE项目战略计划的监控/进度跟踪,与教职人员/各团队通力合作,制定计划范围内的产出成果评估的优先次序。

◆支持SE项目/服务中关键绩效评估指标的开发与应用。

西安大略大学要求SE评估委员会每月至少召开一次会议,每次会议时间不超过2个小时。如有必要,SE评估委员会主席可就特别的项目或提议召开临时会议。西安大略大学提醒SE评估委员会在为SE项目助力的过程中,一定要避免评估数据的堆积,同时还要做好该委员会内的关键人员最新评估发现信息的分享。

 

以学习成果为逻辑起点

具体到授课教师这一群体,如何以成果导向教育理念为指导做好人才培养工作?关键在于专业教学的设计与具体实施,能否通过学生接受教育后所取得的学习成果(Learning Outcomes)来证明学生已获得“未来走向成功的经验”,由此评估教学的有效性,即学生是否达到预期的学习目标。因此需要授课教师以学生的学习成果为逻辑起点,反向设计教学方案。但相对于传统模式下的课堂教学,以成果导向教育理念为指导的教学设计,如何才能将教学内容、环节和目标对应起来,达到预期目标,对很多教师来说都是一个大难题。

为解决这一难题,西安大略大学在SE项目中对授课教师提出明确要求——在教学设计过程中,针对学生的学习成果必须说明学习者预期想要学习的知识点,以及在完成阶段性学习后能掌握的技能。对此,西安大略大学建议授课教师根据教学需要编写学生学习成果报告,便于对后续展开的教学工作做指导,类似于策划书的作用。

那么授课教师如何才能撰写出一份实用的学生学习成果报告,确保自身后续的教学行为始终紧密围绕目标需求发展呢?面对这样的难题,西安大略大学提醒授课教师多注意以下几方面的问题:

1.保证产出成果具有可测量性和透明性。

2.需有明确的主目标,目标不宜多、散。可观察分析各产出成果之间是否具有关联性。

3.确保所有的产出成果与制定的教学项目内容相匹配,能够明确教学项目内容如何实现,针对学生制定了怎样的教学计划,整个教学项目的考核标准与考核方式又是怎样的。

4.如果有可能的话,让学生参与起草和润色学习成果报告。

5.聚焦于教学项目的成果而非过程,即学生在参与教学项目/服务后具体发生了怎样的改变,或者说具体会有哪些收获。

围绕学生学习成果报告,西安大略大学还提醒授课教师面对问题时,要学会自问——自己与自己展开问和答。尤其是围绕这项工作,是否能安排好工作优先级,譬如谁(哪些学生)是该教学项目的主要目标受众?该教学项目是否需要针对谁(某位学生)进行“干预”?如若进行“干预”希望产生怎样不同的成果?西安大略大学希望所有授课教师能拥有一份足够“SMART”的学习成果报告:

◆ S(Specific,明确性):产出成果明确而又具体。

◆ M(Measurable,可测性):面对如何衡量所取得的产出成果的问题,授课教师清楚自己可以通过什么工具/指标进行衡量,并能够在学习成果报告中进行说明。如该问题无法回答,则说明所设立的产出成果不具备可测性。

◆ A(Attainable,可实现性):所取得的产出成果应具备可实现性。授课教师需要通过评估来证明是否已实现目标。因此,设定一个不可能实现的目标是错误的。

◆ R(Relevant,相关性):所取得的产出成果应和预设的主要目标、教学项目范围等具有紧密的相关性。

◆ T(Time-bound,时效性):什么时候才能判断自己已实现目标,何时可评估是否成功,何时才能判断所取得的产出成果已经开始生效,这些都需要在撰写报告时明确。

 

调查的有序开展

调查问卷作为连接调查者与被调查者的信息纽带,在西安大略大学的成果导向理念下的SE项目中,当然也被视为工作利器之一。西安大略大学希望通过问卷调查,既能准确反映调查者的目的,又能准确传达被调查者的真实想法。

西安大略大学指出,调查问卷中所有问题的设定,应能够衡量SE项目/服务的活动对产出成果的影响。而该产出成果则包括:学生的态度,知识,技能,目标、动机和欲望,行为方式和习惯,对知识、技能或行为习惯的认知,等等。对于具体的调查方式,该校建议调查者可根据实际情况选择在线调查问卷、纸质调查问卷,又或者是电话调查。

对于调查问卷的具体设计及调查结果的应用,西安大略大学归纳总结为以下六大方面:

第一,确定具体的调查项目。

第二,拟定简明合适的问题,以及全面的问题选项。

第三,确保调查问题不偏题,问题符合逻辑。

◆问卷内所提问题不可使用生涩词语,如有必要,对专业词语进行适当的解释。

◆问卷应只包括“需要知道”的内容,不可偏题。

◆问卷的第一道问题应和问卷目的有关,并且简单易答,最重要的问题要设置在问卷前半部分,以免被调查者在回答问题时因问题过多而感到疲倦,或是匆忙而无心仔细回答。

◆按内容主题或评分方法将相似问题归组,并对每个问题编号。

◆在问卷末尾可预留一定的空白,便于被调查者填写自身经历或对本问卷调查的意见或建议等。

第四,考虑采用附信(cover letter)的形式。通常用于正式研究的调查问卷,会附有一封“信息函/通知书”(Letter of Information)。为了确保SE项目评估的质量,保证被调查者回答问题的质量,西安大略大学建议调查者附带一封类似的信件,引起被调查者的重视。

第五,做好对调查结果的评估。需对调查数据进行细致分析并总结。

第六,完成报告,进行沟通,阐明对该调查结果的合理使用。应只收集对产出结果有帮助和可利用的数据,避免数据堆积,确保使该评估工作的影响力最大化。如想顺利完成调查,并达到预期调查目的,西安大略大学建议调查者在收集数据时,还应重点考虑除了被调查者之外,还有哪些教职人员和该调查的数据与分析结果可能相关,并会对该调查的数据与分析结果感兴趣,或者说该调查结果会对哪些教职人员的工作产生影响;如何将该调查问卷的研究发现通过更清晰、明确的方式向利益相关方汇报;该调查问卷的研究发现会对SE项目/服务有什么意义。

 

主要参考文献:

西安大略大学网站

 

文/麦可思 王慧

 

如需转载,请注明麦可思。

学生成长.png


文章推荐
“硬核”武大的学工经验分享
如何改善在校生体验
成果导向的学生体验评估
36所强基计划试点高校发布招生简章
强基计划点到的物理专业教学怎么改
提升人才培养质量的方向标
多所高校与麦可思建立合作
八部门:加快构建思政工作体系

麦可思研究微信

联系方式 :《麦可思研究》编辑部 电话:010-58818196 邮箱:reader@mycos.com

Copyright © 麦可思数据(北京)有限公司,版权所有 京ICP备11047450号