(Effects of artificial Intelligence–Enabled personalized recommendations on learners’ learning engagement, motivation, and outcomes in a flipped classroom )

DOI10.1016/j.compedu.2022.104684

一、摘要

研究目的：翻转课堂的目的是通过促进学习动机和参与来改善学习成果。推荐系统也可以用来提高学习效果。随着人工智能(AI)技术的快速发展，各种各样的系统被开发出来以方便学生的学习。因此，我们在翻转课堂设置的系统编程课程中应用了支持人工智能的个性化视频推荐，为他们提供一份推荐视频清单供他们复习，以激发学生的学习动机和参与度，从而提高他们的学习效果。

研究对象：将学生分为对照组和实验组，分别由59名和43名大学生组成。

实验结果：结果显示，人工智能支持的个性化视频推荐可以显著提高中等动机水平学生的学习成绩和参与度。

二、研究问题

（1）人工智能支持的个性化推荐能否提高学生在翻转课堂中的学习动机?

（2）人工智能支持的个性化推荐能否改善学生在翻转课堂中的学习成果?

（3）人工智能支持的个性化推荐能否提高学生在翻转课堂中的学习参与度？

（4）人工智能支持的个性化推荐如何改善学生在翻转课堂中的学习成果?

三、研究设计

（一）实验工具

本研究提出的基于AI的并行混合推荐系统采用贝叶斯定理和逻辑回归分类来推荐视提供学生复习。

在本研究中，为学生提供了基于AI的个性化建议，以调整他们的学习方法，从而提高他们的学习成绩。这些建议是基于自我管理的顺序概率比测试(SPRT)以及学生在网上学习的学习概况。图1给出了所提推荐系统的架构。在SPRT中，贝叶斯定理被用来评价学生对相关概念的掌握程度。

对于个性化推荐，Isinkaye et al(2015)提出推荐过程应该包括三个阶段:信息收集、学习和推荐。因此，本文提出的基于ai的个性化推荐系统分三个阶段实现，如图1所示。

图1 于AI的个性化推荐系统架构 

图2  实验过程

本研究采用前测、后测和学习动机问卷进行测量。

采用前测和后测对学生的系统编程知识进行评价。

学习动机问卷问题以6分的李克特量表回答，从1(非常不同意)到6(非常同意)。问卷包含7个项目，旨在评估学生对系统程式设计的学习动机;

学生的学习参与度通常是通过问卷调查来衡量的。然而，由于学习管理系统(LMS)自动收集的有用数据，学生的学习参与可以通过他们的LMS档案来衡量。Henrie等人(2015)提出了一种从LMS档案中测量学生认知、情感和行为投入的机制。使用这种方法，我们通过学生的LMS档案定量地测量了学生在翻转课堂中的参与度

（二）实验对象和方法

本研究以台湾北部某大学系统程式设计课程102名学生为研究对象。系统程序设计课程的目标是增加学生对计算机硬件体系结构与系统软件之间关系的认识，培养学生设计和实现系统软件的能力。这些学生被分为实验组(n = 43)和对照组(n = 59)。试验期为2020年9月至11月。两组学生都在翻转课堂中学习，唯一的区别是实验组接受了人工智能支持的个性化视频推荐。本课程采用了iLearning在线学习环境，学生可以随时随地自主学习。

四、研究结果

（一）学习动机

为了探索人工智能个性化推荐对学生学习动机的影响，我们比较了测试前和测试后的动机得分。我们根据动机改善的程度(测后-测前分数)将学生分为两个小组:动机改善等于或大于零的学生被分配到动机增加(GM+)小组，其他学生被分配到动机减少(GM-)小组。我们使用独立t检验来确定对照组和实验组在学习动机改善方面的差异;结果如表1所示。结果显示，与对照组相比，实验组中学习动机提高的学生比例较高，而学习动机降低的学生比例较低。因此，虽然两组学生在动机改善方面没有显著差异，但实验组学生动机改善的比例高于对照组。这表明，通过使用所提出的基于ai的个性化推荐系统，可以增强学生的学习动机。

表1实验组和对照组中表现出学习动机增加和减少的学生人数和比例

结果显示，实验组和对照组学习动机改善的学生数量无显著差异(t = 1.22, GM+组p > 0.05;t =-1.7,GM-的p > .05)。结果还表明，实验组和对照组的动机水平相似。因此，我们调查了实验组和对照组中GM+和GM-亚组学生的比例。

为了确定学习类别，以前的研究(Berland et al .， 2013;Fincham et al, 2018;Jovanovic et al, 2017;Pardo等人，2018)使用聚类方法将学生分成不同的组。K-means聚类是最常用的聚类方法之一，以学生对7项学习动机问卷的前测回答为基础，对学生进行分组。在k-means聚类中，可以通过肘部法确定最优聚类数。我们采用这种方法，确定最优数量为3。因此，学生被分为三个亚组:学习动机高、中、低水平的学生分别被分配到GH (n = 19)、GM (n = 48)和GL (n = 35)亚组。

表2GM+和GM-子组中GH、GM和GL组学生的人数和比例

综上所述，虽然实验组和对照组在动机改善方面没有显著差异，但实验组的学生学习动机改善的比例更高，尤其是在GM亚组中。针对问题（1），这些结果表明，所提出的基于AI的个性化推荐系统并没有导致学生动机的显著改善，但促使动机改善的学生比例增加，尤其是在动机水平中等的学生中。

（二）学习成果

由于实验组和对照组之间的学习结果改善没有差异(表3)，我们应用独立t检验比较对照组和实验组的GH、GM和GL亚组之间的学习结果改善(见表4)。

针对问题2，提出的基于人工智能的个性化推荐对改善中等动机水平学生的学习成果具有显著的积极作用;这种影响在动机水平高或低的学生中没有观察到。

表3对照组和实验组的改善分数的独立t检验结果。

注:NGC、NGE分别为对照组、实验组GH、GM、GL亚组学生人数。

表4 GH、GM和GL亚组之间学习结果改善差异的独立t检验结果和描述性统计

（三）学习参与度

我们收集了来自iLearning的频率型指标数据，以评估学生在在线学习中的参与度。提取了11个特征;如表5所示。关于f8(未观看的视频数量)，较低的值被认为表明在线学习的参与度较高。对于其他10个特征，更高的值被认为表明在线学习的参与度更高。除f8外，其他特征的价值与学生在线学习的参与程度呈正相关。两个特征f1和f3是与时间相关的特征，而其他九个是与数量相关的特征

表5从在线学习环境中提取的特征

表6 第6周和第8周学生改进分数与提取的特征之间的Spearman相关性。

为了研究在提供人工智能个性化推荐之前，对照组和实验组在在线学习参与度方面的差异，我们得出了第6周11个特征的值。在第6周，这些特征值在对照组和实验组之间没有显著差异(表7)。这表明在提供个性化视频推荐之前，实验组和对照组学生的在线学习参与度是相同的 

表7 第6周实验组和对照组在线学习参与度(f1-f11)的Mann-Whitney U测试结果。

表8 第8周，实验组和对照组在线学习参与度(f1-f11)的Mann-Whitney U测试结果。

在提供人工智能个性化推荐后(第8周)11个特征值的变化中，6个特征(f1, f2, f3, f4, f6, f9)与改善评分呈显著正相关;同样，f8与改善评分呈显著负相关(*p < 0.05)，相应的相关系数为-0.22(表6)。最后，四个特征的值(U = 907, p < 0.01, f2;U = 908, p < 0.01;U = 906, p < 0.01;U = 772, p < 0.001 (f9)，实验组显著高于对照组(表8)。f2、f3、f4、f9这四个特征与学习成绩显著相关;因此，在第8周，实验组的在线学习参与度明显高于对照组。这一结果表明，实验组学生观看视频的次数、观看视频的时间、观看视频的次数、观看视频的次数以及观看视频弥补错过的学习机会的次数均高于对照组。这些结果可以归因于这样一个事实，即推荐的视频集中在学生不清楚的概念上，这是由他们的SPRT结果和视频观看记录决定的。我们可以推断，实验组的学生试图通过观看推荐的视频来增强他们对不清晰概念的认识。

针对问题3，研究结果表明，人工智能支持的个性化推荐可以提高学生在翻转课堂环境中的学习参与度。在实验组的学生接受了几周(第8周)的视频推荐后，他们的在线学习参与度有所提高。此外，他们提高的在线学习参与度(基于提取的特征)与他们的学习表现有关。

为了回答问题4，我们在第6周和第8周使用Mann-Whitney U检验比较了GH、GM和GL亚组学生在实验组和对照组之间的参与情况(表9和10)。

在第6周，对照组的GH、GM和GL亚组与实验组之间的所有特征值均无显著差异(表9)。这意味着在提供推荐视频列表之前，对照组和实验组中学习动机水平高、中、低的学生具有相同的在线学习参与度。

表10结果表明实验组中动机水平适中的学生在第8周的在线学习投入水平高于对照组。然而，高水平和低水平学习动机的学生在第8周的在线参与度是相同的。

表9: 不同动机水平学生群体在第6周的在线学习参与度 (Mann–Whitney U 测试)

表10: 不同动机水平学生群体在第8周的在线学习参与度 (Mann–Whitney U 测试)

注释: U 测试值越低，表示两组之间的差异越显著。n.a. 表示不适用或数据不可用。

关于问题4，我们的研究结果表明，人工智能支持的个性化推荐系统只能有效地促进具有中等动机的学生的在线学习参与。因此，中等学习动机的学生可以通过提高在线学习参与度来提高学习效果。

五、结论

研究结果表明，所提出的系统可以提高学生的学习动机。我们观察到，中等动机水平的学生的进步明显高于高和低动机水平的学生。这种差异可以归因于高度积极的学生已经掌握了相关概念;因此，他们很少遵循基于人工智能系统的建议。高学习动机学生的学习成果改善幅度最小。此外，由于低动机的学生使用学习管理系统的意愿较差，因此他们并没有从所提出的系统中明显受益。我们还分析了学习投入和学习成果，因为这两个指标与学习动机高度相关。我们的研究结果表明，学习投入和学习成果随着动机的增加而增加。因此，个性化视频推荐系统对于具有中等学习动机的个体来说是一个有用的学习工具。