(An assistive environment for EAL academic writing using formulaic sequences classification)

https://doi.org/10.1080/10494820.2020.1789670

一、摘要

研究目的：英语作为第二语言(EAL)的新手作者写一篇英语研究文章是一项具有挑战性的任务，需要句子和意义层面上的经验和训练。EAL作者在撰写研究文章时采用的一个策略是使用公式化序列(FSs)。然而，可用的FS语料库是通用的，大小非常有限。目前的工作提出了一个辅助环境，通过使用特定领域的FSs来提高学术写作。FSs是从已发表的文章中提取出来的，并使用机器学习技术根据修辞类别进行分类。然后，用户可以使用建议的原型从任何研究文章中搜索并添加他/她选择的新FSs。在实际环境中对该方法的有效性进行了评价。

研究对象：设计和开发一个使用机器学习的智能辅助学术写作系统，即一种监督学习方法。

实验结果：实验结果表明，实验组学生使用ARP写作系统在提高学术写作方面有积极的影响。与使用传统短语库方法的新手作者相比，使用建议原型的新手作者报告了明显更高程度的感知有用性。

二、研究问题

（1）采用ARP写作系统方法的学生是否比采用传统语料库的学生学习表现得更好?

（2）采用ARP写作系统方法的学生在技术接受度（有用性、易用性）和对学习方法的满意度是否形成正向的反馈？

三、研究设计

（一）实验工具

本研究的目的是设计和开发一个使用机器学习的智能辅助学术写作系统，即监督学习方法。该系统的总体架构分为两个主要阶段：训练阶段和测试阶段。建议的系统体系结构如图1所示。辅助修辞短语写作系统(ARP）

图1 系统结构

图2  实验过程

本研究采用的测量工具包括前测、后测、技术接受度问卷及感知问卷。

概要文件的引言和摘要部分作为本实验的预试。预测试的评估提供了学生在治疗前学术写作水平的指示。论文初稿的摘要和引言章节作为后验。由相同的评估者对后测进行了与前测相似的评估。

技术接受度调查问卷采用了Hwang等人的调查问卷(2013). 它总共由13个6点Likert量表项目组成，其中7个与“易用性”有关，6个与“有用性”有关。

感知问卷取自Chu等人（2010）的问卷。它由19个6点Likert量表项目组成，其中9个与“对学习方法的满意度”有关，另外10个与“参与学习活动的感知”有关。

（二）实验对象和方法

本研究的参与者是来自某大学信息技术学院的研究生(共58人，27名女性，31名男性)。这些学生正在攻读计算机科学硕士学位，主修人工智能(18人)、软件工程(22人)和计算机网络(18人)。入选的学生在2017年秋季学期入学，并在2018年秋季结束前完成了课程。每道题10分。学生在人工智能方面的平均成绩为20.05，软件工程20.10，计算机网络18.88。根据写作考试成绩，三个专业的学生被分为对照组和实验组。两组中得分最高和最低的学生被混在一起，以形成同质性。对照组由27名学生组成，其余31名学生被选为实验组。每个小组都由三个专业的学生组成。

四、研究结果

（一）成绩

在使用ARP原型干预前进行预测，以确定研究生的基线知识，了解干预后互动学习环境在学生写作方面的改善水平。表1显示了实验组和对照组前测的t检验结果。实验组的总均值为29.66，标准差为2.09，对照组的总均值为29.93，标准差为2.55，p值大于0.05。说明两组学生的技能水平和基线知识水平没有显著差异，即在干预前，两组拥有相同水平的写作技能。

表1 前测t检验结果

干预结束后进行后测，所有学生在后测中都取得了满意的成绩，但实验组的成绩更高。表4显示了后测分数的独立样本t检验结果，p < 0.05。这表明对照组和实验组的学术写作能力有很大的差异。实验组的总均值为47.50，标准差为2.44，对照组的总均值为36.87，标准差为3.22。预测时的平均分让人很难判断谁的表现更好，但在原型干预后，实验组的分数远远高于对照组。由此可见，该原型有助于提高研究生的学术写作水平。

***p<0.001.

表2  后测t检验结果

（二）技术接受度与满意度

在后期测试后，实验组学生被要求提供反馈，以衡量他们对所提出的写作方法的技术接受度和满意度。在收集学生对写作系统的“有用性”和“易用性”的反馈后，发现大部分学生给予了积极的反馈。“有用性”的平均评分为4.154，而“易用性”的平均评分为4.204。感知问卷中关于“对学习方法的满意度”的反馈也是积极的，平均评分为4.066。评分显示，学生们在提高他们的写作方面感到了该系统的好处。对“写作方法满意度”维度的分析表明，ARP写作系统不仅简单，而且使用起来很有趣。

五、结论

本文介绍了一个支持学术写作的辅助环境，以及它对计算机科学研究生的摘要和论文写作的实验结果。

该系统通过从已发表的文章中提取和分类句子，为新手作家提供特定领域的公式序列。结果表明，所提出的辅助环境提高了学生文章的写作质量和结构。这些发现似乎符合几位研究人员报告的公式化序列的使用(Grami & Alkazemi, 2016;哈蒙德,2018;Peters & Pauwels, 2015)，他们指出了语料库在英语作为附加语言(EAL)写作中的有效性。通过使用提出的机器学习应用程序(ARP)的实验证明，暴露于多个和特定领域的公式序列增强了EAL学生的学术写作技能。与那些遵循传统短语库方法的学生相比，经历了特定领域FS的学生取得了更高的分数。

目前工作的一个局限性是，只有科学领域的研究文章被用于训练和测试机器学习模型。社会科学研究领域有不同的公式化序列集，需要不同的特征提取集。本建议的意义不仅限于提高写作技巧，该方法可以推广到基于修辞句的研究论文相似度计算。