nav emailalert searchbtn searchbox tablepage yinyongbenwen piczone journalimg journalInfo journalinfonormal searchdiv searchzone qikanlogo popupnotification paper paperNew
2025, 05, No.221 53-65
面向同步在线讨论质量评价的多维多粒度分析模型构建与应用
基金项目(Foundation): 2023年度国家自然科学基金项目“面向学习过程性评价的高冲突、高维度、多模态数据协同融合方法研究”(编号:62377023); 2023年湖北本科高校省级教学改革研究项目“基于人工智能的线上课程讨论数据分析与学生评价方法研究”(编号:2023082); 华中师范大学2025年度数智赋能教育教学创新教学改革项目“生成式人工智能在大学英语通识课程教学中的应用探究——基于课程《与经典对话》的数智赋能教学模式创新”(编号:CCNU25JG09)
邮箱(Email):
DOI: 10.13927/j.cnki.yuan.20251031.001
摘要:

同步在线讨论是在线协作学习中一种用于促进学习者知识建构的重要手段。评价同步在线讨论质量有助于学习者和教学者及时发现学习问题,并进行干预和调节。然而,当前质量评价研究多在异步在线讨论情景下开展,且在评价维度、评价粒度与评价方法上有待向多元化视角拓展。因此,首先面向同步在线讨论情景提出了包含认知、行为、情感及社交四个评价维度和个体、小组与班级三个评价粒度的质量评价框架,并给出了基于在线讨论文本的评价指标自动化计算与融合方法。为进一步发挥评价的促学作用,随后在评价框架的基础上构建了多维多粒度分析模型,阐述了评价工作的主要流程,强调通过使用不同的学习分析方法来分析个体、小组、班级在四个评价维度上的特点与差异,实现对讨论质量的深度评价。最后,将其应用在某师范高校三个班级的同步在线讨论质量评价中以检验模型的可行性和有效性。应用结果表明:在个体层面,使用逐步多元回归分析可建立评价维度与课程成绩的关系模型;在小组层面,使用聚类分析可挖掘小组协作模式及其动态迁移特点,同时依据评价指标可进一步识别出讨论过程中的意见领袖和边缘参与者行为;在班级层面,使用可视化分析和高频关键词分析可对比分析班级间的整体表现与差异。

Abstract:

Synchronous online discussion is an important means to promote learners' knowledge construction in online collaborative learning. The evaluation of synchronous online discussion quality helps learners and teachers to identify learning problems in a timely manner and make interventions and adjustments. However, current research on the evaluation of online discussion quality mostly focuses on asynchronous online discussion scenarios, and the evaluation dimensions, granularity and methods need to be expanded from a diversified perspective. Therefore, this paper proposes a quality evaluation framework for synchronous online discussion scenarios, which includes four evaluation dimensions of cognition, behavior, emotion, and social interaction, as well as three evaluation granularities of individual, group, and class. It also provides a method for automatically calculating and integrating evaluation indicators based on online discussion texts. To further leverage the learning-promoting role of evaluation, this paper constructs a multidimensional and multigranularity analysis model based on the evaluation framework, elaborates on the main process of evaluation work, and emphasizes the use of different learning analysis methods to analyze the characteristics and differences of individuals, groups, and classes in the four evaluation dimensions, achieving a deep evaluation of the quality of online discussions. Finally, to test the feasibility and effectiveness of the model, it was applied to the evaluation of synchronous online discussion quality in three classes. The application results show that at the individual level, a relationship model between evaluation dimensions and course grades can be established using stepwise multiple regression analysis; at the group level, clustering analysis can be used to explore group collaboration patterns and their dynamic transition characteristics, and the behavior of opinion leaders and marginal participants in the discussion process can be identified according to the evaluation index; at the class level, visualization analysis and high-frequency keyword analysis can be used to compare and analyze the overall performance and differences between classes.

参考文献

[1]闫寒冰,段春雨,王文娇.在线讨论质量分析工具的研发与实效验证[J].现代远程教育研究,2018(1):88-97+112.

[2]王卫军,代亚萍,韩春玲,等.基于社会互动理论的协作式在线课程中讨论设计及促进策略探讨[J].电化教育研究,2019(1):87-94.

[3]Davidson-Shivers G V,Muilenburg L Y,Tanner E J.How do students participate in synchronous and asynchronous online discussions?[J].Journal of Educational Computing Research,2001(4):351-366.

[4]祁林亭,熊才平,葛军,等.基于分布式学习的协同知识建构影响因素分析[J].现代远距离教育,2016(3):51-59.

[5]陈向东,梁阳,孙欢.基于线索的在线异步交流分析——以“网络远程教育”在线课程为例[J].开放教育研究,2009 (1):70-74.

[6]彭绍东.混合式协作学习中知识建构的三循环模型研究[J].中国电化教育,2015(9):39-47.

[7]刘元春.构建多元评价体系[J].中国高等教育,2016 (2):5-7.

[8]余明媚,李文光,王新辉.在线讨论质量及其影响因素的小学生个案研究[J].中国电化教育,2010 (3):47-51.

[9]王卫军,蒋双双,杨微微.基于协作学习的在线课程设计探讨[J].电化教育研究,2016(2):68-74+101.

[10]Xing W,Li H,Kim T,et al.Investigating the behaviors of core and periphery students in an asynchronous online discussion community using network analysis and topic modeling[J].Education and Information Technologies,2025(5):5561-5588.

[11]Zhang E,Zhang L,Liu H,et al.Exploring peer facilitation and critical thinking in asynchronous online discussions:A lag sequential analysis approach[J].British Journal of Educational Technology,2025:1-25.

[12]胡婉青,李新,黄睿妍,等.基于深度学习的协作学习投入分析方法研究[J].电化教育研究,2024(5):67-74.

[13]吴林静,高喻,涂凤娇,等.数据驱动的多维融合在线协作会话可计算模型及应用研究[J].现代教育技术,2023(4):101-110.

[14]吴磊,牛纪梅,李志超,等.知识建构社区中共情模型与评价方法研究[J].现代远距离教育,2023(1):50-60.

[15]高倩倩,张思,童名文,等.多层级在线协作学习评估模型的构建及应用[J].现代教育技术,2023(10):98-107.

[16]Ba S,Hu X,Stein D,et al.Assessing cognitive presence in online inquiry-based discussion through text classification and epistemic network analysis[J].British Journal of Educational Technology,2023(1):247-266.

[17]何皓怡,刘清堂,张思,等.在线协同研讨知识建构行为的自动分析研究[J].现代教育技术,2022(5):93-101.

[18]吴林静,高喻,涂凤娇,等.基于语义的在线协作会话学习投入自动分析模型及应用研究[J].电化教育研究,2022(3):77-84.

[19]刘繁华,易锡添.在线学习投入的分析模型构建及应用研究[J].电化教育研究,2021(9):

[20]Rakovic M,Marzouk Z,Liaqat A,et al.Fine grained analysis ofstudents’online discussion posts[J].Computers&Education,2020,157:103982.

[21]周鹏,李环,郭美一,等.网络学习空间中教研交互评价模型及方法研究[J].电化教育研究,2020 (5):52-58.

[22]李艳燕,彭禹,康佳,等.在线协作学习中小组学习投入的分析模型构建及应用[J].中国远程教育,2020(2):40-48+77.

[23]张思,高倩倩,马怡敏,等.基于SouFLé 框架的在线协作学习分析模型[J].现代远程教育研究,2020(6):94-103.

[24]郑娅峰,徐唱,李艳燕.计算机支持的协作学习分析模型及可视化研究[J].电化教育研究,2017(4):47-52.

[25]冯晓英,郑勤华,陈鹏宇.学习分析视角下在线认知水平的评价模型研究[J].远程教育杂志,2016(6):39-45.

[26]黄庆玲,李宝敏,任友群.教师工作坊在线讨论深度实证研究——以信息技术应用能力提升工程教师工作坊为例[J].电化教育研究,2016 (12):121-128.

[27]王靖,崔鑫.如何支持与评价协作学习中的共享调节?——基于2007-2020年国内外共享调节研究的系统性文献综述 [J].远程教育杂志,2020(6):86-95.

[28]Janssen J,Erkens G,Kirschner P A.Group awareness tools:It’s what you do with it that matters[J].Computers in Human Behavior,2011(3):1046-1058.

[29]李宝敏,黄庆玲.助学者支持与教师工作坊在线讨论深度关系研究——以信息技术应用能力提升工程教师工作坊为例[J].电化教育研究,2018 (7):97-102+113.

[30]贾同,顾小清.基于多元评价的混合式协作学习效果实证分析[J].中国远程教育,2024(5):86-96.

[31]王云,李志霞,白清玉.在线讨论中动态学习情绪和认知行为序列的关系研究[J].电化教育研究,2020(6):60-67.

[32]刘君玲,张文兰,刘斌.在线协作交互文本编码体系的设计与应用——基于情绪交互视角的研究[J].电化教育研究,2020(6):53-59.

[33]张思,何晶铭,上超望,等.面向在线学习协同知识建构的认知投入分析模型及应用[J].远程教育杂志,2020(4):95-104.

[34]丁卫泽,熊秋娥.定量的内容分析:评价在线讨论质量的有效方法[J].中国远程教育,2009 (2):42-45+79.

[35]王丽英,张义兵.融合知识建构和机器学习的观点质量评价[J].现代教育技术,2020(11):62-69.

[36]马志强,王文秋.面向协作知识建构会话的智能观点分类研究——基于深度神经网络与会话分析的融合方法[J].现代教育技术,2022 (6):5-14.

[37]Castellanos-Reyes D,Olesova L,Sadaf A.Transforming online learning research:Leveraging GPT large language models for automated content analysis of cognitive presence[J].The Internet and Higher Education,2025,65:101001.

[38]Strauβ S,Rumme N.Promoting regulation of equal participation in online collaboration by combining a group awareness tool and adaptive prompts.But does it even matter?[J].International Journal of Computer-Supported Collaborative Learning,2021(1):67-104.

[39]刘清堂,黄景修,蒋志辉,等.面向在线讨论的时间序列建模实验[J].现代教育技术,2019 (5):39-45.

[40]胡金艳,满其峰,蒋纪平,等.开放自适应学习平台中的异步交互行为分析——以知识论坛为例[J].电化教育研究,2023 (4):79-85.

[41]Wu L,Li J,Liu Q,et al.Information measures of knowledge contribution:A new method to measure knowledge contribution in collaborative knowledge building:An information theory perspective[J].Journal of Educational Computing Research,2021(7):1319-1342.

[42]孙建文,胡梦薇,刘三女牙,等.多维异步在线讨论行为特征分析与学习绩效预测[J].中国远程教育,2022(5):56-63.

[43]吴永和,钱雨,郭胜男,等.迈向可信学习分析:报告解析、结构模型与未来生态——2023年学习分析与知识国际会议评述[J].现代远距离教育,2023(5):3-15.

[44]班文静,姜强,赵蔚.基于多算法融合的在线学习成绩精准预测研究[J].现代远距离教育,2022(3):37-45.

[45]于玻,徐珺岩,谭律岐.基于社会网络和话题相似度的cMOOC学习者聚类研究[J].开放学习研究,2020(1):10-21.

[46]余明华,张治,祝智庭.基于可视化学习分析的研究性学习学生画像构建研究[J].中国电化教育,2020(12):36-43.

[47]马志强,郭文欣,王萌.面向协作知识建构会话内容的智能挖掘分析[J].现代远距离教育,2022(1):3-13.

[48]李海峰,王炜.学习分析研究:基本框架和核心问题——2022版《学习分析手册》的要点与思考[J].开放教育研究,2022(6):60-71.

[49]刘清堂,曹天生,尹兴翰,等.面向边缘讨论参与行为的人机协同学习干预模型构建及其应用[J].现代教育技术,2024(5):105-113.

[50]刘清堂,武鹏,张思,等.教师工作坊中的用户参与行为研究[J].中国电化教育,2016(1):103-108.

[51]吴明隆.问卷统计分析实务:SPSS 操作与应用[M].重庆:重庆大学出版社,2010.

基本信息:

DOI:10.13927/j.cnki.yuan.20251031.001

中图分类号:G434

引用信息:

[1]肖克江,陈亮,张成,等.面向同步在线讨论质量评价的多维多粒度分析模型构建与应用[J].现代远距离教育,2025,No.221(05):53-65.DOI:10.13927/j.cnki.yuan.20251031.001.

基金信息:

2023年度国家自然科学基金项目“面向学习过程性评价的高冲突、高维度、多模态数据协同融合方法研究”(编号:62377023); 2023年湖北本科高校省级教学改革研究项目“基于人工智能的线上课程讨论数据分析与学生评价方法研究”(编号:2023082); 华中师范大学2025年度数智赋能教育教学创新教学改革项目“生成式人工智能在大学英语通识课程教学中的应用探究——基于课程《与经典对话》的数智赋能教学模式创新”(编号:CCNU25JG09)

检 索 高级检索