乂学教育-松鼠AI承办，IJCAI研讨会聚焦多模态数据提升人类学习

学习到底是什么？

人类对于学习的认知往往受制于我们的 感知 能力和衡量标准，这也是为何千年以来人类学习的进化速度异常的缓慢。

然而，现代多模态传感数据的处理能力日新月异，通过在实际的教育过程收集到的学生生理信号、言语表达、面部表情、姿势等多模态数据，科学家们正在以一种新的视角重新审视和理解学习。

中国教育行业正在经历一场以数据和 人工智能 为核心的技术变革，这也是为何在今年8月10日-16日于澳门举办的国际 人工智能 联合会议上（IJCAI）上，围绕多模态 数据分析 和智能教育的研讨会AIMA4EDU受到了业内极大的关注。

AIMA4EDU，全称为“基于 人工智能 的多模态分析用于理解现实世界教育环境中的人类学习”，由中国 人工智能 教育独角兽乂学教育- 松鼠AI 联合举办，8月11日举办为期一天。研讨会除了颁发最佳论文和最佳学生论文之外，还邀请了来自加州伯克利大学、孟菲斯大学和 松鼠AI 的专家，分享他们基于多模态数据的教育前沿研究。

明年的AIMA4EDU研讨会将与IJCAI 2020一起在日本横滨举办。

最佳论文

获得最佳论文的是来自荷兰开放大学和德国莱布尼茨教育研究和信息研究所的“Multimodal Pipeline: A generic approach for handling multimodal data for supporting learning（多模态工作流：用于处理多模态数据以支持学习的通用方法）”。

多模态工作流是一种用于支持学习的多模态数据的收集、存储、注释、处理和利用的方法。 在目前的发展阶段，多模态工作流由两个相关的原型组成：1） 多模态学习 中心，用于收集和存储来自多个应用程序的传感器数据；2）可视化检查工具，用于可视化和记录所记录的会话。 多模态工作流可用于支持各种学习场景，如演示技巧、患者人体模型的医学模拟等，可以提供不同的支持策略，包括检测错误，并在智能辅导系统中提示实时反馈，或通过学习分析仪表板激励自我反省。论文链接在 此。

最佳学生论文  

获得最佳学生论文的是来自新南威尔士大学研究团队的“Deep Multi-agent Attentional Learning for Cognitive Attention Analysis in Educational Context（深层多智能体学习在教育语境中的认知注意力分析）”。

传感系统的最新发展允许连续产生大量传感数据，这使得复杂的学习成为可能。为了应对日益增长的对教育问题的关注，本文将学生的EEG信号与教育背景下的认知注意状态联系起来。研究团队考虑人类关注的两个固有特征，即空间 - 时间上不同的特征显着性和个体特征之间的关系。 基于这些，本文提出了一种多智能体时空关注模型。时空关注机制有助于智能地选择信息渠道及其活跃期。 并且所提出的模型中的多个智能体表示具有集体全局选择的单个特征的生理现象。 通过共同目标，智能体共享获得的信息并协调他们的选择策略以学习最佳的注意力分析模型。论文链接在 此。

以下是大会演讲的亮点汇总：

孟菲斯大学 Frank Andrasik ：关于神经反馈治疗自闭症谱系障碍的方法论思考

Andrasik博士目前担任田纳西州孟菲斯大学心理学系行为医学中心的杰出教授、主席和主任。他在1979年获得俄亥俄大学临床心理学博士学位，至今发表过大约270篇文章，并发表了大量演讲。Andrasik博士同时还是心理学家，以及Applied Psychophysiology和Biofeedback两份刊物的主编。

Andrasik博士的演讲讨论了神经反馈（Neurofeedback）在治疗自闭症谱系障碍患者（Autism Spectrum Disorder，简称ASD）的方法论。ASD简单而言就是自闭症，但是一个更广义上的医学名词。

脑神经反馈训练则是目前一种比较新颖的治疗手段，通过检测患者的脑波活动状态，针对大脑薄弱的区域通过特殊的手段锻炼大脑神经。在过去三年，这项技术呈现井喷式增长，并且开始大量用于商业化，位于佛罗里达的Neurocore是目前美国最大的神经反馈服务供应商之一，美国教育部长贝齐·德沃斯（Betsy DeVos）拥有该公司的部分股权。

尽管神经反馈的发展迅猛，但Andrasik博士列举了该治疗技术在过去几年出现的问题：比如安慰剂效应，忽略了衡量维度，缺乏长期跟踪患者状态的机制。

神经反馈公司夸大的宣传也是行业的普遍现象：美国联邦贸易委员会指控Lumos游戏的创建者Lumos Labs欺骗消费者，毫无根据地声称他们的游戏可以帮助患者在工作和学校中表现更好，并减少或延迟与年龄和其他严重健康状况相关的认知障碍。

那么该如何推动这个行业前进？Andrasik博士总结了七个方向：

1. DSM-5提高诊断精度。DSM-5是美国精神疾病诊断与统计手册第五版，把当代人们所有因为情绪控制不当和各种奇葩的病症列为各类轻~重型精神病；
2. 认识到皮质缺乏不是症状的唯一原因。 外周生理活动、例如心率及其变异性，与神经生理学信号密切相关，并与社会参与度有关；
3. 确定反应的预测因素，治疗可能需要40-80个疗程；
4. 利用非接触式电容式EEG电极，基于近红外光谱（NIRS）的传感器，可穿戴式头盔设备等，在最需要的环境中每天练习；
5. 加强对治疗机制的关注；
6. 利用机器学习 方法；
7. 关注在真实环境而不是实验室环境中的功效。

松鼠 AI  首席架构师、 Richard Tong ：基于智能体的自适应教学系统设计框架

松鼠AI 首席架构师Richard Tong曾担任过Knewton的大中华区负责人和Amplify Education的解决方案架构总监，除此之外，他还是IEEE AIS（自适应教学系统）标准工作组成员以及互操作性小组的主席（IEEE 2247.2）。

Richard Tong介绍了 松鼠AI 建立自适应教学系统框架的初衷和细节。他认为，阻挡优质教育的普及和规模化的最大障碍来自于三点：成本、可行性、系统惯性。基于此， 松鼠AI 坚信教育方法需要重新定义：

• 每个学生都不同，任何基于团队的教学都不能有效地利用学生的时间；
• AI现在可以提供大规模的连续自适应一对一体验；
• 人类教师（教练）应提供有针对性的、社会的和具有动机的个人支持。

那为什么教育需要一个基于智能体的框架？Richard 认为，一个智能体框架能设计出更好的教育过程：

• 智能体更好地了解整个教育过程和产品，学习的关键条件可以在智能体框架中得到很好的体现，包括学习的准备、学习能力、以及学习环境；
• 智能体框架是一个发生学习的自然框架，可以更好地帮助学生学习科学，拥有更好的可解释性和人机界面设计；
• 更好地智能体设计可以更好地设计教育系统，智能体的水平应主要通过智能体改善学习成果的能力来衡量，而不是通过实施方法的复杂程度来衡量

Richard 简单介绍了 松鼠AI 自适应教学系统的设计框架，主要由三部分组成：一个教学智能体，学习拥有 本体 层、传感器、资源和工具；一个复合模型，包含领域模型、学习模型、交互模型；以及一个教学模型，可以看成是一个 强化学习 的策略，有行为、规则、和奖励函数。

在整个框架下， 松鼠AI 设计了四种智能体：外环智能体、内环智能体、伴侣智能体、模拟学生智能体。

需要着重了解的是这个外环-内环框架机制，也可以理解宏观-微观适应性架构。外环智能体会遍历一个动态的任务序列，结合 本体 层的学习地图和内容地图以及算法层的学生画像、知识状态评估、推荐引擎，为学生选定合适的任务进行学习。

内环智能体则是获得一个动态的学习行为，遍历学习一个任务的不同步骤，架构类似但不同的模块更加细分。这使得 松鼠AI 的系统真正具有适应性 - 不仅可以提供有关任务的反馈，还可以提供各个步骤的反馈。将两者结合之后得到的智能体学习行为，会保存在LRS中作为智能体先前的学习历史。

Richard也列举了目前依然遇到的挑战，比如：智能体之间的交流、 本体 层、传感信息的融合、以及上下文信息的同步。 松鼠AI 的下一步是进行更多的联合研究，目前已经和卡内基梅隆大学以及斯坦福大学达成联合研究的项目；做更多的参考设计和实验；标准化系统之间的智能体接口和其他组件。

松鼠 AI  KP Thai ：用于多模态教学和学习分析的大规模数据集

松鼠AI 的高级学习和 数据科学 家KP Thai博士主要介绍了 松鼠AI 研究团队的最新成果：一个用于多模态教学和学习分析的大规模数据集MULTA。

Thai博士介绍称，搭建这个数据的原因是高频多模态数据采集技术和AI/ML分析技术的进步可以为学习提供新的见解，但目前公开的可用的数据集并不多，尤其是来自现实世界的学习环境、 松鼠AI 希望通过发布数据集以帮助探索 多模态学习 分析和 数据挖掘 ，促进教学和学习的进步。

松鼠AI 收集了来自两个课后学习中心的156名中学生的数据，他们参与了5个科目：数学、英语（语法和阅读）、中文、物理、化学。在五周的时间里，学生们被要求佩戴脑波耳机并进行录像。

在学习过程中， 松鼠AI 收集了其系统上的用户记录、脑电波（使用BrainCo的脑电图头带）、以及网络摄像头视频（通过Debut视频录制软件的网络摄像头）。研究团队将脑电波和网络摄像头视频同步到用户记录上，根据时间同步三个数据源，基于不同的问题分割脑波和网络摄像头视频数据。

数据集目前还存在一些不足，比如数据收集过程并未如同设想的一致，导致可用数据少于预期

网络摄像头和脑波数据的长度与课程长度不同，网络摄像头没有正确设置等等。

未来， 松鼠AI 将优化数据收集和准备过程，继续收集数据，寻求多模态之间同步的工具，并更好地理解脑电波的特征表示。

后文将对其余演讲者的内容做简单介绍：

来自新南威尔士大学的研究团队介绍了他们的最新论文“On Using EEG Signals for Human Attention Estimation（用EEG信号进行人体注意力估计）”。EEG信号是估计人类注意力的主要媒介。当前的EEG研究通常需要针对不同受试者的适应步骤，然后脑计接口经过调整后才能用在新的实验者身上，这会耗费大量的时间和人力。研究者提出了卷积递归 注意模型 （CRAM），利用 卷积神经网络 编码脑电信号的高级表示和反复注意机制，以探索脑电信号的时间动态，并专注于最具辨别力的时间周期。

来自北京交通大学和北京师范大学的研究团队介绍了他们的最新论文“Understanding Schoolchildren Test Anxiety through Online Writing Analysis（通过在线写作分析了解学童考试焦虑）”。如何科学有效地判断学生是否有考试焦虑，从而及时给予帮助是一个值得关注的研究 课题。与高成本的自我报告相比，本文的研究试图通过分析在线写作来了解考试焦虑的表现并预测个体考试焦虑的程度。研究发现考试焦虑与一些写作习惯有关，例如易用词的使用频率和猜测词的使用类型。 通过应用 机器学习 技术，建立并评估基于在线书写数据的考试焦虑预测模型。 随机森林 回归器目前实现了最佳性能。

来自悉尼科技大学、南京航空航天大学、和北京化工大学的研究团队介绍了他们的最新论文“Student Sentiment Analysis Through Students’ Assignments（通过学生作业分析学生情绪）”。学生情绪分析对学生管理学习和生活至关重要。为了解决这个问题，本文提出了一个分层的学生情绪分析框架来分析学生的作业情绪。 该框架包括两个流：参考流和学生语句流，它们能够从引号和引用中分析部分学生情绪。 实验结果证明这个框架在大学生作业数据集方面优于其他竞争对手。

来自悉尼科技大学和蒙纳士大学的研究团队介绍了他们的最新论文“Universal Graph Embedding for Heterogeneous Study-trajectory Graph（用于异构研究轨迹图的通用图嵌入）”。当前的学习兴趣发现方法使用单个时间序列单调地模拟每个学生的学习轨迹，忽略了学生和课程之间的相互依赖性。 本文中将学生和课程构建为研究轨迹图中的异构节点源，并提出了一种通用图嵌入框架（UGE）来同时捕获同质节点之间的相互关系以及异构节点之间的相互依赖性。