近日，烟台大学计算机与控制工程学院刘志中教授团队，在多模态情感分析方面的最新研究成果发表在国际顶级期刊《Knowledge-Based Systems》(KBS)上。该期刊主要报道计算机、人工智能相关领域最新研究成果与应用实践，属于国际一流期刊(中科院SCI一区Top期刊，影响因子7.6)。所发表论文的题目为“Personalized Multimodal Sentiment Analysis under Uncertain Modalities Missing via Pretraining and Online Learning”。

该研究工作首次提出了“不确定模态缺失环境下个性化多模态情感分析”这一挑战性问题，基于预训练与在线学习思想，设计了一种个性化多模态情感分析模型(如图1所示)；具体地，通过基于公用数据集的预训练操作使所设计的模型具备初步的个性化情感分析能力；再通过所设计的在线学习策略，使模型实现对个性化用户特征的在线学习，最终实现对个性化用户情绪的准确识别。该研究成果在智慧养老、智慧教育、抑郁症患者监护、智能交通等领域具有较好的应用价值。

图1 个性化多模态情绪识别模型结构图

该研究成果提出了两项关键技术：一是重用融合模态进行缺失模态补全。该方法首先使用神经网络评估模块为融合模态中的每个模态分配不同的权重，然后将融合模态与每个加权后的模态进行融合，从而优化与补全每个模态。二是提出了一套在线学习策略，包括自适应学习率调整策略、在线元学习策略以及自适应权重分配策略，从而赋予模型较好的在线学习能力。

该研究成果以烟台大学为第一单位，研究生孙鸿祥为第一作者，刘志中为通讯作者。近年来，该团队持续深入多模态情感分析方法研究并取得了一系列研究成果，已发表中科院SCI一区期刊论文3篇。该研究工作是在国家自然科学基金面上项目、山东省自然科学基金重点项目的资助下完成的。

来稿时间：9月10日  审核：刘俞斌   责任编辑：刘运正