我院新入职助理教授谢洪霞老师的论文“EmoVIT: Revolutionizing Emotion Insights with Visual Instruction Tuning”被计算机视觉与模式识别顶级会议CVPR 2024录用。论文第一作者为谢洪霞老师，合作者来自台湾阳明交通大学和台湾大学研究团队。谢洪霞老师在情感计算领域研究多年，以第一作者在计算机视觉顶级会议上发表多篇论文，如ICCV, ACM MM, IEEE Transactions on Affective Computing等。
视觉-语言预训练大模型在开放世界视觉理解方面表现出色，可应用于分类、检测、分割和字幕等多种视觉任务。情绪理解任务存在主观性和模糊性等难点，直接将现有大模型应用于情绪理解任务上还存在诸多挑战，其中一个是大模型的情绪理解能力易受人类语言指令差异的影响。
针对上述问题，该文提出了一种新颖的实例级大模型辅助视觉情绪指令数据生成流程，利用GPT-4生成动态的、根据视觉内容定制的实例化指令数据。这种方法不仅克服了数据可用性的挑战，还减少了人工依赖。文中实验表明：该方法展示出情感分类的熟练程度、情感推理的熟练程度以及理解幽默的能力。此项工作不仅为情感视觉指令调整范式提供了可靠的基准，还为相关方向的研究提供了新思路。
CVPR全称为国际计算机视觉与模式识别会议（Conference on Computer Vision and Pattern Recognition），人工智能领域顶级国际会议（CCF推荐A类国际会议）。CVPR 2024将于2024年6月17日到21日在美国华盛顿西雅图举办。
