2019年6月15日上午,美国阿肯色大学徐晓伟教授应太阳成集团tyc4633(中国)有限公司-百度百科邀请,在计算机楼A521报告厅作了题为“Multi-Resolution Models for Learning Multilevel Abstract Representations of Text”的学术报告。
徐晓伟教授,美国阿肯色大学-小石城分校信息科学系知识发现和数据挖掘(Advanced Knowledge Discovery and Data Mining Research Laboratory)实验室主任;兼任阿肯色大学数学系教授。1983年在南开大学数学系获得学士学位,1987年在中国科学院沈阳计算技术研究所获得硕士学位,1998年在德国慕尼黑大学(University of Munich)获得博士学位。徐晓伟教授的研究领域包括数据挖掘、机器学习、生物信息、数据管理及高性能计算,曾多次在模式识别和数据挖掘领域的知名国际会议上作大会特邀报告,在学术期刊上发表具有原创性的研究成果。其中,他提出的基于密度聚类的一系列理论算法被写入教科书。
在本次报告中,徐晓伟教授首先对传统的神经网络模型进行了深刻的分析,接下来分别介绍了文本挖掘领域最重要的Embedding步骤里采用的最新算法Global Vectors (GloVe)、fastText、Embedding from Language Models(ELMo)和Bidirectional Encoder Representations from Transformers (BERT)等。在此基础上,徐教授介绍了他们团队近期的研究成果。首先,将各个Embedding算法进行一个类似于组合的过程,大幅度提升了文本挖掘工作中Embedding过程的准确率。在接下来的处理步骤中,又提出了一个全新的并且覆盖范围极广的神经网络模型,几乎涵盖了现今使用的传统神经网络模型的全部算法,同时对所提出模型的评价标准做了详细的解释。多组实验对比结果证明了该模型的准确性及普适性是极为优越的。最后,徐教授介绍了下一步研究计划:第一,要严格通过数学证明该算法的合理性;第二,能否找到更加适合的损失函数(比如基于聚类算法的思想),以进一步提升该模型的性能;第三,徐教授提到该算法不仅仅只能应用在文本挖掘领域内,也希望大家能提出好的想法,将该算法的应用拓展。
报告后,徐晓伟教授与到场师生进行了深入的交流与讨论,解答了大家对于文本挖掘和深度神经网络所提出的问题。本次讲座不仅提高了大家关于深度神经网络的了解,也令大家对于文本挖掘和数据挖掘领域产生了浓厚的兴趣。