近日,国际顶级学术刊物《IEEE Transactions on Pattern Analysis and Machine Intelligence》(PAMI)接收了我校信息科学与技术学院纪荣嵘团队的最新研究成果“Holistic CNN Compression via Low-rank Decomposition with Knowledge Transfer”。PAMI是计算机科学领域最顶级的国际期刊,其影响因子为 9.45。该论文提出了一种统一的全局卷积神经网络压缩框架,简称为LRDKT,其目标在于统一加速与压缩卷积神经网络。该框架首先利用一种带有闭合解的低秩分解技术分别加速卷积计算和压缩内存开销。为了有效提高压缩后模型的准确率及克服网络训练中的梯度消失问题,该框架提出了新的知识迁移,用于对齐压缩网络与原始网络之间的隐层的输出及最终网络输出结果。目前在多个公开的图像分类评测集和评测模型上,都取得最好的评估结果。该工作是我校博士生林绍辉和导师纪荣嵘教授团队的阶段性研究成果,目前论文相关代码已开源。团队该方向的前期成果已经发表在AAAI/IJCAI等CCF-A类国际会议上。
该论文由我校博士生林绍辉与其导师纪荣嵘教授(通讯作者)、硕士研究生陈超、悉尼大学陶大成教授、美国罗彻斯特大学罗杰波教授等合作完成,这也是我校研究生第二次在计算机领域的最顶级刊物上以第一作者身份发表论文,标志着我校信息学科研究生培养质量的突破。该项研究得到了国家重点研发专项(No.2017YFC0113000, and No.2016YFB1001503)、国家自然科学基金联合重点项目(No.U1705262)的资助。