近日，我校计算机科学与技术学院青年教师柳欣以第一作者在国际权威期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》发表了题为“MTFH: A Matrix Tri-Factorization Hashing Framework for Efficient Cross-Modal Retrieval”的科研论文。

《IEEE Transactions on Pattern Analysis and Machine Intelligence》是人工智能、模式识别、图像处理和计算机视觉领域的顶级国际期刊之一，中科院JCR一区（TOP期刊）、中国计算机学会（CCF）A类期刊，在计算机科学与人工智能领域具有权威影响力，尤其强调模式分析与机器智能领域的前沿创新成果,当前影响因子为17.73。

柳欣及团队的研究创新地提出了一种通用跨媒体哈希检索框架。跨媒体检索旨在通过语义相关性，利用某一模态的数据（如文本）去检索其它模态的数据（如图片、视频等）。近年来，由于哈希方法能够提供更小的存贮代价和更高的检索效率，跨模态哈希方法受到了研究者的广泛关注。研究发现，多模态数据中不同模态数据的特征维度往往并不相同。目前大多数跨模态哈希算法常常采用统一哈希码或等长哈希码进行多模态数据刻画，然而这些限制难免会对其中某些模态数据的语义表达精度有所折损。同时，具有相同语义的多模态数据中还存在着大量的非成对数据，而针对这部分不成对数据的跨模态哈希分析却很少被关注。为解决这些问题，该研究创新地利用三重矩阵分解灵活提取出具有不同长度的哈希码来分别表示各自模态样本，并结合新颖的离散更新学习方法，使得学习到的哈希码具有更小的量化误差，判别性极佳。大量实验结果表明，该研究工作提出的跨媒体哈希检索方法能够广泛地适用于各种复杂场景，并同时具备处理成对数据和不成对数据的能力，对于各种原始特征的输入和参数的变化也具有较强的鲁棒性。

该研究论文第一完成单位为华侨大学计算机科学与技术学院，合作单位为美国纽约州立大学石溪分校和香港浸会大学。研究得到了国家自然科学基金和华侨大学中青年教师科技创新培育资助计划等项目的资助。

论文链接：https://ieeexplore.ieee.org/document/8827941

（值班编辑：吴江辉）