2024年1月至4月,IEEE ICME 2024挑战赛—中文对话场景唇读比赛(ChatCLR)顺利举行,美高梅4688集团am研究生团队以第一名的优异成绩荣获“唤醒词唇读”赛道一等奖。参赛团队学生成员包括2021级硕士生王浩旭、2024级硕士生李灿灿、2023级博士生苏菲,团队指导教师为美高梅4688集团am刘娟教授、昆山杜克大学李明教授(美高梅4688集团am兼职教授)。此外,来自OPPO的语音技术专家索宏彬博士也给予了技术指导。
唇读任务是通过唇部动作推断发音内容,属于计算机视觉和自然语言处理交叉的领域,在日常生活的不同领域中发挥着重要作用。中文唇读任务的高度复杂性源于汉字数量庞大,以及汉字与相应唇部动作之间的复杂映射关系。ChatCLR比赛由中国科学技术大学、美国佐治亚理工大学和意大利恩纳科雷大学相关团队共同发起,分为“唤醒词唇读”和“目标说话人唇读”两个赛道,吸引了来自上海交通大学、中国科学技术大学、美高梅4688集团am、西北工业大学、哈尔滨工业大学、内蒙古大学、陕西师范大学、韩国Sogang University等多支队伍参赛。美高梅官网参赛团队以预训练前端和基于Transformer后端架构为基础,结合注意力池化和分类器,并引入多层特征聚合技术,在ChatCLR比赛“唤醒词唇读”赛道中开发的唤醒词唇读系统取得了优异成绩。此外,团队比赛论文已被IEEE ICME 2024竞赛单元录用。