近日，2023腾讯AI Lab犀牛鸟专项研究计划入选项目名单公布，香港科技大学（广州）信息枢纽人工智能学域助理教授刘李主导的项目《基于先验表征扩散模型的Cued Speech多模姿态生成研究》成功入选立项名单。据了解，本年度腾讯AI Lab犀牛鸟专项研究计划得到了85所高校194位学者的申报，其中985等头部高校学者占比超88%，入选率仅为约11%。
Cued Speech，中文译为“线索语”，于1967年起源于美国，是一种利用手的提示来补充唇读不足的语言编码系统，主要供聋人以及听障人士使用。目前，Cued Speech在世界范围已经成功地应用于60多种语言，包括英语、法语以及西班牙语等。2019年，刘李与合作者开创性地提出并发表了首个中文线索语系统（下文称统为线索语）。
与手语不同，线索语并不是一种语言，而是一种语言的编码系统。
它通过特定手部动作将元音和辅音可视化表达出来，能让人们在大脑当中建立与发音的联系，从而让听障人士理解文字，掌握和使用正常的语言。据刘李介绍，实验表明，被试者普遍在平均24小时内能学会这套系统。手语则是一种独立的语言，语序、句法等和普通人使用的文字语言完全不同，往往在较短时间内很难快速掌握。对于一些先天具有听力障碍的儿童来说一般在几岁才能逐渐开始理解并流畅使用手语，这可能会影响他/她们智力和认知水平的发展。
据刘李介绍，目前很多科技企业已经开始尝试利用人工智能的图像识别、深度学习等技术，通过识别手语来帮助听障人士和听力正常人士的沟通。然而，受制于不同地区之间的手语相差甚远、相同的手势可能表达多种不同的意思等因素，目前对于手语的解码效果还有待进一步提升。而线索语系统则以音标为基础，通过人工智能的多模态特征对线索语进行提取，能够实现对听障人士语义更加精确的识别，此次入选立项名单的项目正是线索语与人工智能的结合。展望未来，以线索语驱动生成的数字人，可以实现听力系统正常人发出的语音信号与听障人士传递出的线索语之间的信息互通，从而达到无障碍沟通的效果。
刘李呼吁社会对线索语系统予以更多重视。在她看来，线索语有非常广阔的应用场景：例如在聋哑学校中，正常听力的老师可以借助该系统给听障学生们授课，帮助他们更好地理解授课内容，提高学习效率。同时，该系统也可以帮助老师更好地与听障学生们进行交流，提高教学质量。线索语系统还能够应用于无障碍信息沟通、跨语言沟通和语言学习、教育和研究等等。
据了解，腾讯AI Lab致力于基础技术研发与核心关键技术攻关，持续研发和落地AI新技术，推动AI在产业创新中的新应用，探索AI赋能科学发现的新范式。2023年腾讯AI Lab的研究计划侧重在原创性引领性科技攻关，主要关注开放机器学习、计算机视觉与图形学、自然语言处理、语音技术、机器人等五大研究主题。
–
刘李，现任香港科技大学（广州）信息枢纽人工智能学域助理教授。2015年10月到2018年9月，她在法国格勒诺布尔阿尔卑斯大学（Universite Grenoble Alpes）和法国国家科学研究中心（CNRS）共属的GIPSA-lab实验室攻读工程与机器学习博士，并于2018年9月11日获得博士学位。从2018年9月到2019年9月，她在加拿大多伦多瑞尔森大学（Ryerson University）计算机工程学院从事博士后研究。她的主要研究方向是多模态视听语音识别与生成，医疗人工智能、人工智能鲁棒性。她目前在计算机视觉与人工智能领域已以第一作者身份或通讯作者发表论文30多篇，其中包括此领域顶级杂志和会议TPAMI、TMM、TMI、Neurips、ECCV、 MICCAI、ICASSP等。她担任2022年语音信号处理顶会ICASSP的Local Chair (China site) 以及2023 ICIG Area Chair。她曾荣获“深圳市海外高层次人才-孔雀人才计划”。她作为项目负责人，正在主持国家自然科学基金委员会-青年基金项目、广东省区域联合基金-青年基金项目、阿里巴巴创新研究计划项目以及腾讯公益创投计划项目等。她的两篇文章获得2022年深圳市人工智能最佳论文。她曾在2017年荣获法国Sephora Berribi数学与计算机领域女性科学家奖学金（全球当年共四位，法国与以色列各两位）。
–
文章转载自香港科技大学（广州）公众号