系统介绍
研究进展
系统下载
用户意见
技术支持
联合实验室
 
 
 


最新动态

新版中国手语合成系统V2.0在北京四所聋校成功通过测试 (2004-05-17)
手语识别与合成项目组参加了CCBN展会 (2004-03-25)
“基于多功能感知理论的中国手语识别与合成研究”项目获得2003年度国家科学技术进步二等奖 (2004-02-23)
“基于多功能感知理论的中国手语识别与合成研究”项目通过 2003 年度国家科学技术进步奖初评 (2003-09-01)
中国手语合成系统捐赠仪式在北京举行(2003-03-20)
“中国手语合成系统”评估会在京召开(2003-02-27)
研究人员
项目负责人
  首席科学家 高文 教授
历任课题组成员
  宋益波教授,尹宝才教授,晏洁博士,徐琳博士,李治国硕士
课题组成员
  王兆其研究员,陈益强博士,杨长水,姜大龙,刘军发,葛春宝,朱文辉

研究内容

基于运动跟踪的手语三维运动数据获取方法,利用数据手套以及运动跟踪器,就可以获取精确的手语三维运动数据。利用此方法,本项目完成中国手语共5596词的数据获取工作,形成中国手语立体显示数据库。

基于虚拟人合成技术的中国手语合成方法。在虚拟人合成技术上,我们提出了基于多方向纹理映射的人脸合成方法,面向Mpeg4的任意人脸网格驱动方法,基于控制点的手语编辑方法,基于机器学习的语音唇动同步方法以及基于数据挖掘的语音唇动手语协同方法。利用以上方法,本项目完成面向运动跟踪设备获取数据的虚拟人手语显示,虚拟人可以利用多模式(语音,唇动,手势)协同完成手语表达。

发表文章

[1]姜大龙, 高文, 王兆其, 陈益强. 面向纹理特征的真实感三维人脸动画方法. 计算机学报, Vol.27,No.6,pp750-757, 2004年06月
[2]杨长水, 王兆其, 高文, 陈益强. 个性化虚拟人体模型骨架生成方法. 计算机辅助设计与图形学学报, Vol.16,No.1,pp67-73, 2004年01月
[3]王兆其,杨长水,高文。基于VRML的中国手语三维显示。计算机研究与发展,2003年,40(3):459~463
[4] W Gao, Y Q Chen, G L Fang, C S Yang, D L Jiang, C B Ge, C L Wang. HandTalker II: A Chinese Sign language Recognition and Synthesis System. The Eighth International Conference on Control, Automation, Robotics and Vision, Kunming, China, Dec.6-9,2004
[5]Wenhui Zhu, Yiqiang Chen, Yanfeng Sun, Baocai Yin, Dalong Jiang. SVR-Based Facial Texture Driving for Realistic Expression Synthesis. Third International Conference on Image and Graphics(ICIG2004). Dec.18-20,2004
[6] Wen Gao, Yiqiang Chen, Rui Wang, Shiguang Shan and Dalong Jiang. Learning and Synthesizing MPEG-4 Compatible 3-D Face Animation from Video Sequence. IEEE Transactions on Circuits and Systems for Video technology. Vol.13, No.11, pp1119-1128,Nov.2003
[7] Dalong Jiang, Wen Gao, Zhaoqi Wang, Yiqiang Chen. Realistic 3D Facial Animation with Subtle Texture Changes. The 4th International Conference on Information, Communications & Signal Processing - 4th IEEE Pacific-Rim Conference On Multimedia (ICICS-PCM2003), Singapore, Dec.15-18,2003
[8] Y.Chen,W.Gao,G.Fang,C.Fang,C.Yang,Z.Wang,CSLDS:Chinese Sign Language Dialog System, Analysis and Modeling of Faces and Gestures(2003IEEE),17 October 2003.Nice,France:236~237
[9] 王兆其,高文,基于虚拟人合成技术的中国手语合成方法,《软件学报》,13(10):2051-2056,2002。
[10] 王兆其,高文,陈益强,杨长水,左力,姜大龙,李治国,虚拟人行为交互方法的研究,第一届全国虚拟现实与可视化学术会议CCVRV'01,2001.11,北京。
[11] 陈益强,高文,王兆其,杨长水,姜大龙,"多模式语音合成",第六届全国人机语音通讯学术会议NCMMSC6,p163-168,2001.11,深圳
[12] 陈益强,高文,王兆其,姜大龙,基于机器学习的语音驱动人脸动画方法,《软件学报》,2001,已录用。
[13] 陈益强,高文,王兆其,左力,姜大龙,基于数据挖掘的语音驱动三维人脸动画合成 ,系统仿真学报,Vol.14, No.4 496-500,第一届全国虚拟现实及可视化技术会议优秀论文
[14] 杨长水,王兆其,高文,基于WEB的手语新闻虚拟主持人的研究与实现,第一届全国虚拟现实与可视化学术会议CCVRV'01,2001.11,北京。
[15] 姜大龙,王兆其,高文,基于MPEG-4的三维人脸动画实现方法,第一届全国虚拟现实与可视化学术会议CCVRV'01,2001.11,北京。
[16] 王兆其,高文,徐燕,一种基于传感器的人体上肢运动实时跟踪方法,《计算机学报》,24(6):616-619,2001。
[17] 高文,陈熙霖,马继勇,王兆其,基于多模式接口技术的聋人与正常人交流系统,《计算机学报》,23(12):1253- 1260, 2000.
[18] 王兆其,虚拟人合成研究综述,《中国科学院研究生院学报》,2000, 17(2):89-98.
[19] 王兆其,杨长水,虚拟主持人的设计与制作,动画与特技,2002年第9期:14~16
[20] 李治国,姜大龙,高文,王巍,全自动的基于MPEG-4的任意拓扑结构人脸动画实现方法,计算机辅助设计与图形学学报
[21] Yiqiang Chen, Wen Gao, Zhaoqi Wang, Li Zuo, Speech driven MPEG-4 based face animation via neural network(286KB), The Second IEEE Pacific-Rim Conference On Multimedia 2001, October 24-26, 2001, Beijing, China.
[22] Yiqiang Chen,Wen Gao,TingShao Zhu,Charles Ling,Learning prosodic patterns for mandarin text to speech,The Journal of Intelligent Information System,Vol 19, No 1 95-109,Jun-02
[23] Yiqiang Chen,Wen Gao,Zhaoqi Wang,Changshui Yang,Dalong Jiang Text to Aatar in Multimodal Human Computer Interface,Asia-Pacific Human Computer Interface (APCHI2002),2002,accepted
[24] Yiqiang Chen,Wen Gao,Zhaoqi Wang,Li Zuo,Speech Driven Mpeg4 based Face Animation via Neural Network,In Proc. IEEE Pacific Conference on Multimedia, (PCM2001),pp1108-1113,2001/10/24-26
[25] Yiqiang Chen,Wen Gao,Zhaoqi wang,Jun Miao,Dalong Jiang,Mining Audio/Visual Database for Speech Driven Face Animation,In Proc. IEEE International Conference on System Man and Cybernetics (SMC2001),pp2638-2643,Oct-01
[26] Yiqiang Chen,Wen Gao,TingShao Zhu,Jiyong Ma,Multi-strategy Data mining framework for mandarin prosodic pattern International Conference on Spoken Language Processing (ICSLP2000),Vol.2, 59-62,2002
[27] Yiqiang Chen,Wen Gao,Hand Gesture Recognition Based on Decision Tree,International Symposium of Chinese on Spoken Language Processing (ISCSLP2000),pp209-303,2000
[28] Yiqiang Chen,Wen Gao,TingShao Zhu,Linguistic Feature selection for mandarin fundament frequency,International Symposium of Chinese on Spoken Language Processing (ISCSLP2000),pp137-141,2000
[29] Yiqiang Chen,Wen Gao,Data mining in Speech Synthesis In Proceeding of SCI2000 Vol.III, pp58-63,Orlando, Florida, USA,2000/7/23-24
[30] Dalong Jiang,Wen Gao,Zhiguo Li,Zhaoqi Wang,Animating Arbitrary Topology 3D Facial Model Using the MPEG-4 FaceDefTables The fourth International Conference on Multi-modal Interface, IEEE ICMI'2002,Pittsburgh, USA,2002-10-14
[31] Dalong Jiang, Zhiguo Li, Zhaoqi Wang, Wen Gao, Animating 3D Facial Models with the Mpeg-4 FaceDefTables, 35th Annual Simulation Symposium, 2001.
[32] Xu Lin,Gao Wen,Yao Hongxun,Ma Jiyong,Study on Machine Translation of Rule-Based Chinese Sign Language,Journal of Computer Science and Technology,2000
[33] Xu Lin,Gao Wen,Human-Computer Chinese Sign Language Interaction System International Journal of Virtual Reality,2000
[34] 徐琳,高文,面向机器翻译的中国手语的理解与合成,计算机学报,Vol 23,No.1,pp.60-65,2000

研究成果

技术专利

专利名称 性质 申请号 时间 申请人 单位 状态
基于控制点运动编辑的手语词汇运动数据库生成的方法 发明 01115947.2 2001/6/6 高文,王兆其 中科院
计算所
初审
基于统计与规则结合的语音驱动人脸动画方法 发明 02140286.8 2002/7/3 高文、王兆其、陈益强 中科院
计算所
初审
基于MPEG-4的任意格式人脸模型的动画实现方法 发明 02140285.x 2002/7/3 高文、王兆其、姜大龙 中科院
计算所
初审
通过中间模式语言进行手语翻译的方法 发明 02121369.0 2002/6/17 高文、马继勇、王春立、吴江琴、陈熙林 中科院
计算所
初审

软件著作权
2004SR02554:基于Web的中国手语新闻虚拟主持人系统软件WebSignAvatarV1.0:高 文、杨长水、陈益强、王兆其、姜大龙
2004SR02561:虚拟人三维显示与运动控制平台软件V3.1(VHMotion):黄 河、杨长水、石 敏、朱登明、毛天露、夏时洪、王兆其
2004SR01149:三维人体模型编辑系统软件V1.0:毛天露、杨长水、姜大龙、夏时洪、王兆其
2004SR02556:中国手语合成系统软件V1.0:高 文、王兆其、陈益强、杨长水、姜大龙
2004SR02555:中国手语编辑系统软件V1.0:高 文、王兆其、陈益强、杨长水、姜大龙

获奖情况
"基于多功能感知理论的中国手语识别与合成研究"于2002年11月获得"北京市科技进步二等奖",目前已由北京市科委推荐申报国家科技进步奖。
详细情况查阅:http://www.bestinfo.net.cn/bestinfo/work/jlb/2002/cgc20_2-2-2.htm
"基于多功能感知理论的中国手语识别与合成研究"于2004年2月获得"国家科技进步二等奖"。
详细情况查阅:http://tech.sina.com.cn/it/2004-02-23/1654296330.shtml

 
   
版权所有 先进人机通信技术联合实验室
网站维护:webmaster@jdl.ac.cn