Please wait a minute...
浙江大学学报(工学版)
浙江大学学报(工学版)
普适计算与人机交互     
虚拟界面自然交互模型与算法
刘慧, 冯志全, 梁丽伟, 徐治鹏
1. 济南大学 信息科学与工程学院, 山东 济南 250022
2. 山东省网络环境智能计算技术重点实验室, 山东 济南 250022
Natural interaction model and algorithm based on virtual interface
LIU Hui, FENG Zhi quan, LIANG Li wei, XU Zhi peng
1. Department of Information Science and Engineering, University Jinan, Jinan 250022, China
2. Shandong Provincial Key Laboratory of Network Based Intelligent Computing, Jinan 250022, China
 全文: PDF(1806 KB)   HTML
摘要：

针对基于视觉的手势交互界面中的“点石成金问题（Midas Touch Problem）”,提出虚拟界面的概念.采用统计分析的方法建立虚拟界面的认知基础,提出基于认知行为模型的虚拟界面构建算法,实现基于虚拟界面的示范应用.采用静态和动态2种方式构建虚拟界面,对已构建的虚拟界面进行分区,使得每个分区具有不同的功能,从而达到一种手势实现多个功能,降低用户记忆负荷的目的.实现虚拟界面的实时刷新功能,达到与人体亦步亦趋的效果.提出有效的虚拟界面感知方法,验证其交互能力及其解决“Midas Touch Problem”的积极效果.实验结果表明：虚拟界面不仅能够高效解决“Midas Touch Problem”, 还具有良好的用户体验.
Abstract:

The concept of virtual interface was proposed aiming at the “Midas Touch Problem” that occured in gesture interaction interfaces based vision. The statistical analysis method was used to establish the cognitive basis of virtual interface, and virtual interface construction algorithm was proposed based on cognitive behavioral model. Then a demonstration application based on virtual interface was implemented. Two methods including the static and dynamic ways were applied to construct the virtual interface. The virtual interface was divided into several regions averagely and each region was endowed with different functions. Therefore, multiple functions could be realized by only one kind of gesture, which reduced the memory load of users. The function of realtime refresh of virtual interface was achieved, which was the same effect as the human body. The effective perception method of virtual interface was put forward, and the interactive ability and positive effect of solving “Midas Touch Problem” were verified. The experimental results show that the proposed virtual interface not only solves the “Midas Touch Problem” efficiently, but also has a good user experience.
出版日期: 2016-06-01
:  TP 391  
基金资助:

国家自然科学基金资助项目（61472163）；山东省重点研发计划资助项目（2015GGX101025）.
通讯作者: 冯志全，男，教授,博导.ORCID: 0000000175887417.     E-mail: ise_fengzq@ujn.edu.cn
作者简介: 刘慧（1990—），女，硕士生，从事虚拟现实与人机交互研究.ORCID: 0000000319996162. E-mail：893964326@qq.com
服务　　
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章　　

引用本文:

刘慧, 冯志全, 梁丽伟, 徐治鹏. 虚拟界面自然交互模型与算法[J]. 浙江大学学报(工学版), 10.3785/j.issn.1008973X.2016.06.022.

LIU Hui, FENG Zhi quan, LIANG Li wei, XU Zhi peng. Natural interaction model and algorithm based on virtual interface. JOURNAL OF ZHEJIANG UNIVERSITY (ENGINEERING SCIENCE), 10.3785/j.issn.1008973X.2016.06.022.

链接本文:

http://www.zjujournals.com/eng/CN/10.3785/j.issn.1008973X.2016.06.022    或    http://www.zjujournals.com/eng/CN/Y2016/V50/I6/1167

［1］ 武霞,张崎,许艳旭.手势识别研究发展现状综述［J］.电子科学,2013,26(6)： 171-174.
WU Xia, ZHANG Qi, XU Yanxu. An overview of hand gesture recognition ［J］. Electronic Science and Technology, 2013, 26(6): 171-174.
［2］ 冯志全,蒋彦.手势识别研究综述［J］.济南大学学报：自然科学版,2013,27(4)： 336-341.
FENG Zhiquan, JIANG Yan. A survey of hand gesture recognition ［J］. Journal of University of Jinan： Science and Technology, 2013, 27(4): 336-341.
［3］ 邬大鹏.基于视觉的手势识别及人机交互研究［D］.南京：南京航空航天大学,2010.
WU Dapeng. Research on visionbased gesture recog nition and humancompurt interaction ［D］. Nanjing: Na njing University of Aeronautics and Astronautics, 2010.
［4］ 方旭亮. 基于计算机视觉的手势交互系统研究与设计 ［D］. 杭州：浙江大学,2008.
FANG Xuliang. The research and design of gesture interactive system based on computer vision ［D］. Hangzhou: Zhejiang University, 2008.
［5］ 陈子毫.基于深度信息的手势检测与跟踪［D］. 广州：华南理工大学,2012.
CHEN Zihao. Hand detection and tracking based on depth maps ［D］. Guangzhou: South China University of Technology, 2012.
［6］ 王辉.基于视觉的实时手势跟踪与识别及其在人机交互中的应用［D］.杭州：浙江大学, 2008.
WANG Hui. Vision based realtime gesture tracking and recognition and its application in humancomputer interaction techniques ［D］. Hangzhou: Zhejiang University, 2008.
［7］ 武汇岳,张凤军,刘玉进,等.基于视觉的互动游戏手势界面工具箱［J］.软件学报,2011,22（5）: 1067-1081.
WU Yuehui, ZHANG Fengjun, LIU Yujin, et al. Visionbased gesture interface toolkint for interactive games ［J］. Journal of Software, 2011,22（5）: 10671081.
［8］ 武汇岳,张凤军,刘玉进,等.基于视觉的手势界面关键技术研究［J］.计算机学报,2009,32（10）: 2030-2041.
WU Yuehui, ZHANG Fengjun, LIU Yujin, et al. Research on key issue of visionbased gesture interfaces ［J］. Chinese Journal of Computers, 2009, 32（10）: 20302041.
［9］ JACOB R J K. Eye movementbased humancomputer interaction techniques: toward noncommand interfaces ［J］. In Advances in HumanComputer Interaction. 1993,4: 15119.
［10］ KATO H, BILLINGHURST M, POUPYREV I, et al. Virtual object manipulation on a tabletop AR environment ［C］∥ IEEE and ACM International Symposium on Augmented Reality, 2000. (ISAR 2000) Proceedings, Munich: IEEE, 2000: 111-119.
［11］ KJELDSEN R, LEVAS A, PINHANEZ C. Dynamically reconfigurable visionbased user interfaces ［J］. Machine Vision and Applications, 2004, 16(1): 612.
［12］ 张清华,周玉兰,滕海涛.基于粒计算的认知模型［J］.重庆邮电大学学报：自然科学版,2009,21(4): 494-501.
ZHANG Qinghua, ZHOU Yulan, TENG Haitao. Cognition model based on granular computing ［J］. Journal of Chong qing University of Posts and Telecommunications: Natural Science Edition. 2009, 21(4): 494-501.
［13］ 林燕.基于多模型融合的人手三维跟踪研究［D］.济南：济南大学,2012.
LIN Yan. Research on 3D hand tracking based on multimodel fusion ［D］. Jinan: University Jinan,2012.
［14］ 刘松涛,殷福亮.基于图割的图像分割方法及其新进展［J］.自动化学报,2012,38(6): 911-922.
LIU Songtao, YIN Fuliang. The basic principle and its new advance of image segmentation methods based on graph cuts ［J］. Acta Automatica sinica, 2012,38(6): 911-922.
［15］ 许新征,丁世飞,史忠植,等.图像分割的新理论和新方法［J］.电子学报,2010,38(增1): 76-82.
XU Xinzheng, DING Shifei, SHI Zhongzhi, et al. New theories and methods of image segmentation ［J］. ACTA Electronica Sinica, 2010, 38(Suppl.1): 76-82.
［16］ 莫舒. 基于视觉的手势分割算法的研究［D］. 广州：华南理工大学,2012.
MO Shu. Hand gesture segmentation algorithm based on vision ［D］. Guangzhou: South China University of Technology, 2012.
［17］ 闵凡文.基于认知行为模型库和Kinect平台的实时手势跟踪算法研究［D］.济南：济南大学,2014.
MIN Fanwen. Research on realtime hand tracking algorithm based on cognitivebehavioral model library and Kinect ［D］. Jinan: University of Jinan, 2014.
［18］ 周航.基于计算机视觉的手势识别系统研究［D］. 北京：北京交通大学,2008.
ZHOU Hang. Studies on the gesture recognition system based on computer vision \[D\]. Beijing: Beijing Jiaotong University, 2008.
［19］ 杨学文,冯志全,黄忠柱,等. 结合手势主方向和类Hausdorff距离的手势识别［J］. 计算机辅助设计与图形学学报. 2016,28(1): 75-81.
YANG Xuewen, FENG Zhiquan, HUANG Zhongzhu, et al. Gesture gecognition based on combining main direction of gesture and hausdorfflike distance ［J］. Journal of ComputerAided Design and Computer Graphics, 2016, 28(1): 75-81.
［20］ 王湃.人体工程学及其未来［J］.中国环境管理干部学院学报,2003, 13(2): 71-73.
WANG Pai. Human engineering science and its future ［J］. JOURNAL OF EMCC, 2003, 13(2): 71-73.
［21］ 杨春青.人体工程学的应用研究［J］.艺术与设计：理论,2009(7): 154-155.
YANG Chunqing. The study of application of ergonomics ［J］. Art and Design: Theory, 2009(7): 154-155.
[1] 何雪军, 王进, 陆国栋, 刘振宇, 陈立, 金晶. 基于三角网切片及碰撞检测的工业机器人三维头像雕刻[J]. 浙江大学学报(工学版), 2017, 51(6): 1104-1110.
[2] 王桦, 韩同阳, 周可. 公安情报中基于关键图谱的群体发现算法[J]. 浙江大学学报(工学版), 2017, 51(6): 1173-1180.
[3] 尤海辉, 马增益, 唐义军, 王月兰, 郑林, 俞钟, 吉澄军. 循环流化床入炉垃圾热值软测量[J]. 浙江大学学报(工学版), 2017, 51(6): 1163-1172.
[4] 毕晓君, 王佳荟. 基于混合学习策略的教与学优化算法[J]. 浙江大学学报(工学版), 2017, 51(5): 1024-1031.
[5] 王亮, 於志文, 郭斌. 基于双层多粒度知识发现的移动轨迹预测模型[J]. 浙江大学学报(工学版), 2017, 51(4): 669-674.
[6] 廖苗, 赵于前, 曾业战, 黄忠朝, 张丙奎, 邹北骥. 基于支持向量机和椭圆拟合的细胞图像自动分割[J]. 浙江大学学报(工学版), 2017, 51(4): 722-728.
[7] 穆晶晶, 赵昕玥, 何再兴, 张树有. 基于凹凸变换与圆周拟合的重叠气泡轮廓重构[J]. 浙江大学学报(工学版), 2017, 51(4): 714-721.
[8] 黄正宇, 蒋鑫龙, 刘军发, 陈益强, 谷洋. 基于融合特征的半监督流形约束定位方法[J]. 浙江大学学报(工学版), 2017, 51(4): 655-662.
[9] 蒋鑫龙, 陈益强, 刘军发, 忽丽莎, 沈建飞. 面向自闭症患者社交距离认知的可穿戴系统[J]. 浙江大学学报(工学版), 2017, 51(4): 637-647.
[10] 戴彩艳, 陈崚, 李斌, 陈伯伦. 复杂网络中的抽样链接预测[J]. 浙江大学学报(工学版), 2017, 51(3): 554-561.
[11] 刘磊, 杨鹏, 刘作军. 采用多核相关向量机的人体步态识别[J]. 浙江大学学报(工学版), 2017, 51(3): 562-571.
[12] 郭梦丽, 达飞鹏, 邓星, 盖绍彦. 基于关键点和局部特征的三维人脸识别[J]. 浙江大学学报(工学版), 2017, 51(3): 584-589.
[13] 王海军, 葛红娟, 张圣燕. 基于核协同表示的快速目标跟踪算法[J]. 浙江大学学报(工学版), 2017, 51(2): 399-407.
[14] 张亚楠, 陈德运, 王莹洁, 刘宇鹏. 基于增量图形模式匹配的动态冷启动推荐方法[J]. 浙江大学学报(工学版), 2017, 51(2): 408-415.
[15] 刘宇鹏, 乔秀明, 赵石磊, 马春光. 统计机器翻译中大规模特征的深度融合[J]. 浙江大学学报(工学版), 2017, 51(1): 46-56.