全国服务热线:

189 2587 7513

当前位置:首页>>新闻资讯>>家顺学院>>智慧家庭管家设计情况介绍说明

智慧家庭管家设计情况介绍说明

返回列表 作者:家庭管家 发布日期:2020-01-09 18:33:06 阅读:187次

       摘 要: 为解决机器人设计功能单一而结构复杂,智能家居产品依赖终端而用户体验度差等问题,结合Kinect v2体感交互设备设计一种仿人形智慧家庭机器人,借助嵌入式硬件技术、语音合成技术、动态区域滤波算法、图像分割避障算法、二阶差分边缘检测方法和姿势序列有限状态机的动作识别方法,实现可自定义内容的自然语音交流与语音控制功能、可自动调速的自主避障与路径规划功能、可锁定目标的人物跟踪与动作识别功能。设计实现的机器人具有成本低廉、结构简单、适应性强、功能多样等优点。经实际测试,该智慧家庭管家机器人运行稳定,用户体验良好,可作为智能家居行业探索方向。


智慧家庭管家设计情况介绍说明


0 引言


目前,智能家居行业发展缓慢,智能家居产品未能脱离手持终端设备,同时用户体验度不高、产品功能单一、成本昂贵等弊端亟待解决。移动机器人的研究表现出声呐、激光、红外等深度探测传感器及其他传感器融合的趋势[1-2]。市面上常见的深度传感器有3种:(1)基于多目摄像头,典型代表有基于双目摄像头的Leap Motion、基于四目摄像头的Google Tango;(2)基于结构光技术,典型代表为PrimeSense和Kinect v1;(3)基于TOF技术,典型代表为Kinect v2。


微软公司发布的Kinect系列体感设备将彩色图像、深度图像、人体骨骼以及语音信息集成在一起[3],Kinect v2相比于代其深度可视范围更广,可同时识别6人,每个人25个骨骼点,彩色图像分辨率提升到1 080 p高清格式。本设计将Kinect v2与智能家居机器人相结合,应用该传感器和廉价的单片机嵌入式硬件实现了一套拥有自然语言交流、自主避障、路径规划、动作识别等功能的智慧家庭管家机器人,将Kinect v2传感器的室内环境应用优势充分展现[4]。


1 智慧家庭管家硬件组成


智慧家庭管家的技术架构分四部分:(1)Kinect v2为系统提供了视觉和听觉平台,充当着智慧管家的眼睛和耳朵,为分析周围环境和下一步行动决策提供数据基础;(2)主控系统包含安装了Kinect for Windows SDK2.0的笔记本电脑,好比机器人的大脑和心脏,是机器人数据处理、算法实现和逻辑控制的中心;(3)底层行走系统基于ARM架构的STM32F103系列32位单片机设计,接收控制命令并驱动电机转动,构成智慧机器人的移动四肢;(4)借助无线智能家电控制器轻松控制电器设备,为用户提供个性化智能家居服务。系统硬件组成框图如图1所示。


1.1 底层行走系统


底层行走系统以STM32F103单片机为控制中心,通过串口与主控系统进行信息交换,驱动电子罗盘模块获取机器人方向信息,输出4路PWM波控制两个直流电机的转速与转向。串口使用PL2303USB转串口模块,在笔记本和STM32单片机之间稳定传输数据;电子罗盘使用HMC5883L模块,可以实时获取方向信息;直流电机使用12 V行星减速电机,转速低,扭力大,噪音小,分别控制两边轮子的转速与转向,实现差速转向。


1.2 智能家电控制器


运用WiFi转串口模块实现STC89s52单片机与笔记本电脑之间无线传输数据。由于WiFi转串口模块传输透明,为了提高安全性,控制命令在笔记本发送端经过算法加密后发送。单片机接收到命令并解密后,控制与I/O口相连的继电器开关状态,实现对电灯等家电的控制。


2 系统软件设计


机器人软件包括底层行走系统程序、智能家电控制器程序、主控系统核心软件。行走系统和家电控制器程序都相对简单,这里不再赘述[5]。本节仅介绍基于.net4.0 Framework架构,采用WPF开发的核心软件系统。核心软件系统负责驱动Kinect v2设备,读取语音数据、彩色图像、深度数据和骨骼数据,然后经过内部算法处理控制智慧管家机器人表现类人行为。如图2是软件主流程图。


软件处理分为四种模式,复位状态处于语音模式,通过语音识别与语音合成技术实现与用户的对话交流。语音控制家电设备或者语音设置管家机器人进入跟踪模式、避障模式、导航模式。如果处于跟踪模式则在保证没有近端障碍的前提下运动到被跟踪用户近处并识别用户动作;如果处于避障模式则根据图像分割避障算法的步骤控制机器人避开障碍物并规划路径,在其他模式如果有障碍物靠近机器人也会跳转执行避障算法;如果处于导航模式则保证没有近端障碍的前提下拟合前方路径中线并应用PID控制机器人快速行径到目标位置。


2.1 语音识别与合成处理


机器人运行后,首先停止运动进入语音模式,为避免误识别,复位状态Kinect v2处于监听锁定状态,只有在识别到“Hello”、“Robot”等对话使能关键词后才开启语音对话模式,在该模式下用户可以与机器人进行自然语言交流,语音控制家电开关,或者语音改变机器人模式进入跟踪、避障、导航模式。为进一步提高语音控制命令的准确性,每个命令语音都需要重复验证:用户听到“Please repeat”回复语音后需要重复语音命令或者说“Yes”。而如果识别到的语音是对话语音则不需要验证,通过Windows语音合成开发包将文本信息转化为语音输出实现自然交流。如果等待8 s没有识别到任何语音信息则机器人重新进入监听锁定状态。


机器人与用户对话的内容记录在工程目录下的speech.data文件中,speech文件存储格式如表1所示。文件中每一行是一条语音对话内容,前面是识别到的用户语音,后面是机器人回应,如果是交流语音,中间用“|”隔开,回应时直接取后面部分语音合成回复;如果是命令语音,中间用“||”隔开,回应时翻译后面部分执行相应命令动作;如果没有分隔符则不做任何回应。在对话使能以后,当识别到speech文件中不存在的句子时,可以提示用户是否需要存档该对话内容,如果用户回答“Yes”,则可以在接下来的提示后录入回复语句,即完成用户自定义语音对话内容。


2.2 深度图像滤波


Kinect v2属于主动式TOF深度传感器,通过测量光脉冲之间的传输延迟时间来测量深度。一旦遇到透明玻璃、镜子等影响光的正常散射的物体时,就会产生测量误差[6]。随着测量深度增加,深度图像左右边缘的噪点也不可避免,这些噪声出现在物体边缘以及图像四角,影响图像判断。参考文献[7]提出了基于改进的双边滤波算法,结合彩色图像梯度域,运用联合双边滤波算法对深度图噪声进行插值,该方法需要同时遍历彩色图与深度图,会消耗大量处理时间;参考文献[8]采用带权值的全局优化插值滤波方法,运用了复杂的权值计算算法,也会消耗大量计算时间。本设计系统运算量较大,不适合采用耗时的滤波算法。进一步分析深度图像噪声特点可知,噪声为数据已知的椒盐噪声,本设计结合中值滤波的思想,应用动态区域遍历插值的方法,保证不会将图像边缘平滑掉,又能够去除大部分噪声,为下一步边缘处理提供基础。滤波公式如下:


xk=med(xk-n,xk-n+1,…,xk,…,xk+n)(1)


式中,xk-n…xk…xk+n为以噪点xk为中心的回形窗口中不为0的数据,med表示求取数据中值。xk为深度值是0的噪点,首先在包围该点的最小正方形区域(8个点组成)内遍历各点寻找非零点,若没有找到,则扩大区域到外层更大的正方形区域,直到遍历完一个极限层数。图4所示为滤波效果图。


2.5 用户跟踪与动作识别


Kinect v2带有可直接获取的用户骨骼数据,由骨骼数据在图像中的移动规律易于实现用户跟踪。在跟踪模式下,机器人运动到距离用户1.5 m的近距离位置停止,为避免在临界值产生抖动,还做了容差处理,即距离值大于1.7 m才继续向前跟进,距离值小于1.3 m才向后退。在近距离位置自动开启动作识别功能。


利用骨骼数据可实现较为复杂的连续动作识别,本设计应用了姿势序列有限状态机动作识别的方法[11],并对该方法进行了扩充。Kinect v2可以辨别拇指与手掌相对关系并在官方数据中提供了握拳和张开手掌两种姿势,通过局部扣取手掌深度图并边缘提取捕获指尖关键点,记录指尖动作轨迹识别手指动作。系统最终实现了右手向右展开、左手向左展开、右手食指在胸前挥动动作的识别。


3 结论


应用Kinect v2体感交互设备,结合嵌入式技术及深度图像处理算法,实现了能理解用户交互意图,帮助用户控制家电,复杂环境动态规划路径,实时跟踪用户与识别手势的智慧家庭管家机器人。经实际测试,该机器人可以与用户进行简单自然语言交流,语音控制家电开关,在复杂环境自主避障及搜索路径,跟踪用户并识别用户手势,其智能化水平远高于现有智能家居产品。该智慧家庭管家机器人运行稳定,图像刷新率在每秒30帧左右,经处理的Kinect语音识别准确率超过80%,动作识别准确率超过90%,符合家用机器人要求,可作为智能家居机器人探索方向。


虽然系统的功能基本实现,但仍存在提升空间,可从下面几点考虑改进:(1)语音对话实现智能学习功能。只是简单的查表回复语音不能满足用户聊天需求,在联网状态下可与网络聊天机器人结合,真正实现智能聊天,甚至可以成为小孩子的百科全书。(2)基于人物跟随与Kinect v2判别声源方向的能力,设计动态监控功能,为上班族了解家庭情况提供更直接、更全方位的途径。(3)目前实现的路径规划仅实现了跟踪用户时迅速靠近用户以及寻找到较长距离可行路径并快速移动,可以参阅参考文献[12-13]在室内环境构建家庭地图,从而实现定点移动。


广东家顺管家科技有限公司,提供家庭管家、金牌月嫂、五星保姆、养老护理、育婴早教、营养膳食、产后康复、小儿推拿、衣橱整理、家居保洁等家庭服务。

热门城市推广: 深圳 广州 东莞 惠州 佛山

月嫂培训公司 Copyright © 2019版权所有 广东家顺管家集团   备案号:粤ICP备19162505号