预约渠道:

课程正文: 摘要:
在AI控制机器人系列人体跟随教程第二期中,地平线高级程序员朱考爸爸利用地平线发布的机器人开发平台软件栈搭建了一个人体跟随机器人。
同为开发者的梁雪对AI的世界充满憧憬,希望生活中也能有AI。她一直是一个只会说话却不会做事的懒人,所以她热衷于体验各种AI机器人,尤其是那些会说话的机器人。一个可以控制的机器人,我以为有一天我会过上只会说话而不会用手的生活,所以我有以下经历。
产品A:确实你说话的时候我可以跟着你,但是我真的不想说完之后还得右转去引导它右转……
产品B:为什么还要用手去遥控呢……唉,达不到懒人想象的那样。
难道不用嘴就可以让机器人移动并控制机器人吗?答案一定是,是的!下面,地平线AI控制机器人系列——语音控制首次亮相。
1. 功能介绍
我们先看一下最终的函数。
语音控制
从开始讲话到机器人根据指令快速准确的运动,得益于n Sun®️的5Tops算力BPU的降噪、回声消除以及高精度ASR识别功能。在开始编码之前,我们先简单分析一下人体跟随机器人需要哪些基本模块。
语音输入 - 麦克风
Xuri X3 Pie 使用麦克风阵列硬件来拾取声音。通过麦克风采集音频,然后交给后面的智能语音分析模块进行处理。
智能语音感知
智能语音算法对原始音频进行处理、音频去噪、语音识别。还可以输出语音声源定位的DOA角。
相互作用
识别出语音后,定义并实现不同语音对应的不同功能应用,例如“向前走”语音控制机器人前进。
控制
根据“交互”模块输出的控制指令,实现机器人的机械控制。
机器人本体
当然,还需要具有运动能力的机器人本体,来接收控制指令并控制电机运动,最终达到通过语音控制机器人运动的效果。
n发布的机器人开发平台软件栈内置了丰富且易于使用的机器人开发组件,包括构建智能机器人应用程序所涉及的所有功能模块(例如机器人语音控制)。它完全开源、免费,并且允许开发者进行二次开发。
2、准备工作
按照应用案例准备构建机器人本体的硬件设备和软件包。
硬件
① 旭日X3阵营
②麦克风阵列及转接板
③机器人
这次我就用这款轮足机器人来介绍一下。没有的开发者不必担心。我将在文章后面介绍如何构建自己的机器人。
安装系统
请参阅Xuri X3 Pie用户手册的安装系统章节。安装完成(或已经安装)后,需要更新系统。
系统配置
要配置 Xuri X3 Pi 的无线网络,请参阅 Xuri X3 Pi 用户手册的无线网络章节。
安装
使用 apt 命令通过 DEB 包安装。使用ssh root@192.168.1.147登录Xuri X3,执行命令:
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>root@ubuntu:~# sudo apt install hhp root@ubuntu:/userdata# ls /opt/ tros</code></pre></p>可以看到已经安装在/opt目录下,说明安装成功。至此,准备工作就结束了。下面我们开始使用这些硬件设备和软件包来构建机器人本体。
3. 使用介绍
接下来开始操作各个功能模块,然后一步一步组装起来,验证其功能。
安装音频麦克风
首先,您需要将 Xuri X3 Pi 连接到音频适配器板。安装好的Xuri X3 Pi和音频板如下:
直接使用ROS测试麦克风阵列的功能,通过脚本加载麦克风阵列驱动,启动智能语音识别模块。使用ssh root@192.168.1.147登录Xuri X3后,在终端(以下默认终端都是通过ssh登录)输入以下命令启动:
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash # 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/lib/hobot_audio/config/ . # 加载音频驱动,设备启动之后只需要加载一次 bash config/audio.sh #启动launch文件 ros2 launch hobot_audio hobot_audio.launch.py</code></pre></p>智能语音识别模块默认发布的智能语音消息主题名为:/。您可以通过在另一个终端上执行 ros2 topic list 命令来查询该主题信息:
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>$ ros2 topic list /audio_smart </code></pre></p>语音识别和指令词控制小车运动功能
在 Sun X3上打开终端并启动语音识别和控制脚本
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash # 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/lib/hobot_audio/config/ . # 加载音频驱动,设备启动之后只需要加载一次 bash config/audio.sh #启动launch文件 ros2 launch audio_control hobot_audio_control.launch.py</code></pre></p>在当前终端执行ros2 topic echo /命令,查询Xuri X3上的topic信息。当声控“前进”时,终端输出如下:
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>linear: x: 0.30000001192092896 y: 0.0 z: 0.0 angular: x: 0.0 y: 0.0 z: 0.0</code></pre></p>表明智能语音识别算法和交互功能软件包已成功安装,并且可以通过/topic对外发布机器人运动控制消息。
在机器人上安装 Sun X3 Pie
首先,需要在 Xuri X3 Pi 上安装音频板。其次,将配备线性四麦克风麦克风阵列的Xuri X3 Pi直接固定在机器人上,将机器人的USB控制接口插入Xuri X3 Pi。安装效果如下:
安装完成后,您可以通过控制机器人运动来检查安装是否成功。在 Sun X3 Pie上启动Benmo Biped机器人运行控制节点,打开终端,然后执行以下命令:
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash #启动本末机器人运动控制package ros2 run diablo_sdk ros_bridge_example </code></pre></p>
在 Sun X3上重新打开一个终端,通过发布/主题消息控制机器人以0.3r/s的速度旋转:
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code> # 配置TogetherROS环境 source /opt/tros/setup.bash ros2 topic pub -r 10 /cmd_vel geometry_msgs/Twist '{linear: {x: 0, y: 0, z: 0}, angular: {x: 0, y: 0, z: 0.3}}'</code></pre></p>机器人收到控制命令后转动的效果如下:
机器人接受旋转指令
4.完整的机器人声控效果
在 Sun X3上打开终端并启动智能语音识别和语音控制脚本
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash # 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件。 cp -r /opt/tros/lib/hobot_audio/config/ . # 加载音频驱动,设备启动只需要加载一次 bash config/audio.sh #启动语音控制launch文件 ros2 launch audio_control hobot_audio_control.launch.py</code></pre></p>在 Sun X3上打开终端并启动机器人运动控制节点
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code># 配置TogetherROS环境 source /opt/tros/setup.bash #启动本末机器人运动控制Node ros2 run diablo_sdk ros_bridge_example</code></pre></p>通过语音控制机器人动作
语音控制
五、原理分析
对于复杂的机器人系统,机器人一般配备两个处理器:主机和从机。声控机器人由两部分组成,分为上位机和下位机。各部分详细组成如下:
6.语音控制进阶
在智能语音识别Node中,设备唤醒词和命令词默认配置在/opt/tros/lib///hrsc/.json文件中(当然,如果用户将此文件夹复制到其他路径,以实际使用的配置路径为准):
<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre><code>{ "cmd_word": [ "地平线你好", "向前走", "向后退", "向左转", "向右转", "停止运动" ] } </code></pre></p>配置文件中的第一项是唤醒字,后面是命令字。用户可以根据需要进行配置,自定义语音操作。
本文转载自n开发者社区。完整文章请参见:
# 上海h5网站建设
# 我真
# 重庆品牌整合营销推广
# 百度联盟营销推广和内容
# 怎么推广网站设计素材
# 钟声音效网站建设
# 定制网站建设规范标准
# 眼睛网站网上推广方案
# 通州网站建设流程
# 专业网站建设特点分析
# 赤水市网站优化营销
# 我有
# 网站概况优化建议
# 医疗网站优化怎么办
# 郑州抖音seo价格多少
# 嘉兴专业网站推广价格
# seo营销型网站与
# 湖南网站推广软件有哪些
# 视频网站建设活动
# 免费广州seo公司
# 黄浦营销推广客服人员
# 网络营销推广协议审查
# 用手
# 地平线TogetherROS软件栈的实践与挑战
# AI操控机器人体验
# 从人体跟随到懒人梦想
# 语音识别
# 加载
# 配置文件
# 软件包
# 只需要
# 您可以
# 只会
# AI操控机器人体验:从人体跟随到懒人梦想
# 准备工作
# 自己的
# 都是
# 用户手册
# 进阶
# 我会
# 还可以
# 尤其是
# 首次
# 将在
相关文章:
广州百度推广为什么接不到电话了?,温州营销推广怎么投放
揭秘广州百度推广渠道商的坑,企业不可忽视的隐患,知识城建设办网站
日赚200+的项目新玩法思路分享,快来看看!
网络广告联盟计费方式是怎样的?
广东百度推广选词攻略,助力企业精准获客,阳春响应式网站建设
如何利用引流脚本通过广告联盟等渠道收益月入过万?
淘客app推广如何推广?教你简单且有效的3招!
网站运营该如何持续地提升网站权重来获取更多的流量?
推广有什么好处?有哪些优劣点?
cpc广告怎么做才能达到最好的效果?6大cpc广告操作技巧分享!
免费分享一个付费才能学到的推广赚钱项目
一般人如何靠广告联盟赚钱实现网络副业收入逆袭?
百度、腾讯、头条加入广告联盟三国杀,谁能独占鳌头?
开通微信*号初期发布*怎样才能提高*号播放量?
广州百度推广事件,网络营销中的争议与启示,廊坊正规的网站推广平台
抖音上面的广告推广价格大约是多少?
注册推广月入过万项目玩法介绍,十足的干货!
app推广运营该怎么做,需要注意哪些问题?
广州百度推广总部电话及服务详解,青岛网站建设方案php
这样发布网站外链才能帮助我们更好的提升收录和排名!
app推广软文主要有哪些类型,应该怎么写?
小红书推广引流没效果?注意这几个小红书引流推广的关键思路!
通过广告联盟赚钱的三大方法!简单轻松赚钱!
新手在信息流广告投放过程中最常见的7个问题及解决思路!
广州百度推广入口都收费吗?,黎城网站建设
广东百度推广实操方法解析,奶粉营销活动推广
想要实现网站变现赚钱,选择一个靠谱的广告联盟非常重要!
如何设置福建百度推广关键词才能达到**效果,摄影师网站怎么做推广赚钱
广州百度推广的目的与意义,晋州软文网站推广方案
【联盟基础】提包推广是什么意思?怎么做才能赚钱?
想要赚钱,这15种实用的引流方式必须掌握!
广州百度推广的费用如何取出来?,南阳seo网站推广工具
没本钱怎么在手机一天赚500?“趣闲赚”分享推广做任务赚钱玩法介绍
广州百度推广怎么收费标准价格揭秘,农村快递营销推广文案
广东百度推广收录的秘诀与策略,新乡县网站推广
广东百度推广增量,助力企业发展新航向,雨花区旅游网站建设方案
广州百度推广建站,助力企业开拓网络市场,隆尧品质网站建设报价
2020年适合上班族的三个副业赚钱项目,基本无门槛,快速赚钱!
福建百度推广费用如何计算?举例说明,万象城网站建设
做好这6个手机赚钱项目,你就是下一个小富豪!
广州百度推广助力连锁行业发展新篇章,东营网站推广系统
世界上最热门的十款社交软件,你知道是哪些吗?
福建百度推广关键词优化指南,广宗本地网站建设
手机赚钱方式之手机浏览广告赚钱是真的吗?
2020年最快一天挣300500元的4个方法,收好了!
看完这一套完整的app推广攻略,再也不用担心app引流获客了!
深入了解广东百度推广加V服务的优势与价值,用软件做seo网站关键词推广
广东百度推广标题,助力企业腾飞,精准营销赢未来,达人网站推广文案范文
广州百度推广运营公司简介与业务描述,手表网站建设素材库
福建百度推广咨询工具哪个好用?,石景山网站建设全网推广
相关栏目:
【
广告资讯37196 】
【
广告推广143353 】
【
广告优化89630 】