以目前的移动机器人来说，机器人在移动时，只要有人或任何障碍物靠的太近，为避免碰撞，机器人就会停止运转。这样可以有效地防止机器人进入拥挤的区域，从而保持高动态环境中的有效运行。CROWDBOT旨在填补关于机器人和人类在运动时的密切互动的知识空白。

移动机器人能够自主导航并在拥挤的区域协助人类

CROWDBOT是一个欧盟地平线2020（EU H2020）项目，致力于信息和通信技术（ICT）领域的研究和创新，由欧盟委员会资助。

CROWDBOT具备相关的专业知识及开发新的机器人能力，能够使机器人以安全的方式移动。这其中需要实现的技术是：

a）感知能力的步骤变化，以预估机器人周围的人群运动；

b）机器人预测人群状态短期演变的认知能力；

c）导航能力，以在人的近距离执行安全运动。

Pepper是世界上第一个人形社交机器人，它针对人际互动进行了优化，并且可以通过对话和触摸屏与人们互动。Pepper可用于企业和学校，并在全球有2,000多家公司采用Pepper作为助手。它的曲线设计和可爱的外观确保了人们可以更安全地使用，受到了用户的高度认可。

软银的Pepper机器人

○ CuyBot是Locomotec公司目前开发的一种新型机器人，可以安全地执行一系列服务和物流任务；

○ Qolo是一种结合了主动驱动车轮和外骨骼的设备，可为轮椅使用者带来贴身，轻巧的可穿戴机器人；

○ 智能轮椅是实现和测试共享控制机器人导航算法的平台。

CuyBot、Qolo和智能轮椅是CROWDBOT项目中使用的其他机器人

用到的技术

CROWDBOT项目结合了5个主要技术主题：

1、人群中导航

2、感知与追踪

3、映射和本地化

4、人群预测与仿真

5、安全可靠的设计

参与该项目的每个合作伙伴在这些技术的不同主题上都有自己擅长的专业知识。他们的协作和知识交流使得拥挤区域机器人导航领域的横向进步和重大创新成为可能。

人群中的导航

■ 自主导航

在人群中穿行对于机器人来说是一项艰巨的挑战。人群会导致严重的传感器阻塞，并且通常不会为机器人移动留出太多可用空间，从而导致所谓的“机器人冷冻问题”。我们在CROWDBOT中的目标是开发导航和运动计划算法，以使机器人能够与人群的流动一起到达目的地。

■ 短期与长期运动规划

机器人人群导航不仅仅是遵循预先计算好的路径。我们需要把人群的变化作为一个整体来考虑，同时也要考虑到行人之间以及行人与机器人之间的交互作用。这意味着我们需要制定在不同时间范围内运行的运动计划。短期运动需要确保安全并顺应机器人周围的直接人群。另一方面，长期运动计划可以决定何时以及如何与人群中的不同行人接触，例如绕道绕行，跟随或缓慢穿过。

左，手动控制的模式

右，CROWDBOT使用ROS和OpenCV的本地规划和检测系统

■ 共享控件导航

我们都听说过自动系统（自动驾驶汽车等），但是在某些情况下，完全自主的系统并不是用户真正想要的。例如，大多数轮椅使用者不希望像对待珍贵的货物那样简单地被对待，自动从A点运到B点。而是希望自己有能力自己走动，以便尽可能独立地继续日常生活活动。然而，在某些情况下，环境障碍，如狭窄的通道，崎岖的地形，甚至是成群结队的行人，极大地阻碍了他们的想法。在这种情况下，我们提出了一种“共享控制导航”，即轮椅本身能够积极地帮助用户安全有效地操纵这些困难的情况，而不会剥夺他们的总体控制权。

共享控件导航

■ 反应式导航

在CROWDBOT导航方面，机器人需要快速和安全的方法来确保在正常操作条件下避免碰撞。反应式导航是指当机器人周围的动态障碍物的行为超出规划师的预测时，机器人能够正常工作的能力。

对于这些情况，我们开发了一种基于动力学系统的方法，其中初始线性动力系统（高级规划师给出的期望运动）在障碍物周围进行调制。这种调制方式可以实时、动态地绕过任意数量的障碍物。

■ 社交导航

要使机器人在人类环境中导航，需要在机器人上集成社交能力，其中一些是通过前面介绍的导航技术来实现的。然而，其他的社交能力需要一种特殊的方法，到目前为止，机器人界还没有对此进行充分的研究。

当机器人因为有人在场而无法继续导航时，例如在鸡尾酒会上，它会遇到一个称为“冻结问题”的问题。我们的机器人可以把人的交互路径看作是一条清晰的路径。其中一些提示可能是，当有人挡住它的路时，机器人请求以允许通过。如果当机器人处于嘈杂的环境中，而挡住道路的行人不听机器人的请求清理路径时，机器人和行人的身体接触可能也有所帮助。当路径空闲时，机器人可以继续导航。

感知和跟踪

视觉感知功能对于机器人做出导航决策至关重要。这里的目标是帮助机器人通过探测和跟踪周围的人来感知周围的环境。由于在密集的人群中目标检测具有挑战性，因此还必须使用流量预测技术来关联运动对象及其部件。

■ 视觉感知

我们的机器人配备了RGB-D摄像机，可以为他们提供视觉。我们利用图像中的丰富信息检测行人，并利用测量的深度在3D空间中对行人进行定位。还可以使用图像数据进行高级行人分析，包括姿势步态和重新识别。

我们的检测通道是按照众所周知的跟踪检测模式设计的。在这种模式下，每帧独立检测目标，并使用跟踪算法在多个帧上关联属于同一对象实例的检测。

使用YOLOv3的检测跟踪系统的视觉输出示例

■ 激光雷达检测器

2D激光扫描仪以高频扫描一个区域，以固定的角度分辨率测量距离。借助深度学习，我们的机器人可以从2D激光扫描仪收集的距离数据中检测行人。由于检测器的视野开阔，并配有正面和背面扫描仪，因此我们可以进行360度行人探测。

■ 光流

当人群密度变得很大时，传统的基于RGB数据的检测跟踪系统可能会由于严重的遮挡而失败。在这种情况下，退回到低级视觉技术（如光流或场景流）会有所帮助。光流为图像内的较小邻域提供像素级别的运动信息。在跟踪器由于遮挡而失效的情况下（例如，当靠近相机的人遮挡视场时），该信息可用于进行运动预测。

光流系统输出示例。左，RGB图像；右，光流

■ 追踪器

来自多个传感器的跟踪器检测被收集在一起并传递到跟踪模块中。跟踪器将不同时间的检测关联起来，并将它们连接到不同个体的轨迹中。

在CROWDBOT中，我们处理可能存在严重遮挡的密集人群场景。为了应对这种情况，必须利用多个输入源，例如RGB-D和LIDAR。我们的跟踪器采用模块化方法，可轻松集成多个传感器。

映射和定位

■ 主动SLAM

要使机器人规划从一个点到另一个点的路径，它需要一个环境地图。同步定位和映射（SLAM）允许机器人在线构建地图，并同时在该地图上定位自己。SLAM解决了由于传感和驱动不完善而引起的不确定性和误差。但是，在拥挤的环境中，还会出现其他挑战。传感器视野中的动态障碍物可能会错误地合并到地图中。如果遮挡太多，它们也可能导致机器人迷失方向。

从ROS的主动SLAM角度看，蓝点环绕着动态障碍物

在CROWDBOT中，我们采用了一种主动的SLAM方法，该方法平衡了机器人在已看到的地图部分（即动态障碍较少的区域）内保持良好定位的需求，以及探索新区域以完成地图的需求之间的平衡。我们还对传入的传感器扫描（在我们的情况下为360°2D激光雷达）进行预滤，以去除被认为是从动态障碍物而非静态环境返回的点。这样，机器人可以构建清晰、连贯的地图，以用于导航。

■ 激光雷达定位

在拥挤的人群中操作时，由于人群的严重遮挡，机器人可能常常无法感知周围的静态环境。这增加了所谓的“机器人冷冻问题”的几率。不幸的是，在这些情况下，即当先前姿势信息不可用时，现有的定位解决方案已显示出非常差的性能。

CROWDBOT定位的目标是获得一个无需事先确定的解决方案，该方案能够快速生成机器人初始化时的精确姿态估计，并对部分或临时传感器遮挡具有鲁棒性。因此，我们提出的方法是基于地图匹配，而不是扫描匹配。此外，我们使用分支定界搜索来提高匹配例程的计算复杂度并实现实时操作。

基于ROS的激光雷达地图定位实例

人群预测与仿真

■ 人群预测

对于一个自主或半自主机器人来说，在拥挤的环境中安全地导航，不可避免地要对周围环境中的智能体进行预测。因此，人群预测模块负责通过考虑彼此之间以及与环境之间可能的交互作用来估计这些智能体的合理未来位置。系统的输出是一组预测的轨迹，在某些情况下可以在导航过程中考虑。

行人的不同路径预测

在CROWDBOT中，我们设计并实现了一个数据驱动的预测系统，该系统可以从环境中观察到的轨迹中学习以改进预测。这个被称为“社交方式”的系统使用生成性对抗网络，将N个检测到的代理对应的N个观察轨迹的给定输入映射到K个不同的N个预测轨迹集合中。

■ 人群模拟

我们的技术需要工具来评估，测试和基准化其性能。这样的测试需要完全控制环境，这可以通过仿真来实现。但是，实现模拟人群并不是一件容易的事，因为这种人群的真实性很快会受到质疑。因此，我们设计了一种仿真工具，该工具使用虚拟现实将（真实的）机器人和人类沉浸在虚拟世界中。

■ 真实的模拟环境

我们的模拟工具提供了一种用来模拟一群真实的角色在与我们的机器人共享的真实环境中移动的可能性。为此，我们使用各种人群模拟技术（RVO、基于视觉的、PowerLaw等）和高质量的3D模型。我们的3D引擎Unity与ROS耦合，实现传感器模拟（激光雷达、RGB-D、超声波等）和机器人控制。利用它的物理引擎，我们可以模拟机器人的正常运动，并报告与人群的碰撞情况。

CROWDBOT仿真环境，Inria模拟器

■ 虚拟现实如何帮助机器人导航人群？

评估机器人与人类近距离安全移动的能力至关重要。但在实际条件下测试这种能力可能会增加机器人与实验者或测试参与者发生碰撞的风险。为了避免这种风险，CROWDBOT正在探索使用虚拟现实来进行此类测试。原理如上图所示：当机器人和人类保持物理上的分离时，机器人和人类都会感觉到彼此就像面对面一样，如下图所示。

虚拟现实平台，研究机器人和人类在导航任务中的交互作用

Inria模拟器

■ 道德与安全措施

在这项工作中，我们重点研究了当机器人在拥挤的环境中航行或与行人进行社交互动时，可预见危险的识别。我们制定了一份考虑到身体和心理伤害的危害清单。我们把“有意”和“有意”联系起来。我们进一步将接触分为“从机器人到人类”和“从人类到机器人”。识别的物理接触类型包括碰撞、挤压、推、刷、拖和触摸。就心理危害而言，我们考虑了机器人的存在、外观、运动、身体接触和社交能力的潜在危害。此外，与CROWDBOT机器人的设计师合作，我们对智能轮椅、QOLO平台、Pepper机器人和CuyBot相关的生理和心理危害进行了初步风险评估。

利用Inria模拟器模拟CROWDBOT的智能体

在这项工作的框架内，启动了道德和安全咨询委员会（ESAB），并组织了两次电话会议，以讨论CROWDBOT场景以及CROWDBOT的伦理和法律含义。ESAB的作用是就项目实验的风险评估、伦理协议的设计和可用标准向财团提供建议。

下一步动作

目前，我们正在进行这个项目。我们正在将不同的模块集成到一个系统中，并在项目中使用的机器人上实现它。此外，我们正计划在模拟和现实生活中进行实验，以测试和验证我们的技术。我们的最终目标之一是为设计机器人提供有用的指导方针，并为机器人在拥挤的人群环境中导航提供策略。

备注：想要有更好的导航效果，请将您的Pepper操作系统更新至2.9.4，可以使用它的Visual Slam模块和新的Goto API。