背景

新冠肺炎的大流行迅速成为全世界人民经历的最具戏剧性和破坏性的事件，人们可能需要与病毒长期共存。而减少冠状病毒传播的最有效措施之一是保持社交距离。为了实现这一目标，在现有的闭路电视系统中开发了一些相关的应用程序来检测社交距离。然而，现场监控系统在某些地区并不普遍，有时可能无法覆盖所有公共角落。此外，虽然这种监测系统已经发现了有些人们接触距离过近的违规行为，但它没有采取任何主动行动来让人们保持社交距离。

与现场监控系统相比，四足机器人--Laikago可以灵活部署，可以在需要的公共区域巡逻。此外，机器人可以采取预防措施来提醒人们保持社交距离，而不是监视他们。这些潜在的应用已经被遥控机器人和混合系统所证实。这个混合系统引入了诸如闭路电视这样的外部设备来帮助机器人监控社交距离。然而，在复杂的城市环境中开发这样一个完全自主的监控机器人还面临着一些挑战。

首先，为了在没有外部设备的情况下监测行人之间的社交距离，需要在移动设备上建立一个以机器人为中心的实时感知系统。其次，在许多城市场景中，机器人需要在非结构化和高度动态的环境中安全导航。最后，需要设计更多与人类的智能交互，以提高维持社交距离的效率。

算法简述

本文介绍了一种完全自主的监控四足机器人--Laikago，以保持复杂城市环境中的社交距离。为了实现这种自主性，我们首先在四足机器人上建立了多摄像头和三维激光雷达的监控系统，使机器人能够全方位感知，并扩展其在复杂的城市地形和不平坦的楼梯上的可通行性，这对普通轮式移动机器人来说是一个挑战，但是四足机器人却能轻松地通过。然后，我们开发了一个移动实时社交距离检测系统，能够跟踪机器人附近的行人群。接着，用CrowdMove算法用于在高度动态环境中导航机器人。最后，我们开发了一个群组感知的路由算法，让机器人能够接近拥挤的行人群，并使用语言提示有效地提升社交距离。

▍对监视系统的感知

行人跟踪在监控视频分析中得到了广泛的应用，并在多目标跟踪问题的研究基础上得到了很好的发展。离散速度用于模拟行人的运动。虽然离散化提高了预测的效率，但这种方法不能完全满足现实生活中的连续情况。Chung等人，开发了认知模型来提高模型的性能，但是他们没有考虑人们的朝向，只使用圆形来模拟行人。Helbing等人，提出了根据人和障碍物产生的能量势来模拟和预测人的运动的社会力。然后通过检测行人中的异常事件来提高跟踪性能。Pellegrini等人，开发了线性轨迹回避（LTA）来提高运动预测的精度，开发了行人之间的社交互动，以提高行为模型的准确性。Sheng等人，提出了鲁棒局部有效匹配模型来解决目标的部分检测问题。

然而，由于这些方法只使用线性模型，因此不能描述密集环境下行人的动力学行为。在我们的系统中，我们使用一个非线性模型front RVO（F-RVO）来模拟人群中的运动，并模拟考虑行人朝向的动态行为。

CNN的“学习轨迹”是一个深入发展的目标。Chu等人，开发了STAM来检测更多的物体。Fang等人，利用RNN改进了跟踪性能。然而，这些方法通过紧密耦合的检测和跟踪，并不能在行人检测中提供令人满意的性能。Mask R-CNN和YOLO是两种最先进的检测网络，具有足够的检测性能，其中YOLO比Mask R-CNN快得多，因此更适合于实时跟踪任务。

视频：Laikago提醒人们保持社交距离

▍城市环境中的导航

与固定式视频监控系统相比，四足机器人--Laikago不仅具有上述感知能力，而且赋予了监控摄像机一定的移动性。然而，在城市环境中驾驶机器人并非易事。

首先，机器人不可避免地会与行人、自行车等动态障碍物产生交互作用。一些研究提出了解决这种动态场景下的避碰问题。J.Van den Berg等人提出动态场景中的每个agent应承担一半的避碰责任。在此基础上，他们开发了零通信的多智能体避碰算法。P.Trautman等人提出了捕捉协同避碰行为的交互高斯过程，并介绍了机器人导航的协同规划器。然而，这些算法在没有外部设备的帮助下无法跟踪移动的行人。Y.F.Chen等人在机器人上部署了一个带有多个摄像头的激光雷达来跟踪周围的行人。为了在人群中导航机器人，他们利用强化学习算法训练具有社会意识的避碰策略。与上述算法不同，P.Long等人提出了一种基于强化学习的传感器级防撞策略，可以直接对原始激光雷达数据进行处理，生成无碰撞动作。

硬件平台

首先，我们将介绍我们的监控机器人的硬件设置，它包括三个组件，如图1所示：移动平台、感知传感器套件和计算平台。

图1：硬件和软件系统概述

▍移动平台

我们部署Laikago作为我们在复杂城市环境中导航的移动平台。与轮式机器人相比，腿足式机器人在可通行性上具有优势，因此更适合于具有楼梯和颠簸的不平和非结构化的城市场景。

▍感知传感器套件

为了有效检测和跟踪行人，我们在机器人的水平面均匀安装了四个彩色摄像机。每台摄像机都配有一个水平视场为80度的短焦距镜头，因此四个摄像机的组合几乎可以覆盖机器人周围的所有方向。此外，为了更好的空间感知，我们使用了16个通道的robosense 3D激光雷达来测量行人之间的社交距离。此外，激光雷达还可用于定位、导航和三维激光雷达应用。

▍计算平台

安装两台移动计算机，用于处理上述不同任务的传感器数据。我们使用NVIDIA Jetson AGX-Xavier作为视觉计算模块，支持最多6个通道的CSI摄像机作为输入，并使用512个CUDA内核作为GPU来加速摄像机捕捉到的图像的处理。由于其他任务（如映射和本地化）将主要消耗CPU资源，因此我们还部署了一个带有Intel i5 8259U CPU的Intel NUC。这两台计算机通过有线网络连接，处理后的数据由机器人操作系统（ROS）共享。

图2：我们的系统包含了跟踪、映射、定位、巡更规划、路由和运动规划等功能模块。跟踪模块使用YOLO和F-RVO来提取连续帧中的相似检测对象并跟踪人。采用基于三维激光雷达传感器的LeGO-LOAM算法实现地图绘制。在定位方面，我们使用无损检测定位算法来匹配激光雷达数据，并在生成的地图中对机器人进行定位。根据检测到的人群和地图，群体感知路由算法和巡逻规划算法可以帮助机器人确定当前要接近的目标。利用运动规划所需的所有信息，采用端到端算法CrowdMove来驱动机器人朝目标位置移动。在接近过程中，如果机器人检测到它与人群的距离小于5米，它就会开始播放录制的声音命令，提醒人们保持适当的社交距离。

社交距离检测

该系统采用的跟踪算法包括目标检测、包围盒预测、特征提取和稀疏特征匹配。我们使用YOLO来检测行人，并借助运动建模算法F-RVO匹配稀疏特征来更新行人的踪迹。

图3：（a）我们使用LeGO-LOAM算法进行绘图。

（b）中的蓝色箭头显示了机器人可以走的每个交叉点和拐角处的潜在方向。该算法根据地图和当前位置信息，为机器人选择一个导航方向人群出现的最大概率。

▍F-RVO

从正视图建模人群中的行人行为具有挑战性，这不仅是由于非线性变化的运动（转肩、侧行、后退等），而且也由于前视图可能遇到的遮挡。在本文中，我们使用基于速度障碍物的算法F-RVO来模拟行人的运动。

在F-RVO中，每个行人由一个8维向量表示：

Ψt=[x，v，vpref，l，w]，其中是当前位置，是速度，是我们假设人们更愿意沿着前方方向行走的首选速度。以及人类肩膀的长度和宽度。对于每个帧，使用半平面约束确定F-RVO中的范围参数。在范围内，每个行人Pi有一个速度障碍区，相对于另一个相邻行人Pj考虑所有相邻人的速度障碍区域可以计算为：

其中Hi是Pi的所有相邻人的集合，在速度障碍区域之外，选择与优选速度Vpref最近距离的最佳速度：

▍DensePeds

跟踪算法DensePeds包括三个部分来跟踪行人：目标检测、特征提取和特征匹配，如图2上方所示。在每一个时间步中，我们首先使用YOLO来检测行人并生成边界框。这些被发现的行人形成了一套。然后利用F-RVO预测行人∈P周围的另一组边界盒，在两个相邻的时间步计算包围盒，我们使用DeepSortCNN提取二值特征向量从包围盒确定的子图像。然后对这些系数特征进行W匹配，在帧t+1中找到与帧t最佳匹配的行人，并相应地分配给行人ID。特别是，稀疏的功能匹配的两个步骤。首先，我们使用余弦度量找到预测行人最相似的检测行人，即：

其中d（，）为余弦度量，f（）是特征提取函数，pi是一个框架内所有行人的集合P中的一个行人，h是集合H中一个被检测的行人，H是被检测到的行人周围的邻居的集合。在第二步中，我们最大化数据重叠，即预测框和original-YOLO检测框之间的重叠区域：

其中Bpi和Bhj，分别是围绕pi和hj的包围盒，将一组检测到的行人与一组具有最大重叠的预测行人进行匹配，最终成为矩阵上的最大权重匹配问题，它可以加速使用Hungrian算法。 

根据计算出的包围盒，我们可以大致估计机器人和行人之间的距离和方位信息。为了更准确地估计人群，我们将边界框重新投影到激光雷达坐标上，查询每个行人的深度，应用于筛选出可能的离群点。由于行人之间的占用，激光雷达和视觉估计值之间存在很大的不一致，则视觉估计值是可信的。最后得到行人之间的社交距离。

图4：舞台模拟器中的多机器人多场景训练环境

城市导航

在本节中，我们将介绍城市场景下的自主导航算法。我们使用最先进的基于激光雷达的方法来实现映射和定位功能。导航框架被定义为层次结构。特别地，我们开发了一个基于学习的局部规划碰撞避免算法，并使用全局规划来规划机器人巡逻的轨迹。此外，我们将描述路由算法，使机器人能够有效地选择一个拥挤的区域来接近，以完成巡逻。

▍映射和本地化

由于近年来基于激光雷达的SLAM方法已经得到了很好的发展，因此本文不打算开发一种新的SLAM方法。为了实现这种腿式机器人的最佳性能，我们选择了LeGOLOAM算法，该算法是一种轻量化系统，针对固定平台进行了优化。生成的地图如图3a所示。

机器人获得场景的三维点云地图后，使用正态分布变换（NDT）扫描匹配算法进行定位，已经证明，这种算法比迭代最近点等其他匹配方法能够提供更可靠的结果。

虽然可以计算出三维点云地图和机器人的定位，但是机器人在二维平面上确定可穿越区域并不容易。因此，我们将三维点云转换为二维激光扫描，将一定高度内最近的点作为二维激光点。注意，在导航过程中，机器人可能会遇到不平坦的地形，如楼梯或台阶。因此，该变换通过过滤掉低于30厘米的云点而忽略了地平面上的点云。在转换之后，我们获得了一个二维占用图，用于下面的导航算法，如图3b所示。

▍巡更和路由

基于生成的地图和当前位置，提出了一种机器人在地图区域内行走的巡逻规划算法。如图3所示，在不同的十字路口和拐角处，机器人会选择不同的导航方向，以实现最佳的社交距离。特别是，机器人更喜欢人群出现概率较高的方向。

当机器人检测到聚集的人群时，会暂停巡更算法，切换到路由算法，寻找一种最佳的接近人群的方式。考虑到群体的时间约束和规模，提出了一种基于深度优先搜索方法的群体感知路由算法，以寻找机器人跟随的中间路径点序列。

我们将路由问题描述如下。假设机器人感知范围内有N组人。每个群组被表示为一个节点n，具有其特定的时间窗口约束ti，以及它与机器人的相对位置。每一个人群被分配一个重量wi根据人数在组。路由算法的目的是寻找一条最佳路径，使机器人以最小的能量消耗接近尽可能多的人群。优化目标是：

其中Pe是当前轨迹，它包含一组点和边，表示人群的位置以及连接人群的路径。两个位置之间的每条边pj∈pc，都有能量消耗ej，在中探索的人群数量表示为ne。

根据后面人群的方向和位置的路由算法，我们实现了SBPL格子规划器来生成一条通过这些路径点的平滑巡逻路径。

▍基于学习的碰撞

在巡逻过程中，机器人不仅会遇到静止的障碍物，还会与移动的行人进行互动。对于这种情况，我们部署了基于学习的碰撞避免方法CrowdMove，用于人群中的机器人导航。

主要的训练框架参考了我们之前的工作，它以二维激光扫描为输入，输出速度指令。在舞台模拟器中设计了多个机器人的多个训练场景，如图4所示。我们引入了集中学习、分散执行的训练范式，在训练过程中共享相同的导航策略。然后，我们得到了一个零通信的多机器人避碰策略。此外，我们还验证了训练后的策略可以在不需要任何重新调整的情况下从仿真转移到现实世界，并且也适用于人群中的单机器人导航。为了使训练框架适用于我们的硬件平台，我们以表示局部可穿越区域的变换激光扫描作为输入。

综合实验

在本节中，我们首先分别验证所提出方法的有效性。然后，对各个模块进行集成，实现了自主监控机器人。为了进一步研究监控机器人在促进社交距离方面的性能，我们在最后进行了一些实际的实验。

▍人群聚集检测

我们首先记录视觉和激光雷达数据，以便更好地分析和调整社交距离检测系统。记录的数据集包括各种各样的行人群体行为，如步行、站立、聚集和散开。

人群聚集不容易被很好地量化，尤其是行人之间的遮挡使得机器人很难甚至不可能精确地获取每个行人的位置。为了检测每一个可能的人群聚集，我们建立了一个基于图的行人网络，称为社会图，其中一个例子如图5a所示。绿色、黄色和红色边缘分别代表安全、警告和危险的社交距离。我们将红边和黄边之间的节点连接成一个子图，称为人群聚集图，这被认为是可能的人群聚集。这样可以减少人群聚集检测对行人位置估计精度的依赖性。

图5：右侧摄像机视野（FOV）内人群聚集检测示意图。虽然估计出的行人位置不是很精确，但是通过建立人群子图，我们仍然可以检测出可能的人群聚集

▍城市导航

城市导航主要面临非结构化环境和动态障碍两大挑战。我们的四足机器人可以在不均匀的地形上行走，这要归功于我们的四足机器人。

图6：四足机器人可以在不平坦的路面上行走

为了验证行人之间的动态防撞性能，我们在实验室中创建了一个拥挤狭窄的室内场景，如图6所示。在这个实验中，机器人被要求执行跟踪指定目标（本工作中的骨头）的任务。我们在实验室安装了几个超宽带（UWB）标签，用于室内定位。在每次持续约30分钟的实验中，安装了3D激光雷达的机器狗在这种情况下几乎可以实现零碰撞。实验结果表明，我们提出的基于学习的避碰策略可以成功地应用到实际的机器狗身上。

图7：动态避碰实验演示。在这个场景中，我们安排了6个活动行人，大小约为4米×4米

▍促进社交距离的现实世界实验

最后，我们将以上所有模块整合在一起，研究机器人是否能够在复杂的城市环境中以令人满意的社交距离效能进行导航，而不会对普通市民造成威胁。真实世界的实验在两个公共区域进行，包括大学校园和公园。图8显示了来自真实世界实验的一些示例。

图8：来自真实世界实验的例子。顶部和底部的两个图像描述了不同的场景。左图：机器人发现并接近人群，然后说服他们保持社交距离。右图：人群密度下降。

结果表明，该机器人成功地完成了社交距离的任务。对于与我们的机器人进行过互动的人来说，大约一半的人都听从了机器人的建议。

对于其他人来说，他们中的大多数人瞥了一眼机器人，然后就走开了，有些人停下来看着机器人。值得注意的是，在我们进行实验时，测试城市中没有现有的新冠肺炎患者，这往往会降低行人对口头社交距离命令的遵从性。在实验过程中，我们随机挑选了一些人，然后询问他们对机器人的态度，以及他们为什么听从/不听从机器人的建议。一些人报告说，他们觉得使用监控机器人是个好主意，他们认为机器人的建议是合理的。此外，许多人报告说，这个机器人看起来像来自科幻世界，所以他们对这个机器人非常好奇。然而，有些人觉得机器人不够友好，所以他们只想走开。对于那些无视机器人建议的人来说，他们中的大多数人都说大流行并不严重，所以他们觉得没有必要保持距离。