从产品组装和维护/维修的角度来看，基于增强现实的指导：关于挑战和机遇的最新综述

作者：

1. M. Eswaran

2. Anil Kumar Gulivindala

3. M.V.A.Raju Bahubalendruni

关于本文

•分析了增强现实在装配和维护/维修中的作用。

•讨论了AR辅助制造系统的软件和硬件元素。

•讨论了AR跟踪和配准技术面临的挑战。

•讨论了AR辅助制造系统的未来趋势。

摘要

随着人机交互（HMI）和柔性制造系统（FMS）沉浸式技术的快速发展，制造业目前正在经历第四次工业革命。由于利益相关者之间在制造前和制造后阶段存在的知识转移障碍，产品差异受到限制。增强现实（AR）是一种很有前途的技术，它可以提供高度的适应性和独立性，以支持组装、维修和维护等最关键的制造阶段的知识转移。本文主要从维护/维修的角度介绍AR技术在产品组装和拆卸中的最新文献。讨论了AR技术中各个模块在促进用户友好的引导平台及其应用方面的工作，并给出了适当的说明。观察到了关键的困难，如用于估计人类运动和环境体验的跟踪和渲染技术，以扩展该技术的适应性。分析了未来的研究潜力，如增强虚拟现实界面、识别工人行为以及在工业背景下实现多个流之间的共享和协作。

介绍

如今，在工业4.0革命的背景下，制造业领域的行业正在经历重大变化，其目标是通过提高产品生命周期管理开发过程中各个过程之间实时交换知识的灵活性，在最短的时间内实现高质量产品、定制产品和大规模生产，以释放到消费市场研究人员表示，30-40%的制造时间和20-40%的制造成本取决于产品开发阶段组装阶段的决策。装配方面对产品寿命的其他阶段有重大影响，如维修和维护以及寿命终止。由于产品设计与需求和客户要求的差异，维修和维护阶段的工人人员在理解产品设计方面面临着严重的技术障碍。采用AR技术可以消除已发现的问题，提高产品寿命，支持产品寿命各个阶段的技术转让。技术的快速进步和复杂性要求在工业环境中为工人提供灵活的维护/维修过程和装配指导。其中一个关键的例子是最近从BS4发动机技术转向BS6发动机技术，这需要对装配工人进行广泛的培训。此外，为了在维修阶段成功执行维修任务，机械师必须接受足够的产品组装和拆卸培训。尽管成本高昂，但在维修和维护、组装和仓库管理等领域，减少停留时间被认为是一个主要目标。尽管成本调整因应用而异，但据确定，飞机的维护支出占总成本的80%，预计近年来总计为540亿美元。相比之下，汽车需要占其总开支的4%。然而，飞机的维护支出可能占总拥有成本的80%，预计近年来总计将增至540亿美元（2021年数据）

今天的工业大亨们正在努力采用能够满足21世纪人口对质量、功能和美学需求的技术。在维护/维修阶段采用技术可以在短时间内消除生产各种质量不受影响的产品的障碍（。随着全球一体化制造环境的趋势，产品开发生命周期中众多节点（如设计、设置规划、调度、机加工、装配）之间实时信息交换和顺利任务协调的需求正在扩大因此，为了跟上不断发展的技术并满足工业4.0标准，制造商修改了其产品制造流程然而，AR技术可以通过提供帮助、模拟和支持来帮助工人克服这些障碍和困难，以便在生产环境中采用之前增强工业流程。因此，生产成本以及组装和维护/维修任务所需的时间将减少。零售商率先使用AR和虚拟现实（VR）等沉浸式技术向客户推广其产品和服务（然而，近年来，由于软件算法的改进和AR/VR设备成本的降低，各种应用领域已经开始使用沉浸式技术。半熟练工人需要使用AR/VR技术进行指导和培训，以便有效地进行高难度活动观众可能会在增强现实（AR）中看到现实世界的主要景象，在增强现实中，计算机生成的数字信息或虚拟物体叠加在实际物体上。此外，AR技术使用户能够与多种人类感官进行交互，包括视觉、听觉和触觉。

然而，要在实际世界中可视化虚拟场景，需要特定的设备。AR可视化工具有三种类型：空间投影设备、透视手持显示器和头戴式显示器。可以使用该设备将增强的虚拟场景叠加在实际环境上，然后将其暴露给用户。取决于虚拟场景是由符号数据还是图形数据来表示，覆盖在真实环境上的虚拟场景的信息是相加的还是掩蔽的。此外，这种基于AR的互动体验与实际环境完美融合，为用户提供了现实世界中的真实体验。

术语“混合现实”（MR）也被用于指现实世界和虚拟环境场景的组合。根据Milgram对“虚拟连续体”的定义，它是增强现实（AR）和增强虚拟（AV）的结合区，增强现实在用户视野中覆盖的真实世界场景比覆盖数字内容或计算机生成的虚拟3D场景信息或上下文更突出。Azuma等人对新兴的增强现实技术进行了全面分析，并探索了现实-虚拟连续体的功能。工业5.0中的另一种快速创新技术被称为扩展现实（XR），用于装配线监控、维护、远程支持、健康教育/培训等各个领域。根据Reddy等人的说法，改进的边缘计算、高精度计算能力和高性能设备可以提高XR在工业5.0中的可用性。

在过去的二十年里，AR技术取得了进步，包括基于标记和无标记的虚拟对象定位方法，以及可以将AR集成到移动和制造工厂环境中的移动上下文感知平台由于谷歌、索尼、惠普和IBM等众多全球公司的努力，这项创新技术已成功应用于医疗、维护和维修、教育和文化遗产等众多领域。特别是，谷歌眼镜，一种小巧轻便的光学透视单眼显示器，提供了两个关键的增强现实功能：通过将其粘贴在周围环境中，可以免费快速访问信息。

按时间顺序描述AR/VR在组装和产品生命的其他方面的意义。通过引入AR/VR技术中的元素，通过呈现六个模块来解释其在制造环境中的架构，如制造应用程序指令的生成、在CAD平台中模拟整个制造操作以及真实世界环境的捕获、跟踪、虚拟场景的渲染和实时交互。讨论了每个模块在方便用户使用的教学平台上的工作，以及AR在指导组装、拆卸和维修操作中的应用。采用通用技术在更短的时间内实现更高生产力的障碍和挑战是在这些方向上改进研究的空间。AR/VR技术的要素

尽管AR/VR技术在过去20年中取得了显著进步，但迄今为止为制造系统开发的大多数系统都是基于实验室的实现。实时跟踪和计算在这种AR/VR技术中至关重要，因为现实世界和虚拟世界之间的同步必须在尽可能短的时间内创建。

制造环境下的AR系统体系结构

AR系统通过允许用户在真实环境中移动并自然地可视化虚拟模型，增强了用户和设备之间的沉浸式互动体验。因此，AR系统已成为辅助机械生产操作的潜在工具。图4描述了制造业AR辅助系统的架构。该系统由六个模块组成，包括生产应用程序指令、模拟整体

对象检测和映射方法

本节回顾并讨论了在工业环境中促进AR/VR制造应用的方法。AR/VR支持的制造活动的技术，开发AR/VR辅助制造应用程序的主要职责之一是生成数字模型。使用CAD软件或3D重建方法，收集现有物理部件的几何数据并将其转换为数字形式

用于装配指导的AR

组装系统中的部件组装可以被视为产生所需最终产品的流动过程。制造业中任何产品的组装都会消耗最大的时间。因此，装配工人必须完全了解要使用的设备、装配活动的顺序以及避免碰撞的最佳方法。

用于维护/维修的AR

工业部门最关键和最具挑战性的任务之一是维护系统，技术人员必须确保机器的最佳可用性和可靠性。为了达到最高的生产力潜力，制造业目前正将研究工作集中在最佳维护/维修系统的重要方面。

挑战和未来的研究需求

目前，制造业正在探索用于柔性制造系统的最新沉浸式AR技术，这使制造商能够在更短的时间内实现增产的主要目标。然而，尽管人们对AR的兴趣越来越高，制造业的研发活动也越来越多，但仍有许多障碍和问题需要解决。许多研究人员对基于AR的制造业应用进行了评估

数字化营销工兵观察

本文通过解决一些困难，对AR/VR的研究和在装配和维护/维修等各种工业应用中的进展进行了深入分析，并为进一步研究与现有生产系统相关的进展提出了建议。初步探讨了与制造活动的AR/VR系统相关的术语和信息。

对于非标自动化企业，如果能够增加AR技术用于研发，调试和售后维修保养中，肯定是个很大的趋势。3年前我在上海参加展会的时候，第一次看到一个日本公司，提供一个眼镜，供现场工程师使用，通过该眼镜，公司技术团队可以从远程支持该工程师做好维修工作。另外，随着AR技术融入数字孪生技术，这些增强技术必然会得到更广的运用。尤其是今天我们的设备制造企业走出国门，在国际上拓展我们的设备的时候，提前布局AR技术，或可以帮助到企业占领先机，降低成本，增加效益，提高客户的满意度。