AI开挂 边缘运算智能升级的五大挑战与四大核心

研究机构IDC预估，全球企业的边缘运算支出将从2022年的1,760亿美元成长至2025年的2,740亿美元，届时，成长率最高的边缘应用包含大众基础设施维护、网络维护、医疗诊断与AR辅助手术。当科技越来越智慧，智能型载具与联网装置网网相连，「云端数据中心」需要边缘运算(Edge Computing)的因地制宜，才能更有效地降低运算负载量，快速、低延迟地传输信息。

如果将云端数据中心/云端运算与边缘运算比喻为大脑与神经系统，边缘运算的神经弧涵盖范围更广，小至各类智能型载具与终端设备的应用，大至物联网(IoT)、工业物联网(IIoT)与车联网(V2X)的运作整合，都少不了边缘运算穿针引线。在IoE（万物互联）时代，更需要最小延迟性、高可用性网络实时处理大量数据，边缘运算的重要性不言可喻。


 
图1 : 云端面临5大挑战。

云端面临5大挑战：
挑战1.延迟问题
越来越多产业需要应用程序具备快速分析与响应的能力，云端运算过程中数据源之间的网络距离容易导致低效率、延迟及客户体验不佳。

挑战2.带宽问题
网络的边缘装置数量越多，数据传送至云端的成本可能越来越高，边缘处理、储存与分析数据有助降低成本。

挑战3.隐私及安全问题
减少网络传输的数据量有助降低资安风险，尤其是医疗、智财(IP)等资安要求高的信息处理，云端传送不若边缘运算安全。

挑战4.联机问题
持续性的网络联机能力是云端运算的痛点，加上未来5G可能带来的高带宽、低延迟帮助，更能强化边缘运算的快速传输能量，这部分云端相对弱势。

挑战5.AI串联问题
AI可以加速数据处理速度、提高智能运用，随着AI与边缘运算的发展，云端的功能性相对弱势。

边缘运算四大核心：运算、储存、建构网络与加速AI
传统的云端运算要求将数据传输回中央的数据中心进行处理，再传输回使用者端的终端设备，但数据中心无法保证传输速率和响应时间，另一方面，动辄

数十亿物联网及行动装置所搜集到的数据相当可观，将数据传送至分布式模型，就近在数据位置处理运算事宜更有效率。

边缘运算(Edge Computing)为网络运算架构，在运算过程中因为靠近数据源，可以减少延迟和带宽的使用，极大限度地减少异地客户端和服务器之间的通信量。

云端运算中的信息与数据会集中搜集、处理及分析，而边缘运算则是将运算能力广布于运算环境中，二者包含在广义的「云解决方案」中。由于边缘运算中的数据与数据可以在收集源附近处理，让特定场域中的大小组件分工执行数据处理，不需要将数据传输到云或数据中心进行分析处理，有助减轻网络及服务器的负担，处理数据的能力及反应时间更快，因此特别适合实时性高的工业物联网及车联网的应用，若加入人工智能(AI)和机器学习(ML)等元素，还能产生更多创新应用，进一步提升组件的智能化效能。

研调机构Gartner报告指出，2021年边缘运算装置具有深度机器学习能力的比例不到10%，2027年将提升到65%。

近装置的边缘运算设备具有四大核心：运算、储存、建构网络与加速AI，将储存、处理与分析数据的功能从云端移至边缘，对于车联网这类极需实时应用的领域来说，可以带来更快、可靠性更高、更优质的体验，也有助于减少传输与储存大量数据所需耗费的带宽与成本，毕竟几毫秒的延迟对各类实时系统及智慧车辆来说，可能就是生与死之间的距离，对于智慧工厂中的机器人来说，可能是成本与产值多一个零或少一个零的差距，尤其在网络联机能力不佳的地区，云端联机中断问题多，边缘储存与处理数据的优势更为明显。

Edge AI助攻 边缘运算应用场域更多元
ITIS报告指出，未来科技朝智能化发展，智能装置的运算和感测功能结合，透过边缘运算，可以强化装置间的沟通能力。边缘运算可以广泛应用于大规模的数据传输应用(如智能制造、智能城市)、实时性协作(如智慧电网、智慧金融、智慧农业)、体验优化(如智能零售、人脸辨识)及安全应用(如智能交通、智能医疗、自驾车、无人机)。

以车联网来说，需要仰赖系统可靠性和运算实时性， 才能满足车辆配备的精密机械与尖端电子软硬件等复杂系统，以及串联云端、AI、传感器与无线通信技术，而车辆在行驶过程中搜集到的各种数据数据除了有助车辆运作，还能衍生多种新兴商业模式。

随着边缘运算、AI和物联网快速发展，出现多种智能网络连接技术，如Edge AI、Edge AIoT(人工智能联网)等。已经有许多企业透过边缘运算与AI结合提高效率，降低成本，如边缘AI和边缘运算装置可以提高自动化操作的精准度，减少人为疏失，有助建立更安全的工作场域。

市调机构MarketsandMarkets即指出，边缘AI能提升监控效率，大幅减少延迟及云端带宽需求，可运用于机器深度学习的摄影机系统读取原始数据，透过人脸辨识分析、识别人员及侦测可疑活动，各种多元的数据处理能力已逐渐转移到边缘端。AI边缘运算技术逐渐应用于交通运输、自动驾驶、医疗照护、农业、制造业、金融业、零售业等场域。

由于智能边缘运算装置内建处理器，可提供内建分析或AI进阶功能，内部部署的边缘服务器便能处理从边缘运算装置传来的数据，再回传接近实时应用程序所需关键信息，或者将数据传送至云端。多个边缘运算装置的数据也能传回云端整合，执行更广泛的处理及分析。

边缘运算结合AI的智慧解决方案
边缘运算可以透过AI使终端设备更加智慧，一方面保有边缘运算低延迟、高隐私、快速连接、低功耗、低成本等优势，再方面可以强化系统的智能功能及自动化优势。边缘AI与传统边缘运算相较，优势包含数据处理、过滤和边缘智慧分析，未来，边缘AI与边缘运送持续结合，可以有更多运用，比方边缘AI与影像分析技术已逐渐应用于智能零售、医疗等领域。Fortune Business Insights指出，全球影像分析市场至2027年复合年均成长率达21.3%。

科技龙头Microsoft认为，2026年全球AI芯片约75%将为边缘运算所用，IoT芯片于边缘运算的发展可能成为未来业者的重点布局之一，如Google、AWS等云端大厂致力于芯片自制；ARM锁定边缘AI针对摄影机的辨识应用；Intel投资十余家新创AI芯片设计厂；恩智浦(NXP Semiconductors)、芯科科技(Silicon Labs)、意法半导体(ST)则是在MCU或SoC上增加边缘AI功能。投入AI芯片的业者也不少，如以色列AI芯片公司Halio、新创公司EdgeQ及Graphcore，以及中国的华为海思、台湾的联发科与耐能。

此外，随着智慧工厂、智慧城市、智慧医疗等场景出现越来越多AI与IoT结合的应用，AI芯片的价值水涨船高。在AI芯片帮助下，IoT边缘与终端装置可透过机器学习或深度学习等技术加值，同时带出无延迟、低成本、高隐私等优势，预估全球AI芯片产值至2025年约达720亿美元。研调机构Omdia则预测，全球边缘AI芯片产值将从2019年的77亿美元成长至2025年的519亿美元，未来产值上看新台币1.5兆元。

工研院电光系统所所长张世杰认为，AI应用越来越广泛，能在边缘装置端快速运算、实时反应的「AI芯片边缘运算（Edge Computing）」成为智能装置(如手机、穿戴式装置)能否普及的关键，省电的AI运算芯片变得非常重要，内存内运算技术也已成为全球AI芯片技术的兵家必争之地，国际大厂竞相寻求具有高度存取效能、低功耗的内存技术。以工研院研发的超省电内存内运算（Computing in Memory；CIM）AI芯片来说，具有超低耗电效能与实时辨识关键语音功能，可应用于智能生活(如智能门锁、蓝牙耳机、白色家电等)中。

智能工厂也会是导入大量边缘AI应用的场域之一。Edge AI强调不需要联机到服务器，直接在边缘装置应用AI模型即可，可应用在工厂产线的瑕疵检测 (如对象侦测、影像分割、零件瑕疵检测)、自动光学检查(AOI)设备检测瑕疵产品复判；Edge AI瑕疵检测装置与自走车结合便形成可移动式检测工作站；工厂或智慧仓储导入AI和边缘运算技术，可以结合机械手臂或仓储机器人，实时远程处理各项问题，分析监视器影像或AIoT讯号，减少人力检查成本与人为错误率。若是行车纪录器与AI结合，可以应用于行人侦测与预警系统，不需将数据回传云端等待结果，在边缘端即可进行数据处理、预测，实时性更高。

各家业者看好AI边缘运算的发展，积极推出解决方案，如戴尔(Dell)推出一系列边缘运算解决方案以确保边缘运算设备可以支持各类应用场域，如温湿度/空间、可支持、连结的设备距离、设备与数据安全防护机制、远程监控管理等。Dell PowerEdge XR4000是针对Nano-Edge推出的新产品，适合智能零售、制造、5G电信、交通、医疗（车）、8K转播车等应用，35cm短深度适用于各种恶劣、不可预测的边缘环境，企业可以远程监控设备营运状况，或透过戴尔的边缘运算营运软件平台Project Frontier统筹管理。

 
图2 : Dell PowerEdge XR4000是针对Nano-Edge推出的新产品。(source：Dell)

恩智浦(NXP Semiconductors)为满足新世代工业物联网与边缘运算需求，推出内建客制化神经处理单元(NPU)全新32位Arm Cortex-M33核心的MCX微处理器家族系列，将AI导入低功耗嵌入设备及边缘设备中。恩智浦MCX微处理器中的旗舰款微处理器在使用NPU执行机器学习运算时，速度能提高30倍，有效提高运作效能，并广泛采用MCUXpresso软件和SDK工具套件，有助强化AI从云端导入消费和工业物联网设备的效能。

研扬科技发表采用全新NVIDIA Jetson AGX Orin的AI边缘运算解决方案—BOXER-8641AI，采用8核Arm v8.2 64位CPU和NVIDIA Ampere架构，拥有1792个CUDA和56个Tensor核心，最高可达200个TOPS，AI性能是前代产品的6倍，可以直接在边缘端进行资料分析，而且搭配最新M.2 E/B/M-Key进行5G、无线Wi-Fi/蓝牙、NVMe等扩充，已通过微软Azure认证。研扬科技系统平台产品处资深协理薛绍周表示，BOXER-8641AI是针对次世代机器人应用所设计的AI边缘运算产品，强化了下一代深度学习及视觉处理能力。


 
图3 : 研扬科技首次发表采用全新NVIDIA Jetson AGX Orin的AI边缘运算解决方案。(source：研扬科技)

技宸则善用Intel新一代处理器Elkhart Lake CPU为运算核心，打造QBiP与QBiX无风扇解决方案，具备低功耗、高效能特色，在相同瓦数下提供高于竞品1.5-2倍的效能，可强化制造系统边缘设备的运算能力及优化系统运作效率。除了制造业，也适用于不同场域的智慧化架构，如QBiP与QBiX系列可透过高运算效能，让零售业者店内的数字广告牌具备播放高分辨率影音档案的能力，创造绝佳使用体验，宽温设计可让设置于户外严苛环境下依然稳定运作。

 
图4 : 技宸QBiX无风扇解决方案。(source：技宸)

2023年中美芯片战还有续集？
至于中国，布局AI芯片物联网领域的厂商众多，主要针对云端运算、行动通讯、物联网与自动驾驶等领域。聚焦于边缘运算领域的业者以地平线、华为海思、寒武纪、比特大陆、鲲云科技等最为活跃。TrendForce预估，中国AI芯片市场有望从2019年的13亿美元增长至2023年的上看35亿美元。

不过，2022年10月美国拜登总统祭出芯片禁令，全面打击中国AI、超级计算机和晶圆加工领域，同时扩大商业管制列表项目，纳入先进晶圆加工制程设备、超级计算机相关芯片和设备等选项。有消息指出，美国的科技封锁战有可能继续朝AI软件、量子运算迈进，相较于看得见的俄乌战争，这场没有烟硝的科技战争对于中国及全球AI芯片产业带来的冲击如何有待观察。