摘要

人工智能（AI）技術擺脫了靜態(tài)的基于規(guī)則的編程，用動態(tài)學習的推理系統代替了更智能的決策。先進的人工智能技術與物聯網技術相結合，正在用智能應用重新定義整個行業(yè)。

這些行業(yè)的一個重要趨勢是人工智能推理系統向邊緣轉移，更接近傳感器和控制元件，減少延遲并改善響應。從可穿戴設備到嵌入式系統，所有類型的邊緣人工智能硬件的需求都在快速增長。據估計，到2026年，單位年復合增長率為20.3%，超過22億單位。

邊緣AI推理平臺面臨的最大挑戰(zhàn)是實時提供高帶寬數據，并對AI和控制算法使用有限的空間和功率進行決策。接下來，我們將看到NVIDIA的三個強大的AI應用開發(fā)支柱如何幫助工業(yè)計算機使邊緣AI推理解決方案成為現實。

Edge AI推斷支持應用程序中當前發(fā)生的事情，并在繼續(xù)學習的過程中展望未來數月和數年。 

什么是人工智能推理

支持人工智能的系統有兩種：一種用于訓練，另一種用于推理。訓練系統檢查數據集和結果，尋找建立一個決策算法。對于大型數據集，培訓系統可以使用服務器、云計算資源或在極端情況下使用超級計算機進行擴展，還可以花費數天或數周的時間來分析數據。

在訓練中發(fā)現的算法被傳遞給人工智能推理系統，用于處理真實世界的實時數據。雖然推理的計算強度不如訓練，但它需要有效的人工智能加速來快速處理決策，并與傳入的數據保持同步。由于熟悉的編程工具、高性能和強大的生態(tài)系統，一個流行的加速選擇是使用GPU內核。

傳統上，AI推斷系統是在服務器級平臺上通過在PCIe擴展插槽中添加GPU卡來創(chuàng)建的。大多數人工智能推理仍然發(fā)生在支持人工智能的服務器或云計算上，一些應用程序需要服務器級平臺來提高人工智能加速性能。在考慮延遲和響應的情況下，低功耗嵌入式系統可以將人工智能推理擴展到邊緣。

邊緣人工智能推理體系結構的優(yōu)點

邊緣計算在處理大量實時數據的分布式體系結構中具有很大的優(yōu)勢。將所有這些數據移入云中或服務器進行分析會帶來網絡和存儲方面的挑戰(zhàn)，從而影響帶寬和延遲。更接近數據源的本地化處理（如使用AI進行預處理）可以減少這些瓶頸，降低網絡和存儲成本。

還有其他邊緣計算的好處。個人識別信息可以匿名化，提高隱私。安全區(qū)域減少了系統范圍內的漏洞。局部算法執(zhí)行實時確定性，使系統處于控制之下，許多錯誤警報或觸發(fā)器可以在工作流的早期消除。

擴展邊緣計算與人工智能推理增加了更多的好處。邊緣人工智能推理應用程序通過添加更小的平臺有效地擴展。通過在一個邊緣節(jié)點上進行推理而獲得的任何改進都可以上傳并部署到整個節(jié)點系統中。

如果一個邊緣人工智能推理平臺能夠加速整個應用程序堆棧，包括數據接收、推理、本地化控制、連接性等等，那么它就為系統架構師創(chuàng)造了引人注目的可能性。