AI 究竟是運算集中在雲端，還是在本地設備上進行處理更為合適？

人工智慧（AI）的快速發展正在深刻影響我們的生活，從自然語言處理、電腦視覺到工作流程最佳化，AI技術正在各個領域展現其巨大潛力。然而，隨著AI應用的普及，人們對於AI運算部署模式的選擇產生了激烈討論。

而本次 COMPUTEX 電腦展，各大廠紛紛推出 AI PC 方案與產品，也正代表著從雲到端的過渡與分工的過程正在發生。
但究竟是將 AI 運算集中在雲端，還是在本地設備上進行處理更為合適？業界還是有很多不同的意見，在這邊筆者就用簡單的方式來進行分析。

雲端 AI 與本地 AI 的比較
傳統上，大型 AI 模型，尤其是通用語言模型（LLM），由於其龐大的參數量和運算複雜度，通常需要在雲端的 GPU 叢集上運行。雲端部署確實能夠提供強大的運算能力，支持複雜的 AI 任務。然而，隨著 AI 技術的發展，越來越多的應用場景開始要求 AI 模型能夠在本地設備上高效運行。

相比雲端 AI，本地 AI 具有幾個顯著優勢。首先，本地 AI 可以最大限度地保護用戶隱私。透過在設備上直接處理資料，避免了敏感信息被上傳到雲端，降低了隱私洩露的風險。這在個人助理、多媒體處理等涉及私密資料的應用中尤為重要。

其次，本地 AI 能夠提供更即時、更流暢的使用體驗。當我們需要對圖片進行修補、為影片生成字幕或進行其他 AI 處理，甚至是需要 AI 為我們進行即時口譯工作時，若將任務上傳到雲端，不可避免地會產生網路延遲。相比之下，本地處理可以充分利用設備的硬體性能，實現毫秒級的回應，帶來更自然的交互體驗。
此外，本地 AI 還能夠應對網路中斷等意外情況。試想，當你在網路訊號不穩定的地區，或者流量突然耗盡時，雲端 AI 將無法正常運作。而本地 AI 則可以確保在各種條件下都能提供穩定、可靠的服務，提高設備的獨立性和韌性。

AI 模型壓縮克服本地部署最大難關
儘管本地 AI 有諸多優勢，但受限於終端設備的算力和儲存容量，在本地部署大型 AI 模型仍面臨挑戰。然而，隨著 AI 模型壓縮技術的不斷進步，這項難題正在被逐步攻克。

通過模型剪枝、量化、蒸餾等技術，研究人員可以在保持模型性能的同時，大幅降低其參數量和運算複雜度。這使得原本需要雲端運算力的大型模型，現在也能夠輕鬆地在智慧手機、平板電腦等終端設備上運行。

舉例來說，某些輕量級的專業 AI 助手，經過模型壓縮最佳化後，僅需要數十至幾百 MB 的儲存空間，就能在手機上流暢運行，完成諸如檔案整理、圖片分類、行程規劃等任務。這大大降低了終端設備導入 AI 的門檻，推動了 AI 應用的普及。

本地 AI 在工業領域的應用
除了消費級應用，本地 AI 在工業領域也展現出巨大潛力。在工廠流程管理、產線控制等場景中，將 AI 決策能力下沉到生產現場，能夠顯著提升系統的實時性和穩定性。通過在設備上部署經過壓縮最佳化的 AI 模型，工廠可以實現更高效、更智慧的生產調度和品質管控。

這種去中心化的 AI 架構，不僅降低了對網路的依賴，還能夠在確保資料安全的前提下，實現多個生產節點之間的協同最佳化，推動工業智慧化的進程。眾多的 AIoT（人工智慧物聯網）研究和實踐案例都表明，本地化的 AI 部署模式在工業領域大有可為。

網路基礎設施對 AI 部署的影響
雖然從全球範圍來看，超過 60% 的人口已經能夠接入網路，但網路基礎設施的發展水準卻存在著巨大的地區差異。以台灣為例，雖然網路速度和覆蓋率位居世界前列，平均網速達到 153Mbps。然而，這種優異的網路環境並不能代表其他地區的普遍狀況。

對於網路條件相對落後或者是受到限制的的地區和環境而言，將 AI 運算全部放在雲端是不切實際的。頻繁的資料上傳和下載會產生顯著的網路延遲，影響使用體驗。相比之下，本地化的 AI 部署能夠減少對網路的依賴，即使在網路條件欠佳的情況下，也能保證 AI 應用的正常運行。

未來展望
本地 AI 在隱私保護、使用體驗、網路適應性等方面具有獨特優勢，是雲端 AI 的重要補充，沒錯，筆者並不認為雲端與終端 AI 互斥，而是互補的作用。

而隨著 AI 模型壓縮技術的日益成熟，在終端設備上部署高效、智慧的 AI 應用變得越來越容易。未來，本地 AI 將在消費電子、工業製造等領域扮演越來越重要的角色，與雲端 AI 協作，共同構建起無所不在的智慧世界。

本文作者林宗輝，曾於 Digitimes 工作，擔任 4 年科技產業和技術編輯經驗，以及從事超過 6 年半導體產業分析工作。曾在證券市場從事投資分析工作。在北京麻省理工學院科技評論 (深科技) 擔任研究經理 2 年。回台後曾為財訊雙週刊撰寫產業與財經分析文章。目前為波士頓 Arthur W. Wood Company Inc 公司半導體分析師。