經濟日報 記者秦鈺翔／台北報導
北美CSP大廠Google傳出要開發專為Gemini設計的全新晶片，以提升其推論效率，預示著AI主戰場正快速從模型訓練轉向推論市場，加上AI代理快速崛起，更是加快轉向速度。因此輝達、微軟、Meta、亞馬遜等幾大巨頭也都持續投入推論相關技術。
據研調機構指出，AI推論市場規模預估將從2024年的1,060億美元成長至2030年的2,550億美元，成長速度遠超訓練市場。而隨著企業開始大量部署AI Agent，這股趨勢未來幾年預料將持續加速。AI Agent 能根據簡單的自然語言指令完成一連串複雜任務，因此其中就需要用到大量推論算力，AI Agent才有辦法準確完成任務。
此外，Google、微軟與多所頂尖大學研究人員今年 4 月共同發表的研究指出，在目前最主要的應用場景──程式開發中，AI Agent所需的推論運算量約為人類的1,000倍。
為了不在推論市場落後，幾大巨頭各顯神通，輝達於去年底便宣布與AI晶片新創公司Groq達成一項價值200億美元的非獨家技術授權協議，這是輝達歷史上規模最大的交易，其目的在於拿下Groq 的LPU 技術，LPU晶片在AI推論速度上較GPU快10倍且能耗降低10倍，專攻低延遲即時應用場景，是輝達一大利器。
高通則是推出高速AI推論晶片HBC平台，據微軟執行長納德拉表示，此架構結合高頻寬記憶體與整合式運算能力，透過近記憶體運算大幅降低延遲與功耗，可為下一代AI基礎設施帶來成本與效能的大幅提升，微軟將有機會成為首批使用客戶。
Meta則將在未來數年將陸續部署MTIA 300、MTIA 400、MTIA 450與 MTIA 500四款晶片，其中MTIA 450與MTIA 500(代號Arke與Astrid)預計將於2027年大規模部署，兩款晶片主要鎖定AI推論 工作。而亞馬遜同樣專注於推進自研AI晶片，包含Trainium3與下一代Trainium4，這些晶片皆是專為高效能的訓練與推論而設計，其中Trainium3已進入初步量產，預計下半年將逐步放量。
