聯發科技天璣平台支援Meta 全新生成式AI大型語言模型 Llama 3.2

Meta今日發表專為AI應用所設計的新一代開源大型語言模型（LLM）－Llama 3.2。此版本將進一步賦能整個生態系，讓開發者及使用者能以11B和90B模型對高解析度圖像進行推理運算，並能以其輕量級的1B和3B模型，在任何行動與邊緣裝置上高效運算。

聯發科技為持續擴充過去為Llama 2和Llama 3模型所建構的框架，再度優化整合NPU硬體加速與軟體工具，以使得Llama 3.2能在天璣平台上順利運用；適用平台包含即將推出的天璣9400以及未來的天璣生成式AI平台。

Llama 3.2版本包含了數個全新、升級的和高度差異化的模型，並涵蓋一系列尺寸和能力範疇，以及包括圖像輸入安全機制在內的堅實系統等級安全支援。1B和3B模型支援多種裝置運算的應用情境，如多語言知識檢索與摘要、指令遵循、文本重寫。

使用聯發科技天璣平台運行Llama 3.2，能為開發者及使用者帶來更快速的回應、更低的延遲，以及更低的電力消耗。由於較小型Llama（1B及3B ）模型的低記憶體需求特性，使其能為使用者創造更流暢的使用體驗，進而促成生成式AI方案在離線裝置上的廣泛運用。

Llama 3.2已整合到聯發科技NeuroPilot SDK軟體開發套件，此將能協助開發者在我們的行動平台及邊緣AI運算平台上，啟動並優化裝置端生成式AI推理能力。

想了解更多Llama 3.2，以及Llama 3.2如何為使用聯發科技天璣平台的開發者加值，請參考 (https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/)。