CVPR 2020 : 線上觀看聯發科技團隊的研究論文

國際視覺與模式辨識會議（IEEE Conference on Computer Vision and Pattern Recognition ，CVPR）為人工智慧領域的年度盛會，與會者包含了來自電腦視覺、機器學習和人工智慧領域的全球頂尖科技企業、相關學者、研究人員和學生。CVPR 會議將於 2020 年 6 月 14 至 19 日線上直播，請點此連結取得活動議程資訊。

在 2020 年，CVPR 錄取了數篇由聯發科技團隊發表的研究論文：

• Unified Dynamic Convolutional Network for Super-Resolution with Variational Degradations
• Learning to See Through Obstructions
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

除了 CVPR 會議以外，聯發科技也贊助了 2020 年影像重建與增強新趨勢研討會（New Trends in Image Restoration and Enhancement，NTIRE'20）。

聯發科技團隊將在該研討會上發表一篇關於行動裝置先進影像重建技術的研究論文:

• Deploying Image Deblurring across Mobile Devices: A Perspective of Quality and Latency

此外，聯發科技還贊助了 2020 年低功耗電腦視覺（Low Power Computer Vision，LPCV'20）和影像壓縮挑戰賽（Challenge on Learned Image Compression，CLIC'20）研討會，以推動邊緣 AI 的發展。

如果您對 AI 應用的無限可能有興趣，歡迎至聯發科技網站探索更多職缺機會。

以下為各研究論文的簡短介紹 :

CVPR'20: Unified Dynamic Convolutional Network for Super-Resolution with Variational Degradation

論文線上發表與問答時程：6/18 17:00-19:00 & 5:00-7:00（太平洋夏令時間，西雅圖時間）

簡介: 單影像超解析（single image super-resolution，SISR）的目標在於從低解析度（LR）影像重建高解析度（HR）影像。最近，如深度卷積神經網路（Deep Convolutional Neural Networks，CNN）等電腦視覺領域已取得大幅進展，執行 SISR 工作時可顯著維持與改善影像品質，尤其是聯發科技團隊已可運用動態卷積技術解決變異退化的問題。

聯發科技在研究論文中提出了統一架構 UDVD（Unified Dynamic Convolutional Network for Variational Degradations），即針對變異退化的統一動態卷積網路，使用動態卷積來處理跨影像和影像內的變異退化問題，其中包括超解析應用的雜訊、模糊和縮減取樣（downsampling）。研究報告涵蓋了動態卷積性能影響的綜合分析，根據我們大量的實驗證實，聯發科技提出的 UDVD 在合成和真實影像上表現皆優於最新技術。

CVPR'20: Learning to See Through Obstructions

論文線上發表與問答時程：6/18 17:00-19:00 & 5:00-7:00（太平洋夏令時間，西雅圖時間）

簡介: 聯發科技與合作夥伴提出了一種以學習為主的方法，可從動態相機所拍攝的簡短序列影像中消除不想要的障礙物，例如：窗戶倒影、柵欄遮擋或雨滴。我們所採用的方法利用背景與障礙元素之間的動態差異來重建兩個圖層。簡單來說，我們一邊估計兩個圖層密集的光流場，一邊透過深度卷積神經網路從光流扭曲的影像重建各圖層。以學習為主的圖層重建讓我們得以處理光流偵測和脆裂假設中的潛在誤差，如亮度穩定性等。據研究顯示，合成產生的數據經訓練可良好地傳輸至真實影像。我們試驗了許多去除倒影和柵欄等深具挑戰的情境，結果證明此法成效卓著。

CVPR'20: Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

論文線上發表與問答時程：6/16 12:00-14:00（太平洋夏令時間，西雅圖時間）; 6/17 0:00-2:00（太平洋夏令時間，西雅圖時間）

簡介: 相機感測器的量化與飽和功能會導致曝光不足或過曝的區域遺失細節，因此，從單一低動態範圍（LDR）輸入影像重建為高動態範圍影像相當困難。相較於現有的以學習為主的方法，我們的核心概念是將 LDR 成像管道的領域知識納入模型。我們建立了 HDR 到 LDR 的成像管道模型，分別為（1）動態範圍裁減、（2）來自相機響應函數的非線性映射以及（3）量化。然後，我們建議學習此三項特定的卷積神經網路，以逆轉這些步驟。我們將問題解構為特定的細項工作，並加上有效的物理限制，以加強個別次網路的訓練。最後，我們一起對整個模型進行端對端的微調，以降低誤差累積。我們在各種影像資料組上進行大量的量化與質化實驗後，證實了所提方法表現優於最新的單影像高動態範圍重建演算法。

NTIRE'20: Deploying Image Deblurring across Mobile Devices: A Perspective of Quality and Latency
論文線上發表與問答時程：6/15 17:00-19:00 (太平洋夏令時間，西雅圖時間)

簡介: 聯發科技提出了在品質與延遲間取得平衡的實用指南，可在行動裝置神經網路架構的圖像去模糊應用上獲得較佳效果。研究報告針對熱門的網路優化技術在行動裝置部署上的成效進行了系統性分析，包含關於圖像去模糊量化和裁剪的觀察，同時還提供了延遲和品質相關的深度分析。所有的實驗與分析皆採用聯發科技 NeuroPilot SDK 和 APU（AI處理單元）解決方案。聯發科技也藉由在論文中的研究結果，獲得2020 年 NTIRE 的影像去模糊挑戰賽（Image Deblurring Challenge）冠軍。