人工智慧(AI)如何賦予低解析度影像新生命

在設計數位電視之類的應用時,您會希望能盡可能提供最清晰、最生動的影像。但有時無法盡如人意,會出現解析度不夠的情況。例如,為了保留頻寬,必須以較低的解析度將視頻串流傳輸到顯示器,然後放大素材以符合顯示器的要求。幸運的是,隨著人工智慧(AI)和深度學習處理功能的出現,圖像處理技術已有長足的進步,能幫助您滿足圖像質量的要求。在這篇部落格文章中,我將討論AI和深度學習如何通過改善圖像質量來強化視覺應用。

視覺應用包含廣泛的領域,從稍早討論過的數位電視範例到遊戲、數位相機、遠距感測和和多功能印表機(MFP)等。為能在符合人們預期的情況下運作,這些應用程序都需要能提供高品質的影像,並且在許多情況下,這些影像需要即時處理及傳送。「數據處理不平等」(Data Processing Inequality)的概念明確指出,如果資訊本身並不存在,則無法將其添加到影像中。因此,當從像素顆粒明顯的影像開始著手時,只有少數的影像處理軟件工具可以執行;這也是為何需要全新等級的影像處理的原因。

更快速、更精準的影像處理

一旦經過訓練,卷積神經網絡(CNN)可提供相對有效的方式來增強影像。 CNN早在1980年代就出現,但直到2000年代應用在GPU後,才真的成為強大的圖像處理工具。神經網絡經過訓練,就會一直有效,它可被訓練成能識別任意類別,而無需為每個新參數進行額外編碼。

多年來,深度學習和神經網絡演算法已經發展為包含超解析度神經網絡(super-resolution neural networks),可使圖像放大8倍甚至16倍,以獲得更清晰、更生動的效果。由於基於學習的演算法已經針對非常廣泛的數據集進行了訓練,因此擅長縮放圖像和恢復分辨率。他們知道如何運用訓練集中的數據來補足原始影像中遺失的數據。

在GPU和CPU上執行影像處理神經網絡適用於不需要即時影像結果的應用,例如某些電子遊戲(video games)或舊電影修復。假設有一個增強實境遊戲之類的應用程序,需要即時提供和顯示高解析度影像,同時還要從另一個來源獲取數據集;在這樣的情況下,某些GPU和CPU缺乏處理能力,無法提供即時結果。動態影像或視頻放大應用程序(尤其是那些使用超解析度神經網絡的應用程序)需要專用的神經網絡處理器。理想情況下,這種處理器應提供:

  • 快速的效能
  • 低功耗
  • 小面積
  • 可擴充性
  • 支援各種神經網絡圖的靈活度

靈活的低功耗視覺處理器IP核(IP Cores)

新思科技在DesignWare®ARC®EV嵌入式視覺處理器系列中,針對嵌入式視覺應用提供了完整可編程和可配置的IP核。 這些內核結合軟體的靈活性與硬體的低成本和低功耗,整合成另一可供選擇的高性能深度神經網絡(DNN)加速器,可快速準確地執行CNN。由於這個加速器適用於各種神經網絡,因此它可以執行任何神經網絡影像以及客製影像。

京瓷文檔解決方案公司的合作是視覺處理器系列最近的成功案例。京瓷最近使用帶有CNN引擎的DesignWare ARC EV6x嵌入式視覺處理器IP和DesignWare ARCMetaWare®EV開發工具套件,讓其新型MFP SoC成功完成首次矽晶試產。京瓷透過處理器IP獲取高性能AI處理能力,例如超高解柝度,以及支持未來AI模型的靈活性。該公司使用了基於新思科技HAPS®FPGA的原型系統,加快ARC EV軟件的開發、SoC集成和系統驗證。京瓷的TASKalfa 3554ci系列MFP SoC是業界首個具有AI功能,可支援按需超高解析度印表機的MFP SoC。

京瓷文檔解決方案公司軟件開發部總經理Michihiro Okada表示,將高級AI功能整合到我們的MFP SoC中需要具有高質量工具鏈的高性能、低功耗處理器IP,這使我們能夠在開發SoC的同時找到並測試AI演算法。只有新思科技的 DesignWare ARC EV處理器IP和成熟的MetaWare EV Toolkit才能滿足我們針對靈活性、性能、準確性和面積的要求。

下圖顯示了京瓷使用DesignWare ARC EV處理器IP可以實現的影像增強效果。

總結

隨著視覺應用市場的持續增長,對生動、清晰影像和視頻的需求只會增加。具有完整CNN引擎的視覺處理器IP可以提供高性能、低功耗和靈活性,讓原本可能是模糊或馬賽克化的影像呈現更出色的效果。