DSO.ai
由人工智慧驅動的設計應用
瞭解更多 →
是什麼推動了Chiplets的需求？
疾如閃電的金融交易、自然語言處理、基因組定序…面對高負載運算工作，標準CPU已經無法滿足其需求。這些高效能運算(HPC)應用需要功能更強大、得以處理大量工作負載的處理器，且在無需消耗太多能量的前提下，同時解決複雜問題。
高效能與低功耗，面對這兩個看似矛盾的重大目標，晶片設計人員該怎麼辦呢？
工程技術的獨創與巧思，再再證明了它解決棘手問題的能力。由於生產大型系統單晶片(SoC)或採用更小的製程節點以實現功耗、效能和面積 (PPA)優勢的策略過於不切實際且成本過高，工程師們設計出了全新技術來推動半導體的創新。Chiplets便是一種提升效能的方式，可以同時滿足功耗與外形尺寸目標，特別適合不需要超大晶片體積的企業。本文將討論Chiplets如何提供全新等級的抽象層級(level of abstraction)，以滿足超大規模資料中心與其 HPC 工作負載的需求。
來自超大規模資料中心的海量資料需求
HPC可以解決各種從科學與學術研究到商業創新領域中的複雜運算問題。從COVID-19到氣候變遷、金融風險分析和產品開發，世界上有許多重大且具有挑戰性的問題需要解決。HPC系統快速準確的資料處理能力，配合人工智慧(AI)和機器學習(ML)演算法，可以透過分析、建模和模擬，將海量資料轉化為可行的見解。MarketsandMarkets預估，HPC市場將從2020年的378億美元成長到2025年的494億美元。
最初的 HPC 應用－超級運算(supercomputing)－需要運用數千個CPU來解決複雜問題。傳統的資料中心也會以CPU，或是混合使用 CPU、GPU和專用ASIC作為其基礎。舉例而言，Google就擁有自己的張量處理單元(TPU, Tensor Processing Unit)，一種用於神經網路機器學習、可透過雲端存取以加快AI速度的專用ASIC晶片。今天，我們可以觀察到超大規模資料中心日益普及，並快速且大規模地擴展，為HPC工作負載管理上千兆位元組 (甚至更多)的資料。而主流HPC應用中常用的晶片類型，已經無法滿足超大規模資料中心的PPA需求。
如Cerebras的 Wafer-Scale Engine (WSE) 極大型晶片，為超大規模資料中心提供了一種選擇。但從良率的角度來看，生產採用先進節點的大型單裸晶(monolithic die)成本高昂又具有挑戰性。這就是Chiplets吸引人的原因之一。事實上，超大規模資料中心正是驅動使用像Chiplets這類新架構以達到 PPA目標的需求。
預估HPC市場將從2020年的378億美元成長到2025年的494億美元
資料中心 SoC 的 PPA優化
Chiplets是一種小型裸晶，將其整合進單一封裝中，可以組成更大型的多晶粒設計(multi-die design)。透過將大型設計劃分為多個Chiplets，設計人員可獲得產品模組化和靈活性等優勢。個別的裸晶—即使是在不同製程節點上開發—也能組裝到單一封裝中，以滿足不同的市場領域或需求。與大型單裸晶相比，Chiplets也更容易製造並達到更高的良率。
至於Chiplets封裝，有多種技術可支援更高的電晶體密度，包括多晶片模組(MCM)、2.5D和3D技術。MCM是最早期的一種系統級封裝(SiP)技術，問世至今已數十年，其可在單一封裝中以打線封裝(wire bonding)方式連接至少兩個 IC。在2.5D設計中，GPU和高頻寬記憶體(HBM)並排組裝在單一封裝中的中介層(interposer)上。儘管邏輯晶片並未堆疊，在某些2.5D設計中，HBM仍是由3D堆疊記憶體組成，將3D概念帶入2.5D設計。而在3D封裝中，異質裸晶垂直堆疊並透過矽穿孔(TSV)相互連接，此架構讓極快速的記憶體存取頻寬得以實現。
HPC設計通常會使用各種封裝類型的Chiplets。MCM是小型、低功耗設計的理想選擇。2.5D設計適用於人工智慧(AI)工作負載，因為能緊密的連接HBM與GPU，且同時提供強大的運算能力和記憶體容量。3DIC具有垂直堆疊的CPU和快速的記憶體存取能力，對一般 HPC工作負載的理想之選。
根據國際能源署(IEA)報告指出，全球資料中心在2019年用電量為200 TWh，約佔1%的總電力需求。即使服務需求預估將會成長60%，只要硬體和資料中心基礎架構效率持續提高，此用電量在2022年以前都會幾乎持平。顯然，在晶片級功耗方面，任何幅度的降低都將大有助益，如果能擴展到多晶粒設計則更好。為此，HPC與資料中心應用接下來要開拓的領域，可能會是光學 IC。將光學IC整合到與矽晶相同的封裝中，可就降低功耗和提升頻寬層面帶來顯著優勢。雖然光學技術才剛開始被導入資料中心領域，以提供另一種擴大規模、降低功耗和維護成本的方法，但此技術在超級運算領域中已通過驗證，可以有效連接數百甚至上千個 CPU 節點。
調整 EDA 和 IP 以優化Chiplets設計
為確保Chiplets能實現所需要的PPA目標，勢必要審慎選擇開發使用的底層技術。舉例而言，支援高頻寬、低延遲、能源效率和無誤差效能的裸晶到裸晶(die-to-die) 介面對於快速、可靠的資料傳輸來說至關重要。同樣關鍵的還有設計與驗證流程，有助於提早發現問題、取得更高的結果品質(quality-of-result)並加速上市時程(time-to-market)。
新思科技憑藉領先業界的電子設計自動化(EDA)流程和IP解決方案，可以提供技術資源來加速Chiplets的開發，藉此滿足HPC嚴苛的PPA目標。舉例而言，AI 強化、雲端就緒(cloud-ready)的新思科技「融合設計平台」(Fusion Design Platform™)即具備大規模平行數位設計工具，以及合成(synthesis)、佈局繞線(place-and-route)和簽核(signoff)引擎的整合。針對2.5D和3D設計，裸晶對裸晶(die-to-die)連接 IP可提供卓越的功耗、延遲和裸晶邊緣效率。針對 3D 設計，建立於新思科技Fusion Design Platform基礎上的3DIC Compiler，是業界首款適用於先進多晶粒系統(multi-die system)設計與整合的統一平台。3DIC Compiler可用以建構多晶粒設計架構，並針對熱(thermal)、功耗(power)和時序(timing)等參數進行分析，而新思科技Fusion Compiler可提供 RTL-to-GDSII 流程來構建 CPU。我們的設計產品組合也包含用於RTL分析、標準簽核提取(golden signoff extraction)、靜態時序分析(static timing analysis)、模擬、測試，以及透過電腦輔助設計(technology computer-aided design, TCAD)對TSV進行前期分析等雲端就緒解決方案。在驗證面，雲端就緒的新思科技驗證連續平台(Verification Continuum®)，可提供前期軟體上線(bring-up)、早期SoC錯誤偵測和更快速的系統驗證。
總結
大數據分析揭示了各種隱藏模式、相關性和見解，以幫助我們解決一些世界上最棘手的難題。傳統的運算架構已經不足以支援大量運算工作負載。然而，Chiplets為超大規模資料中心和其他HPC系統設計人員提供了另一種超越摩爾定律的方法來提升效能和功率，同時避免大型單裸晶的良率和成本問題。隨著HPC工作負載推動對Chiplets的需求，設計人員可以放心運用EDA和IP解決方案，幫助他們達成日益嚴苛的PPA目標和更快的上市時程(time-to-market)目標。