DSO.ai
由人工智慧驅動的設計應用
瞭解更多 →
新思科技與力積電合作升級 3DIC 封裝技術以實現更快的AI推論
本文原文由Kenneth Larsen及力積電副總經理張守仁共同撰寫
英文原文：Upgrading 3DIC Packaging for Faster AI Inference with PSMC
3DIC 設計正逐漸成為一個重要議題。如今市場對 人工智慧(AI)應用的需求不斷增加，而摩爾定律的減緩迫使晶片設計工程師開始尋求其他類型的晶片架構，以符合消費者和領先服務供應商期望的技術發展。有別於只是將多個矽晶片相互連接，3DIC 設計藉由矽晶圓或晶片的垂直堆疊，提供大規模更好的性能、功率效益和更小的體積。
這也促成新思科技和力積電 (PSMC) 攜手合作提供一種新的晶圓堆疊 (WoW) 和晶片堆疊 (CoW) 解決方案；這是一種特定類型的 3DIC 設計，利用新思科技 3DIC 編譯器平台和 PSMC 的先進製程技術所創造的全新協作解決方案，能夠以較少的工作量，製作出將DRAM 記憶體直接推疊並與矽晶片整合的電路設計。
圖 1：在新思科技3DIC 編譯器中對 3D 堆疊晶片的晶片凸塊、TSV 和混合鍵合(hybrid bond)的視覺化。
力積電副總經理張守仁指出，3DIC 設計非常複雜，特別是在堆疊記憶體和邏輯晶片時，需要半導體生態系統中許多領域的專業知識。我們很高興能與新思科技密切合作，提供這項尖端解決方案，可將設計工程師把多個半導體晶圓合併成一個 3D 設計所需花費的時間縮短一到兩個月，同時減少目前堆疊兩個晶片所需的高成本反覆迭代次數。
繼續閱讀以探索更多關於 WoW、混合鍵合以及其主要優點，為何 DRAM-邏輯堆疊有助於創新的 AI 應用，以及這個全新的新思科技與力積電的合作方案如何提供改良的工程生產力和快速投產優勢。
什麼是WoW及CoW混和鍵合(Hybrid Bonding)？
晶圓堆疊(Wafer-on-wafer)混合鍵合堆疊是一種 3D 設計，用電力連結不同晶圓，建立一個單一的整合元件。每個晶圓上都有微小的銅焊墊(copper pad)，徹底固定地接合在一起，形成數萬至數百萬個電路互連。對於不同晶片尺寸的設計，相關的晶片堆疊(CoW)混合鍵合可能是更實用的方法。透過 WoW 和 CoW 3D 堆疊，混合鍵合可以在不浪費功率的情況下縮短信號傳輸距離，並提供比任何其他 3D 整合方案更高的互連和頻寬密度。這項技術可以擴展到次微米互連，以實現廣泛分類(disaggregation)和小晶片架構創新。
力積電的開發工作旨在實現晶圓對晶圓堆疊，利用現有的矽供應鏈，可將間距縮短到 3 微米以下。此外，力積電與新思科技的合作，透過使用堅固的銅對銅鍵合(Cu-to-Cu bonding)結合矽穿孔 (TSV) 製程，成功展示晶圓級多重堆疊結構。
圖 2：精細間距互連的尺寸微縮，L. Jiang 等人，ECTC 2022
然而，相較於其他方法，混合鍵合技術更加複雜精細，成本也相對地增加。但對於像 AI 訓練引擎這樣的先進應用而言，增加的成本是非常值得的，因為它提供顯著的記憶體頻寬密度和低延遲。使用混合鍵合技術在邏輯上堆疊記憶體，提供AI 所需的性能和低延遲，並且在多方面優於傳統的 2D 甚至 2.5D 設計。
提早進行多晶粒系統(multi-die system)的架構探索將使晶片設計人員獲益良多，比如說，避免花費心力與金錢進行重新流片(respin)。然而在傳統上，此探索過程一直都是以手動方式執行，大多數設計人員皆需仰賴靜態試算表和特定的內部工具進行作業。因此，要達成關鍵績效指標(KPI)、甚至跟上專案進度極具挑戰性。
現在，有一項嶄新的變革誕生了，也就是針對多晶粒系統而生，為加速其系統架構實現所設計的早期系統架構探索解決方案Synopsys Platform Architect for Multi-Die Systems。
該解決方案建立在領先業界的Synopsys Platform Architect™之上，提供SystemC™交易級、基於建模的工具，可對SoC架構進行早期分析和優化，從而提高效能和功率。這款新工具經過AI和車用多晶粒系統設計人員認證，權衡了多晶粒系統的複雜相互依賴關係。繼續閱讀以瞭解更多關於這種基於模型的動態效能和功率分析與模擬技術，將如何幫助降低系統架構決策的風險，同時改善多晶粒系統設計的周轉時間。
圖 3：混合鍵合製程流程。Albert Lan 等人，2021年第17屆國際元件封裝大會
在邏輯上堆疊DRAM的挑戰
晶片設計師長期以來一直在思考如何將處理器和記憶體的堆疊最佳化的策略。有許多因素需要考慮，包括選擇異質或均質整合、如何最有效地將電力傳遞到晶片堆疊中、熱管理、堆疊中的PVT感測器、應力誘導的性能和可靠性問題等等。
圖 4：DRAM 堆疊在處理器晶片上，在新思科技 3DIC Compiler呈現的熱力視覺化。
新思科技技術產品管理資深處長Kenneth Larsen指出，由於動態隨機存取記憶體(DRAM)的數據保留對溫度有較高的敏感度，因此有別於堆疊靜態隨機存取記憶體(SRAM)，這些因素在堆疊DRAM時，更是顯得複雜。圖4顯示3D堆疊架構中處理器和DRAM的操作溫度可能達到120°C/110°C，而在2D的DRAM架構中則為55°C。
較高的溫度會導致DRAM的電荷洩漏 (charge leakage)，進而加速數據遺失的速度。因此，在一定時間內需要進行更多次的自我刷新來保持數據的健康狀態。晶片設計師需要探索溫度如何影響系統的整體性能。
圖 5：對於DRAM來說，資料保留的時間對溫度具有敏感度。
當DRAM堆疊在邏輯晶片的上面時，在底部計算邏輯晶片產生的熱會向上通過記憶體，造成需要設計散熱和熱逸散(heat escape)。
最後，記憶體和邏輯設計是由不同供應商或設計團隊負責，可能會導致兩者在堆疊時出現不連貫的流程，因為團隊之間沒有共同的介面可以討論或交換設計。此外，縮小晶片的幾何結構和製程是不同的；例如，一個是100% GDS，另一個是縮小90%的GDS。這些挑戰需要創新的EDA解決方案，協助設計師能夠從設計階段進入到製造階段。
高效能的多晶粒系統整合
力積電與新思科技合作開發這項新解決方案主要依賴於Synopsys 3DIC Compiler平台，這是一個適用於高效能3D多晶粒(milti-die)系統整合的全面性、端對端的解決方案。3DIC Compiler是在新思科技數位設計解決方案系列(Synopsys Digital Design Family)的通用融合數據模型基礎架構上開發的，融合眾多變革性的多晶粒設計功能，提供一個完整的3D架構到簽核的平台。該解決方案包括沉浸式的2D和3D視覺化、跨層級的探索和規劃、設計和實作、DFx、系統層級驗證和簽核分析。
圖 6：具有 DRAM 處理器的中介層。
系統的完整連結模型可以在3DIC Compiler 中建模，或者透過標準的網路清單和各種文本格式匯入。3DIC Compiler 提供在底層跟頂層晶片間建立連接的功能，相較於利用手動方式，從概念、設計、實作到製造階段多個步驟和查核來優化晶片，3DIC Compiler可協助晶片設計師節省長達兩個月的時間。
3D 系統連接性檢查就是其中一個範例，整個步驟需要驗證半導體晶片、晶片堆疊、中介層、嵌入式橋接器和封裝基板之間的電氣、邏輯和物理連接性。從晶片上的邏輯晶片墊片到主要 IO 的電氣連接，以及銲點和凸點(bond and bump)之間的物理連接，還有像是網路不完整或短路的等違規情況都可以找出來。對於 3D 設計規則檢查、晶片鏡像堆疊、鍵合協調(boding coordination)以及電源和 DFT 檢查等也是如此。
圖 7：透過新思科技 3DIC Compiler 視覺化的TSV 的熱圖。
藉由3DIC Compiler，新思科技的軟體可以檢查信號和功率是否透過TSV正確地經由底層晶片通過並達到上層晶片；它還可以進行必要的熱模擬，以模擬兩個晶片之間電率消耗及後續產生熱的相互作用。位於兩個晶片之間的這些熱量需要被散發，而 3DIC Compiler 可以透過不同的方法來實現這一點。
系統的完整連結模型可以在3DIC Compiler 中建模，或者透過標準的網路清單和各種文本格式匯入。3DIC Compiler 提供在底層跟頂層晶片間建立連接的功能，相較於利用手動方式，從概念、設計、實作到製造階段多個步驟和查核來優化晶片，3DIC Compiler可協助晶片設計師節省長達兩個月的時間。
3D 系統連接性檢查就是其中一個範例，整個步驟需要驗證半導體晶片、晶片堆疊、中介層、嵌入式橋接器和封裝基板之間的電氣、邏輯和物理連接性。從晶片上的邏輯晶片墊片到主要 IO 的電氣連接，以及銲點和凸點(bond and bump)之間的物理連接，還有像是網路不完整或短路的等違規情況都可以找出來。對於 3D 設計規則檢查、晶片鏡像堆疊、鍵合協調(boding coordination)以及電源和 DFT 檢查等也是如此。
圖 8：晶圓堆疊解決方案。圖片由力積電提供。
最終，使用力積電和新思科技的全新3D晶圓堆疊和晶片堆疊解決方案的客戶可以放心，3DIC Compiler是以經過認證的新思科技數位設計系列為基礎開發，因此客戶從下線試量產(tape-out)開始的整個過程都能得到新思科技數位設計系列完整的技術支援。這個新解決方案為記憶體和邏輯晶片之間提供了高頻寬，增強了AI推論性能和速度。
隨著人工智慧技術在更多面向融入我們日常生活中，複雜度可預見會更加顯著，對記憶體頻寬、IO 和運算能力的總體需求也將會隨著時間而增加。隨著摩爾定律的放緩，先進封裝成為現今和未來的晶片設計工程師在尋找的共同答案。像 3DIC Compiler 這樣的產品正在幫助設計工程師們快速且有效率地滿足這些新興應用需求，推動人工智慧等領域的發展。