像素級分割技術解析(3)　AI強化晶圓良率分析

本文將介紹具有語義分割(Semantic Segmentation)功能的U-Net模型，以及應用於跨廠協作、光子晶圓檢測的AI技術。

像素級分割

像素級分割(Pixel-Wise Segmentation)或語義分割是一種電腦視覺技術，它為圖像中的每個像素分配一個類別標籤，從而產生一個詳細的像素級遮罩(mask)，用於識別物體或區域的邊界。這種細緻的分類方式能提供對圖像內容的高度細緻的理解，廣泛應用於自動駕駛、醫學影像分析和街景研究等領域。

U-Net模型

U-Net架構(圖1)原本是應用於醫學影像的像素級分割任務，該方法需要在有註釋的資料集上訓練深度學習模型，其中每個像素都經過手動標記。將U-Net應用於晶圓缺陷檢測(Wafer Defect Detection, WDD)是一個非常合適且高效的方法，因為本質上，WDD也是像素級的語義分割任務。

U-Net兼具定位能力與細節保留能力，使其成為此類任務的理想選擇。應用U-Net進行晶圓缺陷檢測的流程如下：

傳統的晶圓缺陷檢測可能僅限於圖像分類(判斷圖像中是否有缺陷)，或目標檢測(用邊界框標註缺陷)。U-Net則可將任務提升為語義分割，對輸入的晶圓影像中的每個像素進行分類，判斷該像素屬於正常區域或缺陷區域。其輸出是一個與輸入圖像大小相同的分割遮罩(Segmentation Mask)，缺陷區域可被標記出來。

資料準備與像素級標註

這是應用U-Net最關鍵的一步。

• 資料蒐集：收集大量的晶圓影像，這些圖像應包括各種常見的缺陷類型，例如：中心點、甜甜圈、邊緣環、隨機分佈等，以及正常晶圓的圖像。
• 真實標註(Ground Truth)：由於U-Net應用於語義分割，需要為每張輸入圖像準備一個對應的真實分割遮罩(Ground Truth Mask)，如圖2。

►正常的晶圓影像：遮罩中的所有像素都標記為0，代表背景或正常晶圓

►有缺陷的晶圓影像：缺陷區域的像素必須被精確地手動標記或利用專業工具產生，並賦予相應的類別標籤，例如：1代表缺陷A，2代表缺陷B，0代表正常

U-Net模型架構設計

U-Net的架構保持不變，但需要根據晶圓影像的特性進行調整：

• 輸入層：輸入的晶圓影像大小，例如：128×128×1或256×256×3。
• 輸出層：輸出的分割圖的大小是與輸入圖像相同，通道數等於N+1，N是缺陷類型數量，1是正常或背景類別。
• 跳躍連接(Skip Connection)

如圖1，跳躍連接是將編碼器中每一層的特徵圖直接傳遞給對應的解碼器層，與上採樣後的特徵圖於通道維度進行串接。這是U-Net的核心機制。藉由跳躍連接，將編碼器內高解析度、細節豐富的特徵(如位置資訊)與解碼器中抽象的語義特徵(如上下文資訊)結合，進而實現對分割邊界的精確定位。如此可確保缺陷的微小細節(如刮痕、微小顆粒)不會在下採樣過程中丟失。編碼器前段保留較多局部資訊，而越往深層則越能掌握整體特徵。若移除跳躍連接，這個U-Net架構就變成自動編碼器(Autoencoder)。另外，由於U-Net必須將輸入影像轉換為抽象特徵，所以編碼器逐層壓縮空間維度，直至瓶頸層(Bottleneck Layer)輸出的特徵圖仍需保留空間維度，以方便解碼器還原像素級分類。瓶頸層是指在模型中，最深、最窄的一層，通常是編解碼器架構中的中間層。

訓練策略

• 損失函數(Loss Function)

由於晶圓缺陷通常佔圖像的極小部份，會導致嚴重的類別不平衡問題。因此，需要使用專門的損失函數來處理這種不平衡：

►加權交叉熵(Weighted Cross- Entropy)：為缺陷類別賦予更高的權重

►重疊率損失(Dice Loss)或焦點損失(Focal Loss)：重疊率損失專門用於處理高度不平衡的分割任務；焦點損失則用於降低易分類樣本的權重，使模型專注於難分類的缺陷邊緣

• 資料增強(Data Augmentation)

應用資料增強技術以提高模型的泛化(Generalization)能力，使U-Net的效能不受晶圓影像中常見的平移、旋轉、光照變化和雜訊的影響。

• 轉移學習

如果資料集較小，可考慮使用在大型圖像資料集(如ImageNet)上預訓練的編碼器權重作為初始化，然後在晶圓資料集上進行微調。

精確定位與量化

使用U-Net進行分割，比傳統方法具有以下明顯的優勢：

• 精確定位

U-Net輸出的分割遮罩可精確地標註出缺陷的形狀和邊界，而不是簡單的邊界框。這對於後續的缺陷分析和分類至關重要。

• 缺陷量化與分析

一旦獲得像素級的分割結果，就可進行精確的量化分析，包括：

►缺陷面積：計算在遮罩內，缺陷像素的數量

►缺陷形狀：分析缺陷的幾何特徵

►缺陷密度：計算特定區域內的缺陷數量

• 多類型缺陷識別：如果訓練資料中包括了多種缺陷類型標籤，U-Net可以同時輸出每個像素屬於哪種缺陷類型，實現多類的語義分割。

部署與應用

訓練完成後，可將U-Net模型部署到晶圓檢測設備中，並依序執行下列工作：

• 即時輸入：檢測設備獲取晶圓影像。
• 模型推理：將影像輸入U-Net模型，進行前向傳遞。
• 輸出處理：模型輸出分割遮罩。

最後根據分割結果自動判斷晶圓是否合格，並將缺陷位置等資訊傳遞至後續修復或報廢流程。適用於WDD的AI模型如表1所示。

跨廠協作

現代化的WDD模型，特別是基於深度學習(如U-Net)的模型，可以整合特定的技術和框架(Framework)來實現參數共用和跨廠協作。

但並非僅將模型複製到另一座工廠即可，還需要解決半導體製造業特有的挑戰，尤其是資料隱私和領域偏移(Domain Shift)的問題。以下是實現這些目標的三種主要方法：

聯邦式學習(Federated Learning, FL)

它能實現跨廠協作的關鍵技術，同時解決在嚴格的資料隱私要求下的模型共用問題。在傳統的協作模式中，工廠A和工廠B需將各自的原始晶圓影像資料集中起來，訓練一個統一的模型。但若不是同一家公司，那幾乎是不可能的事，因為原始資料是高度敏感的商業機密。聯邦式學習允許數個工廠在不分享原始資料的前提下，共同訓練一個全球模型(圖3)。

其流程如下：

・本地訓練：每個工廠(客戶端)在各自的本地資料集上訓練全球模型的副本。

・參數上傳：每個工廠只將訓練後，更新後的模型權重傳輸到中央伺服器。

・聚合更新：中央伺服器接收到所有工廠更新的權重後，即進行聚合(如加權平均)，生成新的全球模型。

・模型下載更新：將新的全球模型傳送至各工廠，用於下一次的本地訓練。

轉移學習與領域適應(Domain Adaptation, DA)

即使是同一家公司，不同工廠的生產線、檢測設備、照明條件和製程參數也會導致晶圓影像資料存在細微的差異，這就是所謂的領域偏移(Domain Shift)。

・轉移學習

這是最基本的參數共用形式。可大幅減少新工廠模型訓練所需的時間和資料量。

・領域適應

當領域偏移較大時，僅靠微調可能不足。DA技術使模型能從A工廠學習知識，並有效地應用於B工廠。

►機制：使用生成對抗網路(GAN)或特定損失函數，使模型學習到的特徵在不同工廠的資料分佈中，具有領域不變性(Domain Invariance)。

►應用於WDD：訓練U-Net的編碼器，使其提取的缺陷特徵不受工廠環境(如圖像亮度、對比度)變化的影響。這使得共用的參數能在不同工廠之間保持高效能。

多任務學習(Multi-Task Learning, MTL)

在WDD領域，除了需要分割缺陷外，也需要進一步進行缺陷分類(如刮痕、顆粒、邊緣環)。MTL是共享相同的卷積層或編碼器(U-Net的左側)和多個解碼器的模型，例如：一個解碼器用於像素級分割，另一個解碼器用於圖像級分類。而且，編碼器中的參數被所有任務共享。

光子晶圓檢測

光子晶圓(Photonic Wafer)已被視為半導體產業未來的關鍵技術，但其製造過程複雜，包括外延晶體生長、蝕刻、沉積和微影製程，可在矽(Si)或磷化銦(InP)基板上進行。InP光子整合技術之所以受到重視，是因為它能整合雷射和光放大器，縮小晶片體積和工作頻率更高(可達THz)。InP晶圓製造延續了矽晶圓整合技術，但成本更高，且容易出現製造缺陷。

多專案晶圓(Multi-Project Wafer, MPW)製程的出現使得在單一晶圓上整合多個不同的設計成為可能，每個設計都包括標準的模組化組件。這種方法能降低成本，使小規模的實驗生產變得可行。但由於一個典型的MPW原型設計通常只生產一次，因生產規模小，所以容錯率非常低。

MPW自動化視覺檢測面臨的主要挑戰是缺乏應用於光子晶圓檢測的真實標籤或真實標註。因為合格品遠多於缺陷品，且缺陷標註的成本極高。為了解決這個問題，必須採用非監督式學習。MPW自動化視覺檢測面臨的主要挑戰是缺乏應用於光子晶圓檢測的真實標註資料。由於合格品遠多於缺陷品，且缺陷標註成本極高，因此需要降低對大量缺陷資料的依賴。U-Net模型可利用CAD設計藍圖及對應的無缺陷晶圓影像進行訓練，產生合成的無缺陷晶圓標準樣本(Golden Sample)，作為後續缺陷檢測的參考。