Google公開專為大型語言模型設計的ASPIRE框架，該框架可以強化語言模型的選擇性預測（Selective Prediction）能力。透過對問答任務的大型語言模型進行參數微調，以評估所生成答案的正確性，ASPIRE框架在各種問答資料集上，表現優於目前最先進的選擇性預測方法。ASPIRE框架的重要性在於能夠增加大型語言模型的可信程度，讓人工智慧可在關鍵應用發揮作用。

大型語言模型在自然語言理解和生成領域發展迅速，已經被用於建立各種創新應用，但是要進入高風險決策應用，仍有障礙待解決。研究人員指出，由於模型預測具有不確定性，大型語言模型缺乏評估回應可信度的機制，就算可以透過總結序列中各個Token的可信分數加總，但是仍無法可靠地辨別正確或是錯誤答案。

而選擇性預測是這個問題的解決方案，大型語言模型輸出答案時加上選擇分數，而這個分數能指出答案正確的機率，因此藉由選擇性預測更可以了解在各種應用中部署大型語言模型的可靠性。過去像是語義不確定性和自我評估等研究，試圖在大型語言模型中實現選擇性預測，不過，傳統方法採用啟發式提示，試圖藉由「建議的答案是對還是錯？」等問題，觸發大型語言模型的自我評估，但是這種方法不適用於具有挑戰性的問答任務。

Google研究人員發展出ASPIRE框架來解決這個問題。該框架有三個階段，分別為特定任務調整、答案採樣和自我評估學習。特定任務調整階段是對已經受過基礎訓練的大型語言模型進行進階訓練，就像是讓已經具有基本知識的學生進行進階訓練，專注於強化特定科目或是任務，研究人員透過添加新的可調參數，並使用高效的參數調校技術，在特定任務的訓練資料集上微調預訓練大型語言模型，以提高其預測效能，這個階段相當於訓練學生，使其更好地解決特定問題。

第二階段則是答案採樣，經過特定任務調整後，ASPIRE使用學習到的可調參數，對每個訓練問題生成不同的答案，並創建用於自我評估學習的資料集，生成高可能性輸出序列。也就是說，讓學生嘗試回答一系列問題，並產生不同的答案，藉由嘗試不同答題方法，找出最可能正確的答案，研究人員使用一種稱為集束搜尋（Beam Search）方法，協助學生選擇最有可能的答案，並使用一種稱為Rouge-L的演算法來評估答案的品質。

在最後的自我評估學習階段，ASPIRE新添加一組可調節參數，專門用於提升模型自我評估的能力。該階段的目標是要讓模型學會自己判斷答案準確性的能力。透過該訓練，大型語言模型不僅能生成答案，還能夠自己區分答案的正確性，在回答使用者問題時達到更好的可靠性和準確性。

研究人員驗證ASPIRE的成果，使用CoQA、TriviaQA和SQuAD三個問答資料集，並使用各種開放預訓練的Transformer模型來評估ASPIRE。經過ASPIRE調整的小型OPT-2.7B模型，表現超過更大的OPT-30B模型（下圖）。這項實驗結果表示，只要經過適當的調整，即便是較小的語言模型，在部分情境下也可以超越較大的語言模型。

值得注意的是，OPT-30B模型應用傳統的自我評估方法Self-eval和P(True)，選擇性預測的效能並沒有明顯提高，反而是較小的OPT-2.7B模型在使用ASPIRE進行強化後，優於其他模型，也就是說，運用傳統自我評估技術的較大型語言模型，選擇性預測效果不如採用ASPIRE強化方法的小模型。

研究人員實驗強調了ASPIRE對於大型語言模型的重要改變，語言模型的能力並非其表現的最終效能，透過調整策略就可以大幅提高模型有效性，即便是較小的模型，也可以進行準確且有自信的預測。