GPT說文解字
GPT是「生成式(Generative)預訓練(Pretrained)轉換器(Transformer)」的縮寫。
「生成式」(G)意指AI可模擬人類創造力與想像力,自動產生新內容。內容表現形式包括文字、聲音、圖像與影片。如ChatGPT大型語言模型就具備產生文字的能力。Stable Diffusion、DALL‧E、Mid journey、Deep Dream Generator都是圖像產生器,只需使用者輸入簡短描述性字句,就可幾秒內產生圖片。Amper Music則能產生適合廣告或電子遊戲等用途的音樂。
「預訓練」(P)是指AI執行特定任務前,先接受大量資料訓練的非監督式學習。ChatGPT就藉閱讀龐大文本,學習使用文字語義和語境及通用語言規則,目標是讓AI根據人類輸入文字適當回應,並接續前文產生最適合文字,完成初步自然語言處理任務。為了有更精確的語言理解與運用能力,ChatGPT預訓練後還需「微調」(Fine-Tuning)。微調會使用人工標記資料,讓以預訓練為基礎的模型執行監督式學習。此外,微調還可針對任務具體需求,調整模型結構和參數,使模型適應特定任務的資料特性,提升AI執行成效。
「轉換器」(T)為專有名詞,代表深度學習模型之一,最早由Google團隊2017年發表的論文〈Attention Is All You Need〉提出,此論文據Google Scholar數據引用超過6萬次!論文標題的Attention是Transformer的關鍵架構,這種深度學習模型構造上可視為「卷積神經網路」(CNN)的推廣,功能則是取代傳統序列模型如「循環神經網路」(RNN),提升自然語言處理成效。
詳細內文請參考網址...