OpenAI研究人員運用人工智慧語言模型來生成圖片，他們以像素序列來訓練GPT-2語言模型，使語言模型能夠生成連續相關的圖像，研究人員提到，這項研究縮小了電腦視覺和語言理解技術間的差距，不過，因為訓練過程需要耗費大量的運算資源，且相關的演算法效能也不斷進步，影響了這項研究實際用於圖像生成的價值。
而BERT和GPT-2這類的Transformer模型，都是無關領域的，也就是說，這些模型可以應用在任何形式的一維序列上，研究人員表示，近期也有相關的研究，證明規模足夠大的Transformer，在接受像素預測訓練，最終也可以生成可辨認的物體樣本。OpenAI研究人員在以長像素序列訓練GPT-2或稱為iGPT的模型，發現該模型似乎能夠理解二維圖像特徵，像是物體的外觀和類別，在沒有人工標籤的指引下，生成相關的圖像。
生成序列建模是一種非監督式學習演算法，由於所有資料類型都能以位元序列形式表達，因此可以直接將各種資料類型用在Transformer中，且不需要經過額外的處理工程。OpenAI研究人員便將用來訓練自然語言的GPT-2基礎架構，直接用於圖像生成上，以測試這種通用性。