精品人伦一区二区三区蜜桃免费,欧美区一区二区在线,欧美日韩在线播放视频观看

由圖可見(jiàn)，系統(tǒng)在開(kāi)始設(shè)定一個(gè)故事開(kāi)頭，后面的內(nèi)容則基于GPT 2.0一個(gè)單詞一個(gè)單詞生成，再自動(dòng)生成故事內(nèi)容。其生成模式是：?jiǎn)卧~的連環(huán)預(yù)測(cè)，即如果你能預(yù)測(cè)一個(gè)句子中的下一個(gè)單詞，你就能預(yù)測(cè)這個(gè)單詞的下一個(gè)、下下一個(gè)……很快就能掌握很多單詞。如果語(yǔ)言模型足夠優(yōu)秀，這些單詞還能組成意思通順的句子，然后組成連貫的段落。而這些段落則可以組成任何你想寫的東西。
GPT-2不是一次基本算法的突破，而是一次參數(shù)累計(jì)的壯舉。它擁有多達(dá)15億個(gè)參數(shù)（這比原始GPT的參數(shù)多了15倍），并接受了來(lái)自800萬(wàn)個(gè)網(wǎng)站的文本訓(xùn)練。國(guó)內(nèi)網(wǎng)友調(diào)侃，不知道GPT-2編起故事來(lái)會(huì)不會(huì)比高鶚還優(yōu)秀，《紅樓夢(mèng)》可以考慮出個(gè)AI續(xù)寫版。
如何理解一個(gè)擁有15億參數(shù)的模型呢？或者視覺(jué)化會(huì)有所幫助。
可視化GPT-2
由于擔(dān)心惡意使用，并沒(méi)有發(fā)布完整的GPT-2模型，但他們還是發(fā)布了一個(gè)與原始GPT規(guī)模相當(dāng)?shù)目s小版本（擁有1.17億個(gè)參數(shù)），已發(fā)布的新模型接收了更新更大的數(shù)據(jù)集訓(xùn)練。
雖然縮小版本沒(méi)有完整版模型那么強(qiáng)大，但是它仍保留了一些語(yǔ)言生成的痕跡。讓我們看一看視覺(jué)化能否幫助我們更好地了解這個(gè)模型。你可以通過(guò)Colab 或者直接從 repo創(chuàng)建以下視覺(jué)化模型。
一個(gè)說(shuō)明性的例子
讓我們看一看GPT-2的縮小版模型是如何完成這個(gè)句子的：
船上的這只狗跑了（The dog on the ship ran）
以下是這個(gè)模型生成的句子：
船上的這只狗跑掉了，然后被船員發(fā)現(xiàn)了。（The dog on the ship , and the dog was found by the crew.）
現(xiàn)在我們稍稍改變一下這個(gè)例子，將狗換成摩托車，看一看這個(gè)模型會(huì)生成什么樣的句子：
船上的這輛摩托車奔馳著（The motor on the ship ran）
現(xiàn)在看一看模型生成后的句子：
船上的這輛摩托車以100英里每小時(shí)的速度奔馳著。（The motor on the ship ranat a speed of about 100 miles per hour.）
通過(guò)改變句子開(kāi)頭的一個(gè)單詞，我們就能得到一個(gè)完全不一樣的結(jié)果。這個(gè)模型似乎明白，跑著的狗和奔馳著的摩托車是兩種完全不同的類型的“跑”（）。
GPT-2是如何知道要密切狗和摩托車的區(qū)別，尤其是當(dāng)這兩個(gè)單詞都出現(xiàn)在句子前端的時(shí)候呢？其實(shí)，GPT-2是基于實(shí)質(zhì)為注意力模型的上運(yùn)行的。該模型可以學(xué)習(xí)那些與當(dāng)前任務(wù)最為相關(guān)且先出現(xiàn)的單詞，然后預(yù)測(cè)這個(gè)句子中的下一個(gè)單詞。
讓我們看一看在“船上的這只狗跑了”（The dog on the ship ran）這句話中， GPT-2的點(diǎn)在哪里。
【如何看待智能寫作？人工智能會(huì)超越人類嗎？】從左到右看，這些線條反映了GPT-2在猜測(cè)一個(gè)句子中下一個(gè)單詞時(shí)的點(diǎn)（顏色越深代表度越高）。因此，在猜測(cè)“跑”的下一個(gè)單詞時(shí) ，這個(gè)模型密切“狗”這個(gè)單詞。這就說(shuō)得通了，因?yàn)橹勒l(shuí)或什么在跑對(duì)于猜測(cè)后面的單詞至關(guān)重要。
用語(yǔ)言學(xué)術(shù)語(yǔ)來(lái)說(shuō)，在“船上的狗”這一名詞短語(yǔ)中，該模型側(cè)重于它的中心詞（head）。GPT-2還體現(xiàn)了很多其他語(yǔ)言學(xué)屬性，畢竟上述的注意力模式只是該模型144種注意力模式中的一種。GPT-2有12層模型人工智能超越人的思維方面人工智能超越人的思維方面，每一層又有12個(gè)獨(dú)立的注意力機(jī)制，稱為“中心”（heads），因此最終讓GPT-2擁有了12 x 12 = 144個(gè)不同的注意力模式。這里我們可視化所有的144種模式，重點(diǎn)談?wù)剟倓傆懻摰哪且粋€(gè)：
GPT-2模型12層注意力模式（行）及12個(gè)中心的注意力模式（列）可視化，突出的為第4層/第3中心（零索引）
我們可以看到，這些模式有很多不同的形式。下面這個(gè)模式也非常有趣：
這一層/中心將所有注意力都放在這個(gè)句子各個(gè)單詞的前一個(gè)單詞上。這也說(shuō)得通，因?yàn)橥ǔＯ噜彽膯卧~與預(yù)測(cè)的下一個(gè)單詞最為相關(guān) 。傳統(tǒng)的n-gram語(yǔ)言模型也是基于這種直覺(jué) 。
但是為什么很多注意力模式都和下面這個(gè)模式相似呢？
在這一模式中，幾乎所有注意力都集中在這個(gè)句子的第一個(gè)單詞上，而其他單詞的注意力大量減少。這似乎是一個(gè)無(wú)效的模式，表明注意力中心沒(méi)有找到它尋找的任何語(yǔ)言現(xiàn)象。該模式似乎重新定義了第一個(gè)單詞，即如果沒(méi)有找到更好的對(duì)象，則第一個(gè)單詞。
貓?jiān)赺____中。（The Cat in the _____）

文章插圖

文章插圖
讓我們來(lái)看看GPT-2是如何完成永恒的經(jīng)典-《戴帽子的貓》（Cat in the Hat）中的臺(tái)詞的：
“我們看見(jiàn)在一根風(fēng)箏線上，掛著媽媽的新外衣！那件帶著粉色、白色和……點(diǎn)點(diǎn)的裙子”?。℉er gown with theare pink, white and…）
看看GPT-2如何完成的這個(gè)句子：
那件帶著粉色、白色和藍(lán)色點(diǎn)點(diǎn)的裙子?。℉er gown with theare pink, white and blue.）
雖然原文是“紅色”，但這樣的顏色搭配也很不錯(cuò) 。因此我們可以看到GPT-2并不是僅僅會(huì)簡(jiǎn)單的記憶。
GPT-2是如何知道此處應(yīng)該填上一種顏色的呢？也許是因?yàn)橄铝凶⒁饬δＪ阶R(shí)別了逗號(hào)分隔開(kāi)的兩個(gè)單詞所屬的類別。
為了判斷“和”（and）后面填寫什么單詞，GPT-2了這個(gè)類別的前兩個(gè)單詞——粉色和白色（pink，white），然后它便知道應(yīng)該選擇一個(gè)與前兩個(gè)單詞類型一致的單詞，在這里就是顏色。
關(guān)于名字GPT-2又能寫出什么呢？
GPT-2似乎特別擅長(zhǎng)僅僅根據(jù)一個(gè)名字來(lái)撰寫簡(jiǎn)短的傳記。
讓GPT-2根據(jù)提示“誰(shuí)是…（你的名字）？”（Who is ?）來(lái)生成文本是一項(xiàng)非常有趣的訓(xùn)練。這個(gè)提示一般會(huì)激發(fā)GPT-2撰寫一篇簡(jiǎn)短的傳記，可能是因?yàn)榫W(wǎng)頁(yè)上文章的開(kāi)頭通常是作者的簡(jiǎn)介。
下面是一些GPT-2根據(jù)提示“誰(shuí)是杰西維格？”（Who is Jesse Vig?）生成的自傳。
“杰西維格是社交媒體營(yíng)銷專家和前社交媒體營(yíng)銷經(jīng)理。他是的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，最近擔(dān)任的創(chuàng)始人兼首席執(zhí)行官。”（Jesse Vig is aandmedia. He is theco- and CEO ofandtheand CEO ）
寫得不錯(cuò)！雖然在內(nèi)容上有一些重復(fù)，但是故事很有個(gè)性，讓人驚喜。下面是另一個(gè)創(chuàng)作：
“杰西維格是福音傳教士詹姆斯維格的兒子。他于1964年移居美國(guó)，并成為密歇根大學(xué)的傳教士，在密歇根大學(xué)執(zhí)教18年，在2007年10月去世 ?！?br /> （Jesse Vig is the son ofnamed James Vig. He moved to thein 1964aat theof , where hefor 18his death in2007.）
在這個(gè)例子上，GPT-2非常聰明，知道父親和兒子姓氏相同。讓我們看看在選擇姓氏的時(shí)候，GPT-2的點(diǎn)在哪里：
第11層/10中心
在判斷詹姆斯（James）后面的單詞時(shí)，該模式將注意力放在前面提到的“我”的姓氏上。（要注意的是，在這個(gè)模型中，維格的英文單詞Vig被分解為“V”和“ig”，因?yàn)檫@個(gè)單詞并不常見(jiàn) 。）這種注意力模式似乎專門用于識(shí)別家庭姓名之間的關(guān)系。為了驗(yàn)證這一點(diǎn) ，讓我們稍稍改動(dòng)一下文本：
“杰西維格是福音傳教士詹姆斯的同事。”（Jesse Vig is theannamed James…）
第11層/10中心
現(xiàn)在由于詹姆士只是一名同事，該注意力模型就幾乎忽略“我”的姓氏。
GPT-2似乎是根據(jù)從名字中感知種族和性別的信息以生成傳記。我們需要進(jìn)一步研究來(lái)查明這種模型內(nèi)部是否存在偏見(jiàn) 。
未來(lái)是具有生成性的
就在去年，語(yǔ)言模型生成各種內(nèi)容的能力已經(jīng)大大提升，包括圖像、視頻、音頻和文本，以至于我們無(wú)法相信自己的感覺(jué)來(lái)判斷真假，而這僅僅是開(kāi)始；這些技術(shù)會(huì)繼續(xù)發(fā)展并相互融合。很快，當(dāng)我們?cè)谏隙⒅切┥沙鰜?lái)的面孔時(shí)，他們會(huì)看著我們，講述他們是如何被生成出來(lái)的，展現(xiàn)他們奇怪的“人造”個(gè)性。
大概最直接的危險(xiǎn)就是混淆真實(shí)的事物與生成的事物。我們已經(jīng)看過(guò)像人工智能生成的奧巴馬和史蒂夫·布西密與詹妮弗·勞倫斯的結(jié)合體一類的視頻。很快，這些深度換臉（）技術(shù)會(huì)進(jìn)入我們的個(gè)人生活。
因此，當(dāng)你的媽媽打電話給你說(shuō)她需要500美元匯到開(kāi)曼群島的時(shí)候，你得問(wèn)問(wèn)自己：這真的是我媽媽嗎？還是只是一個(gè)語(yǔ)言生成人工智能程序借助我媽媽五年前在上發(fā)的視頻所生成出來(lái)的虛擬人聲呢？
未來(lái)已來(lái) 。
留言
本文到此結(jié)束，希望對(duì)大家有所幫助。

如何看待智能寫作？人工智能會(huì)超越人類嗎？

如何看待智能寫作？人工智能會(huì)超越人類嗎？