客服電話：13560189272
微信掃碼咨詢
數(shù)字金融
網(wǎng)絡(luò)營銷推廣
電商服務(wù)
Why AI Needs to be Open
讓我們來探討一下“為什么人工智能需要開放”。我的背景是Machine Learning，在我的職業(yè)生涯中大約有十年的時(shí)間一直在從事各種機(jī)器學(xué)習(xí)的工作。但在涉足Crypto、自然語言理解和創(chuàng)立NEAR之前，我曾在谷歌工作。我們現(xiàn)在開發(fā)了驅(qū)動(dòng)大部分現(xiàn)代人工智能的框架，名為Transformer。離開谷歌之后，我開始了一家Machine Learning公司，以便我們能夠教會(huì)機(jī)器編程，從而改變我們?nèi)绾闻c計(jì)算機(jī)互動(dòng)。但我們沒有在2017或者18年這樣做，那時(shí)候太早了，當(dāng)時(shí)也沒有計(jì)算能力和數(shù)據(jù)來做到這一點(diǎn)。
我們當(dāng)時(shí)所做的是吸引世界各地的人們?yōu)槲覀冏鰳?biāo)注數(shù)據(jù)的工作，大多數(shù)是學(xué)生。他們?cè)谥袊?、亞洲和東歐。其中許多人在這些國家沒有銀行賬戶。美國不太愿意輕易匯款，所以我們開始想要使用區(qū)塊鏈作為我們問題的解決方案。我們希望以一種程序化的方式向全球的人們支付，無論他們身在何處，都能讓這變得更加容易。順便說一句，Crypto的目前挑戰(zhàn)是，現(xiàn)在雖然NEAR解決了很多問題，但通常情況下，你需要先購買一些Crypto，才能在區(qū)塊鏈上進(jìn)行交易來賺取，這個(gè)過程反其道而行了。
就像企業(yè)一樣，他們會(huì)說，嘿，首先，你需要購買一些公司的股權(quán)才能使用它。這是我們NEAR正在解決的很多問題之一?，F(xiàn)在讓我們稍微深入討論一下人工智能方面。語言模型并不是什么新鮮事物，50年代就存在了。它是一種在自然語言工具中被廣泛使用的統(tǒng)計(jì)工具。很長一段時(shí)間以來，從2013年開始，隨著深度學(xué)習(xí)重新被重新啟動(dòng)，一種新的創(chuàng)新就開始了。這種創(chuàng)新是你可以匹配單詞，新增到多維度的向量中并轉(zhuǎn)換為數(shù)學(xué)形式。這與深度學(xué)習(xí)模型配合得很好，它們只是大量的矩陣乘法和激活函數(shù)。
這使我們能夠開始進(jìn)行先進(jìn)的深度學(xué)習(xí)，并訓(xùn)練模型來做很多有趣的事情?，F(xiàn)在回顧起來，我們當(dāng)時(shí)正在做的是神經(jīng)元神經(jīng)網(wǎng)絡(luò)，它們?cè)诤艽蟪潭壬鲜悄７氯祟惖哪Ｐ停覀円淮慰梢宰x取一個(gè)單詞。因此，這樣做速度非常慢，對(duì)吧。如果你試圖在Google.com上為用戶展示一些內(nèi)容，沒有人會(huì)等待去閱讀維基百科，比如說五分鐘后才給出答案，但你希望馬上得到答案。因此，Transformers 模型，也就是驅(qū)動(dòng)ChatGPT、Midjourney以及所有最近的進(jìn)展的模型，都是同樣來自這樣的想法，都希望有一個(gè)能夠并行處理數(shù)據(jù)、能夠推理、能夠立即給出答案。
因此這個(gè)想法在這里的一個(gè)主要?jiǎng)?chuàng)新是，即每個(gè)單詞、每個(gè)token、每個(gè)圖像塊都是并行處理的，利用了我們具有高度并行計(jì)算能力的GPU和其他加速器。通過這樣做，我們能夠以規(guī)?；姆绞綄?duì)其進(jìn)行推理。這種規(guī)?；軌驍U(kuò)大訓(xùn)練規(guī)模，從而處理自動(dòng)訓(xùn)練數(shù)據(jù)。因此，在此之后，我們看到了 Dopamine，它在短時(shí)間內(nèi)做出了驚人的工作，實(shí)現(xiàn)了爆炸式的訓(xùn)練。它擁有大量的文本，開始在推理和理解世界語言方面取得了驚人的成果。
現(xiàn)在的方向是加速創(chuàng)新人工智能，之前它是一種數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師會(huì)使用的一種工具，然后以某種方式，解釋在他們的產(chǎn)品中或者能夠去與決策者討論數(shù)據(jù)的內(nèi)容。現(xiàn)在我們有了這種 AI 直接與人交流的模式。你甚至可能都不知道你在與模型交流，因?yàn)樗鼘?shí)際上隱藏在產(chǎn)品背后。因此，我們經(jīng)歷了這種轉(zhuǎn)變，從之前那些理解AI 如何工作的，轉(zhuǎn)變成了理解并能夠?qū)⑵涫褂谩?/p>
因此，我在這里給你們一些背景，當(dāng)我們說我們?cè)谑褂肎PU來訓(xùn)練模型時(shí)，這不是我們桌面上玩視頻游戲時(shí)用的那種游戲GPU。
每臺(tái)機(jī)器通常配備八個(gè)GPU，它們都通過一個(gè)主板相互連接，然后堆疊成機(jī)架，每個(gè)機(jī)架大約有16臺(tái)機(jī)器?，F(xiàn)在，所有這些機(jī)架也都通過專用的網(wǎng)絡(luò)電纜相互連接，以確保信息可以在GPU之間直接極速傳輸。因此，信息不適合CPU。實(shí)際上，你根本不會(huì)在CPU上處理它。所有的計(jì)算都發(fā)生在GPU上。所以這是一個(gè)超級(jí)計(jì)算機(jī)設(shè)置。再次強(qiáng)調(diào)，這不是傳統(tǒng)的“嘿，這是一個(gè)GPU的事情”。所以規(guī)模如GPU4的模型在大約三個(gè)月的時(shí)間里使用了10,000個(gè)H100進(jìn)行訓(xùn)練，費(fèi)用達(dá)到6400萬美元。大家了解當(dāng)前成本的規(guī)模是什么樣的以及對(duì)于訓(xùn)練一些現(xiàn)代模型的支出是多少。
重要的是，當(dāng)我說系統(tǒng)是相互連接的時(shí)候，目前H100的連接速度，即上一代產(chǎn)品，是每秒900GB，計(jì)算機(jī)內(nèi)部 CPU 與 RAM 之間的連接速度是每秒 200GB，都是電腦本地的。因此，在同一個(gè)數(shù)據(jù)中心內(nèi)從一個(gè)GPU發(fā)送數(shù)據(jù)到另一個(gè)GPU的速度比你的計(jì)算機(jī)還快。你的計(jì)算機(jī)基本上可以在箱子里自己進(jìn)行通信。而新一代產(chǎn)品的連接速度基本上是每秒1.8TB。從開發(fā)者的角度來看，這不是一個(gè)個(gè)體的計(jì)算單元。這些是超級(jí)計(jì)算機(jī)，擁有一個(gè)巨大的內(nèi)存和計(jì)算能力，為你提供了極大規(guī)模的計(jì)算。
現(xiàn)在，這導(dǎo)致了我們面臨的問題，即這些大公司擁有資源和能力來構(gòu)建這些模型，這些模型現(xiàn)在幾乎已經(jīng)為我們提供了這種服務(wù)，我不知道其中究竟有多少工作，對(duì)吧？所以這就是一個(gè)例子，對(duì)吧？你去找一個(gè)完全集中式的公司提供者，然后輸入一個(gè)查詢。結(jié)果是，有幾個(gè)團(tuán)隊(duì)并不是軟件工程團(tuán)隊(duì)，而是決定結(jié)果如何顯示的團(tuán)隊(duì)，對(duì)吧？你有一個(gè)團(tuán)隊(duì)決定哪些數(shù)據(jù)進(jìn)入數(shù)據(jù)集。
舉個(gè)例子，如果你只是從互聯(lián)網(wǎng)上爬取數(shù)據(jù)，關(guān)于巴拉克·奧巴馬出生在肯尼亞和巴拉克·奧巴馬出生在夏威夷的次數(shù)是完全相同的，因?yàn)槿藗兿矚g猜測爭議。所以你要決定要在什么上進(jìn)行訓(xùn)練。你要決定過濾掉一些信息，因?yàn)槟悴幌嘈胚@是真的。因此，若像這樣的個(gè)人已經(jīng)決定哪些數(shù)據(jù)會(huì)被采用且存在這些數(shù)據(jù)，這些決定在很大程度上是由做出它們的人所影響的。你有一個(gè)法律團(tuán)隊(duì)決定我們不能查看哪些內(nèi)容是受版權(quán)保護(hù)，哪些是非法的。我們有一個(gè)“道德團(tuán)隊(duì)”決定什么是不道德的，我們不應(yīng)該展示什么內(nèi)容。
所以在某種程度上，有很多這樣的過濾和操縱行為。這些模型是統(tǒng)計(jì)模型。它們會(huì)從數(shù)據(jù)中挑選出來。如果數(shù)據(jù)中沒有某些內(nèi)容，它們就不會(huì)知道答案。如果數(shù)據(jù)中有某些內(nèi)容，它們很可能會(huì)將其視為事實(shí)。現(xiàn)在，當(dāng)你從AI得到一個(gè)回答時(shí)，這可能會(huì)令人擔(dān)憂。對(duì)吧。現(xiàn)在，你理應(yīng)是從模型那里得到回答，但是沒有任何的保證。你不知道結(jié)果是如何生成的。一個(gè)公司可能會(huì)把你的特定會(huì)話賣給出價(jià)最高的人來實(shí)際改變結(jié)果。想象一下，你去詢問應(yīng)該買哪種車，豐田公司決定覺得應(yīng)該偏向豐田這個(gè)結(jié)果，豐田將支付這家公司10美分來做到這一點(diǎn)。
因此，即使你將這些模型用作應(yīng)該中立并代表數(shù)據(jù)的知識(shí)庫，實(shí)際上在你得到結(jié)果之前，會(huì)發(fā)生很多事情，這些事情會(huì)以一種非常特定的方式對(duì)結(jié)果進(jìn)行偏見。這已經(jīng)引發(fā)了很多問題，對(duì)吧？這基本上就是大公司和媒體之間不同法律訴訟的一個(gè)星期。SEC，現(xiàn)在幾乎每個(gè)人都在試圖起訴對(duì)方，因?yàn)檫@些模型帶來了如此多的不確定性和權(quán)力。而且，如果往前看，問題在于大型科技公司將永遠(yuǎn)有繼續(xù)增加收入的動(dòng)機(jī)，對(duì)吧？比如，如果你是一家上市公司，你需要報(bào)告收入，你需要繼續(xù)保持增長。
為了實(shí)現(xiàn)這一目標(biāo)，如果你已經(jīng)占據(jù)了目標(biāo)市場，比如說你已經(jīng)有20億用戶了。在互聯(lián)網(wǎng)上已經(jīng)沒有那么多新用戶了。你沒有太多的選擇，除了最大化平均收入，這意味著你需要從用戶那里提取更多的價(jià)值，而他們可能根本沒有什么價(jià)值，或者你需要改變他們的行為。生成式人工智能非常擅長于操縱和改變用戶的行為，特別是如果人們認(rèn)為它是以一切知識(shí)智能的形式出現(xiàn)的。因此，我們面臨著這種非常危險(xiǎn)的情況，在這種情況下，監(jiān)管壓力很大，監(jiān)管機(jī)構(gòu)并不完全了解這項(xiàng)技術(shù)的工作原理。我們幾乎沒有保護(hù)用戶免受操縱的情況。
操縱性內(nèi)容、誤導(dǎo)性內(nèi)容，即使沒有廣告，你也可以只是截取一些東西的屏幕截圖，改變標(biāo)題，發(fā)布到Twitter上，人們就會(huì)發(fā)瘋。你有經(jīng)濟(jì)激勵(lì)機(jī)制，導(dǎo)致你不斷地最大化收入。而且，這實(shí)際上不像在谷歌內(nèi)部你是在做惡事，對(duì)吧？當(dāng)你決定啟動(dòng)哪個(gè)模型時(shí)，你會(huì)進(jìn)行A或B測試，看看哪個(gè)能帶來更多收入。因此，你會(huì)通過從用戶那里提取更多價(jià)值來不斷地最大化收入。而且，用戶和社區(qū)并沒有對(duì)模型的內(nèi)容、使用的數(shù)據(jù)以及實(shí)際嘗試實(shí)現(xiàn)的目標(biāo)有任何輸入。這就是應(yīng)用程序用戶的情況。這是一種調(diào)節(jié)。
這就是為什么我們要不斷推動(dòng)WEB 3和AI融合的原因，web 3 可以是一種重要的工具，它允許我們有新的激勵(lì)方式，并且還是以去中心化的形式去激勵(lì)我們生產(chǎn)更好的軟件和產(chǎn)品。這是整個(gè)web 3 AI 開發(fā)的大方向， 現(xiàn)在為了幫助理解細(xì)節(jié)，我會(huì)簡單講一下具體的部分，首先第一部分是Content Reputation。
再次強(qiáng)調(diào)，這不是一個(gè)純粹的人工智能問題，盡管語言模型為人們操縱和利用信息帶來了巨大的影響力并擴(kuò)大了規(guī)模。你想要的是一種可以追蹤的、可追溯的加密聲譽(yù)，當(dāng)你查看不同的內(nèi)容時(shí)，它會(huì)顯現(xiàn)出來。所以想象一下，你有一些社區(qū)節(jié)點(diǎn)，它們實(shí)際上是加密的，并且在每個(gè)網(wǎng)站的每個(gè)頁面上都可以找到?，F(xiàn)在，如果你超越這一點(diǎn)，所有這些分發(fā)平臺(tái)都將會(huì)受到干擾，因?yàn)檫@些模型現(xiàn)在幾乎將閱讀所有這些內(nèi)容并為你提供個(gè)性化摘要和個(gè)性化輸出。
因此，我們實(shí)際上有機(jī)會(huì)創(chuàng)造新的創(chuàng)造性內(nèi)容，而不是試圖重新發(fā)明，讓我們?cè)诂F(xiàn)有內(nèi)容上加上區(qū)塊鏈和NFTs。圍繞模型訓(xùn)練和推理時(shí)間的新創(chuàng)作者經(jīng)濟(jì)，人們創(chuàng)造的數(shù)據(jù)，無論是新的出版物、照片、YouTube、還是你創(chuàng)作的音樂，都將進(jìn)入一個(gè)基于其對(duì)模型訓(xùn)練的貢獻(xiàn)程度的網(wǎng)絡(luò)。因此，根據(jù)這一點(diǎn)，根據(jù)內(nèi)容可以在全球范圍內(nèi)獲得一些報(bào)酬。因此，我們從現(xiàn)在由廣告網(wǎng)絡(luò)推動(dòng)的吸引眼球的經(jīng)濟(jì)模式過渡到了真正帶來創(chuàng)新和有趣信息的經(jīng)濟(jì)模式。
我想提一件重要的事情，那就是大量的不確定性來自浮點(diǎn)運(yùn)算。所有這些模型都涉及大量的浮點(diǎn)運(yùn)算和乘法。這些都是不確定性的操作。
現(xiàn)在，如果你將它們?cè)诓煌軜?gòu)的GPU上進(jìn)行乘法運(yùn)算。所以你拿一個(gè)A100和一個(gè)H100，結(jié)果會(huì)有所不同。因此，很多依賴確定性的方法，比如加密經(jīng)濟(jì)和樂觀主義，實(shí)際上會(huì)遇到很多困難，并且需要很多創(chuàng)新才能實(shí)現(xiàn)這一點(diǎn)。最后，有一個(gè)有趣的想法，我們一直在構(gòu)建可編程貨幣和可編程資產(chǎn)，但是如果你能想象一下，你給它們添加這種智能，你就可以有智能資產(chǎn)，它們現(xiàn)在不是由代碼定義的，而是由自然語言與世界互動(dòng)的能力來定義，對(duì)吧？這就是我們可以有很多有趣的收益優(yōu)化、DeFi，我們可以在世界內(nèi)部進(jìn)行交易策略。
現(xiàn)在的挑戰(zhàn)在于所有當(dāng)前事件都不具備強(qiáng)大的Robust行為。它們并沒有被訓(xùn)練成具有對(duì)抗性的強(qiáng)大性，因?yàn)橛?xùn)練的目的是預(yù)測下一個(gè)token。因此，說服一個(gè)模型給你所有的錢會(huì)更容易。在繼續(xù)之前，實(shí)際上解決這個(gè)問題非常重要。所以我就給你留下這個(gè)想法，我們處在一個(gè)十字路口上，對(duì)吧？有一個(gè)封閉的人工智能生態(tài)系統(tǒng)，它有極端的激勵(lì)和飛輪，因?yàn)楫?dāng)他們推出一個(gè)產(chǎn)品時(shí)，他們會(huì)產(chǎn)生大量的收入，然后把這些收入投入到建設(shè)產(chǎn)品中。但是，該產(chǎn)品天生就是為了最大化公司的收入，從而最大化從用戶那里提取的價(jià)值?；蛘呶覀冇羞@種開放、用戶擁有的方法，用戶掌控著局面。
這些模型實(shí)際上對(duì)你有利的，試圖最大化你的利益。它們?yōu)槟闾峁┝艘环N方式，真正保護(hù)你免受在互聯(lián)網(wǎng)上的許多危險(xiǎn)。所以這就是為什么我們需要AI x Crypto更多的開發(fā)和應(yīng)用。謝謝大家。
13560189272 
地址：廣州市天河區(qū)黃埔大道西201號(hào)金澤大廈808室 
