廈門國家高新技術(shù)企業(yè)軟件定制開發(fā)、物聯(lián)網(wǎng)系統(tǒng)開發(fā)、小程序APP開發(fā)、網(wǎng)站建設(shè)、大尋網(wǎng)絡(luò)公司為您服務(wù)!

電話電話:0592-5786385/13850021717
微信咨詢
咨詢熱線0592-5786385 13850021717
新聞中心

ChatGPT產(chǎn)業(yè)未來

軟件開發(fā)日期:2023-02-03

5,ChatGPT的未來改進方向


5.1 減少人類反饋的RLAIF

2020年底,OpenAI前研究副總裁Dario Amodei帶著10名員工創(chuàng)辦了一個人工智能公司Anthropic。Anthropic 的創(chuàng)始團隊成員,大多為 OpenAI 的早期及核心員工,參與過OpenAI的GPT-3、多模態(tài)神經(jīng)元、人類偏好的強化學(xué)習(xí)等。


2022年12月,Anthropic再次發(fā)表論文《Constitutional AI: Harmlessness from AI Feedback》介紹人工智能模型Claude。(arxiv.org/pdf/2212.0807)



CAI模型訓(xùn)練過程


Claude 和 ChatGPT 都依賴于強化學(xué)習(xí)(RL)來訓(xùn)練偏好(preference)模型。CAI(Constitutional AI)也是建立在RLHF的基礎(chǔ)之上,不同之處在于,CAI的排序過程使用模型(而非人類)對所有生成的輸出結(jié)果提供一個初始排序結(jié)果。


CAI用人工智能反饋來代替人類對表達無害性的偏好,即RLAIF,人工智能根據(jù)一套constitution原則來評價回復(fù)內(nèi)容。



5.2 補足數(shù)理短板

ChatGPT雖然對話能力強,但是在數(shù)理計算對話中容易出現(xiàn)一本正經(jīng)胡說八道的情況。


計算機學(xué)家Stephen Wolfram 為這一問題提出了解決方案。Stephen Wolfram 創(chuàng)造了的 Wolfram 語言和計算知識搜索引擎 Wolfram | Alpha,其后臺通過Mathematica實現(xiàn)。



ChatGPT與Wolfram | Alpha結(jié)合處理梳理問題


在這一結(jié)合體系中,ChatGPT 可以像人類使用 Wolfram|Alpha 一樣,與 Wolfram|Alpha “對話”,Wolfram|Alpha 則會用其符號翻譯能力將從 ChatGPT 獲得的自然語言表達“翻譯”為對應(yīng)的符號化計算語言。在過去,學(xué)術(shù)界在 ChatGPT 使用的這類 “統(tǒng)計方法” 和 Wolfram|Alpha 的 “符號方法” 上一直存在路線分歧。但如今 ChatGPT 和 Wolfram|Alpha 的互補,給NLP領(lǐng)域提供了更上一層樓的可能。


ChatGPT 不必生成這樣的代碼,只需生成常規(guī)自然語言,然后使用 Wolfram|Alpha 翻譯成精確的 Wolfram Language,再由底層的Mathematica進行計算。


5.3 ChatGPT的小型化

雖然ChatGPT很強大,但其模型大小和使用成本也讓很多人望而卻步。


有三類模型壓縮(model compression)可以降低模型的大小和成本。


第一種方法是量化(quantization),即降低單個權(quán)重的數(shù)值表示的精度。比如Tansformer從FP32降到INT8對其精度影響不大。


第二種模型壓縮方法是剪枝(pruning),即刪除網(wǎng)絡(luò)元素,包括從單個權(quán)重(非結(jié)構(gòu)化剪枝)到更高粒度的組件如權(quán)重矩陣的通道。這種方法在視覺和較小規(guī)模的語言模型中有效。


第三種模型壓縮方法是稀疏化。例如奧地利科學(xué)技術(shù)研究所 (ISTA)提出的SparseGPT (arxiv.org/pdf/2301.0077)可以將 GPT 系列模型單次剪枝到 50% 的稀疏性,而無需任何重新訓(xùn)練。對 GPT-175B 模型,只需要使用單個 GPU 在幾個小時內(nèi)就能實現(xiàn)這種剪枝。



SparseGPT 壓縮流程


6 ChatGPT的產(chǎn)業(yè)未來與投資機會

6.1 AIGC

說到ChaGPT不得不提AIGC。


AIGC即利用人工智能技術(shù)來生成內(nèi)容。與此前Web1.0、Web2.0時代的UGC(用戶生產(chǎn)內(nèi)容)和PGC(專業(yè)生產(chǎn)內(nèi)容)相比,代表人工智能構(gòu)思內(nèi)容的AIGC,是新一輪內(nèi)容生產(chǎn)方式變革,而且AIGC內(nèi)容在Web3.0時代也將出現(xiàn)指數(shù)級增長。


ChatGPT 模型的出現(xiàn)對于文字/語音模態(tài)的 AIGC 應(yīng)用具有重要意義,會對AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。


6.2 受益場景

從下游相關(guān)受益應(yīng)用來看,包括但不限于無代碼編程、小說生成、對話類搜索引擎、語音陪伴、語音工作助手、對話虛擬人、人工智能客服、機器翻譯、芯片設(shè)計等。從上游增加需求來看,包括算力芯片、數(shù)據(jù)標注、自然語言處理(NLP)等。



大模型呈爆發(fā)態(tài)勢(更多的參數(shù)/更大的算力芯片需求)


隨著算法技術(shù)和算力技術(shù)的不斷進步,ChatGPT也會進一步走向更先進功能更強的版本,在越來越多的領(lǐng)域進行應(yīng)用,為人類生成更多更美好的對話和內(nèi)容


關(guān)鍵詞:ChatGPT產(chǎn)業(yè)未來  

多一份咨詢,總有益處

專業(yè)項目經(jīng)理為你解答問題,咨詢問題或預(yù)約面談

立即咨詢
大尋網(wǎng)絡(luò)
新聞中心

ChatGPT產(chǎn)業(yè)未來

軟件開發(fā)日期:2023-02-03

5,ChatGPT的未來改進方向


5.1 減少人類反饋的RLAIF

2020年底,OpenAI前研究副總裁Dario Amodei帶著10名員工創(chuàng)辦了一個人工智能公司Anthropic。Anthropic 的創(chuàng)始團隊成員,大多為 OpenAI 的早期及核心員工,參與過OpenAI的GPT-3、多模態(tài)神經(jīng)元、人類偏好的強化學(xué)習(xí)等。


2022年12月,Anthropic再次發(fā)表論文《Constitutional AI: Harmlessness from AI Feedback》介紹人工智能模型Claude。(arxiv.org/pdf/2212.0807)



CAI模型訓(xùn)練過程


Claude 和 ChatGPT 都依賴于強化學(xué)習(xí)(RL)來訓(xùn)練偏好(preference)模型。CAI(Constitutional AI)也是建立在RLHF的基礎(chǔ)之上,不同之處在于,CAI的排序過程使用模型(而非人類)對所有生成的輸出結(jié)果提供一個初始排序結(jié)果。


CAI用人工智能反饋來代替人類對表達無害性的偏好,即RLAIF,人工智能根據(jù)一套constitution原則來評價回復(fù)內(nèi)容。



5.2 補足數(shù)理短板

ChatGPT雖然對話能力強,但是在數(shù)理計算對話中容易出現(xiàn)一本正經(jīng)胡說八道的情況。


計算機學(xué)家Stephen Wolfram 為這一問題提出了解決方案。Stephen Wolfram 創(chuàng)造了的 Wolfram 語言和計算知識搜索引擎 Wolfram | Alpha,其后臺通過Mathematica實現(xiàn)。



ChatGPT與Wolfram | Alpha結(jié)合處理梳理問題


在這一結(jié)合體系中,ChatGPT 可以像人類使用 Wolfram|Alpha 一樣,與 Wolfram|Alpha “對話”,Wolfram|Alpha 則會用其符號翻譯能力將從 ChatGPT 獲得的自然語言表達“翻譯”為對應(yīng)的符號化計算語言。在過去,學(xué)術(shù)界在 ChatGPT 使用的這類 “統(tǒng)計方法” 和 Wolfram|Alpha 的 “符號方法” 上一直存在路線分歧。但如今 ChatGPT 和 Wolfram|Alpha 的互補,給NLP領(lǐng)域提供了更上一層樓的可能。


ChatGPT 不必生成這樣的代碼,只需生成常規(guī)自然語言,然后使用 Wolfram|Alpha 翻譯成精確的 Wolfram Language,再由底層的Mathematica進行計算。


5.3 ChatGPT的小型化

雖然ChatGPT很強大,但其模型大小和使用成本也讓很多人望而卻步。


有三類模型壓縮(model compression)可以降低模型的大小和成本。


第一種方法是量化(quantization),即降低單個權(quán)重的數(shù)值表示的精度。比如Tansformer從FP32降到INT8對其精度影響不大。


第二種模型壓縮方法是剪枝(pruning),即刪除網(wǎng)絡(luò)元素,包括從單個權(quán)重(非結(jié)構(gòu)化剪枝)到更高粒度的組件如權(quán)重矩陣的通道。這種方法在視覺和較小規(guī)模的語言模型中有效。


第三種模型壓縮方法是稀疏化。例如奧地利科學(xué)技術(shù)研究所 (ISTA)提出的SparseGPT (arxiv.org/pdf/2301.0077)可以將 GPT 系列模型單次剪枝到 50% 的稀疏性,而無需任何重新訓(xùn)練。對 GPT-175B 模型,只需要使用單個 GPU 在幾個小時內(nèi)就能實現(xiàn)這種剪枝。



SparseGPT 壓縮流程


6 ChatGPT的產(chǎn)業(yè)未來與投資機會

6.1 AIGC

說到ChaGPT不得不提AIGC。


AIGC即利用人工智能技術(shù)來生成內(nèi)容。與此前Web1.0、Web2.0時代的UGC(用戶生產(chǎn)內(nèi)容)和PGC(專業(yè)生產(chǎn)內(nèi)容)相比,代表人工智能構(gòu)思內(nèi)容的AIGC,是新一輪內(nèi)容生產(chǎn)方式變革,而且AIGC內(nèi)容在Web3.0時代也將出現(xiàn)指數(shù)級增長。


ChatGPT 模型的出現(xiàn)對于文字/語音模態(tài)的 AIGC 應(yīng)用具有重要意義,會對AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。


6.2 受益場景

從下游相關(guān)受益應(yīng)用來看,包括但不限于無代碼編程、小說生成、對話類搜索引擎、語音陪伴、語音工作助手、對話虛擬人、人工智能客服、機器翻譯、芯片設(shè)計等。從上游增加需求來看,包括算力芯片、數(shù)據(jù)標注、自然語言處理(NLP)等。



大模型呈爆發(fā)態(tài)勢(更多的參數(shù)/更大的算力芯片需求)


隨著算法技術(shù)和算力技術(shù)的不斷進步,ChatGPT也會進一步走向更先進功能更強的版本,在越來越多的領(lǐng)域進行應(yīng)用,為人類生成更多更美好的對話和內(nèi)容


關(guān)鍵詞:ChatGPT產(chǎn)業(yè)未來  

多一份咨詢,總有益處

專業(yè)項目經(jīng)理為你解答問題,咨詢問題或預(yù)約面談

電話咨詢:13850021717|

微信同號

主站蜘蛛池模板: 狼人大香伊蕉国产WWW亚洲| 一二三四在线视频社区8| 美女高清特黄a大片| 成人午夜视频在线播放| 伊人久久大线蕉香港三级| 91香蕉视频直播| 欧洲精品免费一区二区三区| 国产成人免费电影| 中文无码人妻有码人妻中文字幕| 精品国产一区二区三区久久影院| 在公交车上弄到高c了漫画| 奇米在线777| 亚洲国产激情一区二区三区| 韩国福利视频一区二区 | 精品视频中文字幕| 夜夜高潮天天爽欧美| 亚洲区在线播放| 草莓视频在线观| 天堂а√在线官网| 亚洲av无码专区在线播放| 耻辱にまみれた失禁调教| 在线观看国产一区二区三区| 亚洲AV永久精品爱情岛论坛| 老司机成人精品视频lsj| 在线观看不卡视频| 亚洲一区日韩二区欧美三区| 免费a级毛片无码a| 老湿影院在线观看| 制服丝袜怡红院| 在线观看噜噜噜私人影院| 欧美、另类亚洲日本一区二区| 国产成人AAAAA级毛片| 一级黄色片免费观看| 欧美最猛黑人xxxx黑人猛交98| 国产又爽又黄又无遮挡的激情视频| 一区二区三区四区精品| 欧美人与动交片免费播放| 和朋友共享娇妻高hh| 2021国内精品久久久久久影院 | 成人自拍视频网| 亚洲国产一二三|