文心千帆上架Llama2，百度要做大模型“跨境電商”｜最前線

文 | 周鑫雨

編輯 | 鄧詠儀

8月2日，在百度文心千帆大模型平臺(tái)媒體圓桌會(huì)議上，百度攜著自己的大模型伙伴，在文心千帆上開設(shè)了模型的“百貨超市”。

(相關(guān)資料圖)

國(guó)內(nèi)“百模大戰(zhàn)”已經(jīng)打了半年。做大模型的巨頭們，進(jìn)度條已經(jīng)從大模型研發(fā)，快速拉到建立合作伙伴、渠道和生態(tài)。

此前，字節(jié)火山引擎和阿里通義千問(wèn)都已經(jīng)建立“模型貨架”，拉攏一批AI公司或者大模型公司到自家平臺(tái)上，提供從云到AI開發(fā)等服務(wù)。

如今的文心千帆做的更像是“跨境電商”：一方面，文心千帆接入的第三方模型足夠多：33個(gè)，規(guī)模超越了此前拉伙7家國(guó)內(nèi)大模型廠商的火山方舟。

另一方面，RWKV、Stability Diffusion，甚至Meta在7月19日發(fā)布的Llama2等國(guó)外知名大模型，也陳列其中。

文心千帆上線的部分第三方大模型。圖源：百度

此外，此次文心千帆還上線了130套預(yù)制Prompt（提示詞）模板和插件功能。所謂的“Prompt模板”，就是教會(huì)用戶如何對(duì)大模型提出更好的問(wèn)題，從而獲得更優(yōu)質(zhì)的反饋，而百度提供的“預(yù)制Prompt模板”，則是將提問(wèn)方式的標(biāo)準(zhǔn)答案，直接喂給了用戶。至于新增的插件，率先在百度內(nèi)部辦公軟件“如流”上進(jìn)行了測(cè)試，未來(lái)將陸續(xù)登陸文心千帆。

33個(gè)國(guó)內(nèi)外第三方大模型入駐平臺(tái)

發(fā)布會(huì)上，百度智能云AI與大數(shù)據(jù)平臺(tái)總經(jīng)理忻舟介紹，這次入駐的第三方大模型的特色在于性能互補(bǔ)，能夠滿足不同用戶的需求，比如支持無(wú)限上下文長(zhǎng)度的RWKV，和英文能力較強(qiáng)的Llama2，彌補(bǔ)了文心一言相應(yīng)的短板。

針對(duì)上架的第三方模型，百度主要在3個(gè)方面做了調(diào)控：

• 提高可靠性和安全性。

• 降低成本：調(diào)整后模型體積可壓縮至25%-50%，推理成本可降低50%。

• 支持全套工具鏈、多樣化模型調(diào)優(yōu)：接入模型支持SFT（全量參數(shù)微調(diào)、Prompt Tuning、Lora）、強(qiáng)化學(xué)習(xí)等調(diào)優(yōu)方式。

  不過(guò)，在開源生態(tài)愈發(fā)體系化的當(dāng)下，不少開源模型第三方機(jī)構(gòu)對(duì)開源商用許可做出了嚴(yán)格的規(guī)定。即便開放了免費(fèi)商用的Llama2，Meta對(duì)用戶也進(jìn)行了約束：如果產(chǎn)品的月活躍用戶（MAU）超過(guò)7億，用戶必須申請(qǐng)?zhí)厥獾纳虡I(yè)許可證。

  對(duì)此，忻舟表示，百度在引入大多數(shù)開源模型時(shí)，都會(huì)和開發(fā)團(tuán)隊(duì)進(jìn)行溝通，比如智譜的ChatGLM2-6B既有開源版，同時(shí)也有商用版，那么針對(duì)商用版百度會(huì)與智譜進(jìn)行分成。但由于上線時(shí)間緊張，因此目前百度和Meta等國(guó)外模型團(tuán)隊(duì)正在保持溝通。

  針對(duì)已上線的第三方模型，百度將根據(jù)市場(chǎng)和客戶反饋采取上新和淘汰機(jī)制。忻舟告訴36氪，為了降低用戶的選擇成本，文心千帆的模型庫(kù)不會(huì)是無(wú)限擴(kuò)張的狀態(tài)，最終仍會(huì)根據(jù)市場(chǎng)選擇更新或者下架。

  上線103個(gè)預(yù)制Prompt模板，幫客戶提問(wèn)題

  在用戶實(shí)際使用模型的過(guò)程中，提問(wèn)的方式往往會(huì)影響模型輸出的內(nèi)容。這是因?yàn)椋粋€(gè)好的問(wèn)題模版往往能夠幫助預(yù)訓(xùn)練模型“回憶”起預(yù)訓(xùn)練時(shí)學(xué)習(xí)到的內(nèi)容——這一問(wèn)題模板就被稱為Prompt。

  不過(guò)，文心千帆并不打算花時(shí)間教用戶如何寫Prompt，而是直接幫用戶寫完問(wèn)題。

  此次上線的103個(gè)預(yù)制Prompt模板，覆蓋了對(duì)話、編程、電商、醫(yī)療、游戲、翻譯、演講等十多個(gè)場(chǎng)景。據(jù)百度智能云AI平臺(tái)副總經(jīng)理李景秋介紹，預(yù)制Prompt模板來(lái)源于百度智能云在產(chǎn)業(yè)實(shí)踐中積累的Prompt模板，也源自文心一言的高頻用戶。

  文心千帆上線的103個(gè)預(yù)制Prompt模板。圖源：文心千帆截圖

  比如當(dāng)用戶希望文心一言對(duì)電影《芭比》做出評(píng)價(jià)時(shí)，簡(jiǎn)單提問(wèn)“電影《芭比》好看嗎？”與使用預(yù)制Prompt模板后得到的影評(píng)在質(zhì)量、篇幅上均有較大差距。

  用“電影《芭比》好看嗎？”提問(wèn)后，文心一言的回答。圖源：作者試用

  用文心千帆預(yù)制Prompt提問(wèn)后，文心一言的回答。圖源：作者試用

  上線插件，新增文檔摘要功能

  所謂的插件，就像是大模型中的“小程序”，作為模型能力的補(bǔ)充和拓展。

  此前，ChatGPT已經(jīng)開放了74個(gè)插件，功能涵蓋購(gòu)物、求職、營(yíng)銷、票務(wù)預(yù)定等。但過(guò)多的第三方插件也會(huì)帶來(lái)安全風(fēng)險(xiǎn)，媒體Wired報(bào)道指出，安全研究人員表示，ChatGPT 插件的運(yùn)行方式存在風(fēng)險(xiǎn)，可能會(huì)導(dǎo)致用戶的數(shù)據(jù)泄露，甚至被黑客濫用。

  作為國(guó)內(nèi)模型插件的“吃蟹者”，文心千帆此次上線的“百度搜索”和“ChatFile”插件均由百度自行研發(fā)。

  文心一言上線的兩款插件。圖源：作者截圖

  值得一提的是，“ChatFile”可檢索PDF/Doc格式文檔中的知識(shí)點(diǎn)，并且實(shí)現(xiàn)文本摘要等功能。

  ChatFile插件對(duì)《正午之魔：抑郁是你我共有的秘密》一書的總結(jié)。圖源：作者試用

  李景秋介紹，文心千帆的插件已經(jīng)應(yīng)用于百度辦公軟件“如流”中。目前，如流已經(jīng)接入了20個(gè)插件，涵蓋文檔搜索、會(huì)議紀(jì)要、會(huì)議室預(yù)定等功能。未來(lái)，文心千帆的插件生態(tài)也將開放給第三方開發(fā)者。

  “如流”接入的20個(gè)插件。圖源：百度

  忻舟表示，一站式大模型平臺(tái)最后會(huì)更被開發(fā)者所需要，隨著技術(shù)的不斷成熟，底層設(shè)施和工具的開發(fā)會(huì)放緩，更多的精力會(huì)被放在保證自己的業(yè)務(wù)不被技術(shù)發(fā)展所淘汰，這時(shí)上層應(yīng)用對(duì)平臺(tái)工具的需求會(huì)更大，平臺(tái)之間比拼的是服務(wù)的能力，“在激烈競(jìng)爭(zhēng)中，一定會(huì)有一些做得好的頭部的平臺(tái)，能夠變成主要的玩家。”

  歡迎交流！

  關(guān)鍵詞：