彼時(shí)的 Meta 遭遇了蘋(píng)果調(diào)整隱私策略和元宇宙預(yù)冷的雙重打擊，股價(jià)一度跌至近 6 年來(lái)的谷底，比 2021 年的最高價(jià)位縮水了三分之二有多。
但出乎意料的是，Meta 恢復(fù)的速度比跌倒還要快。
2023 年 Meta 做出了大量調(diào)整，包括裁員和削減項(xiàng)目收縮成本、押注短視頻應(yīng)用 Reels，以及加大 AI 技術(shù)的投資，利用 AI 來(lái)改進(jìn)廣告模型投放等等。
其中，AI 在 Meta「蘇醒」的歷程中扮演了非常重要的角色。今年以來(lái) Meta 在 AI 領(lǐng)域持續(xù)發(fā)力，不斷地開(kāi)源自家的 AI 研究成果，從技術(shù)層面來(lái)看并不弱于 OpenAI 和 Google 等明星 AI 公司。
就在今天，Meta 發(fā)布了開(kāi)源大模型 Llama 2，引爆了 AI 圈：Llama 2 不僅性能不輸 GPT-3，而且免費(fèi)、開(kāi)源，還可商用！
什么是 Llama 2？
Llama 2 是 Meta 今年 3 月初發(fā)布的 Llama 模型的后續(xù)版本，Llama 因?yàn)轶w積小、性能強(qiáng)等優(yōu)點(diǎn)，在 AI 社區(qū)得到了廣泛的好評(píng)，被認(rèn)為是推動(dòng) AI 研究和開(kāi)發(fā)的重要工具。
Meta AI 今天一同發(fā)布了大型語(yǔ)言模型 Llama 2 及其調(diào)優(yōu)版本 Llama 2-Chat，相比 Llama 1，新版Llama 2 在模型規(guī)模、訓(xùn)練數(shù)據(jù)量、模型結(jié)構(gòu)等多個(gè)方面進(jìn)行了全面提升。
Llama 2 家族包含多個(gè)模型規(guī)模，包括 70 億、130 億、340 億（暫未發(fā)布）和 70 億參數(shù)量的多個(gè)版本，覆蓋了不同的應(yīng)用場(chǎng)景需求。
此次Meta首先開(kāi)源發(fā)布了 7 億和 13 億參數(shù)的 Llama 2 及對(duì)應(yīng)的聊天機(jī)器人條有版本 Llama 2-Chat。
與 Llama 1 相比，Llama 2 在三個(gè)方面進(jìn)行了重要的改進(jìn):
首先，訓(xùn)練數(shù)據(jù)量增加了 40%，從 Llama 1 的 1.4 萬(wàn)億個(gè) token 增至 2 萬(wàn)億個(gè) token。訓(xùn)練數(shù)據(jù)中的文本來(lái)源更多樣化，包括書(shū)籍、論文、新聞報(bào)道、網(wǎng)頁(yè)內(nèi)容等在線(xiàn)公開(kāi)來(lái)源。
Llama 2 還將單條文本的最大長(zhǎng)度從 2048 個(gè) token 提升至 4096 個(gè) token，更長(zhǎng)的文本輸入意味著可以包含更多上下文信息，提升模型的理解能力。
Llama 2 在更大模型的版本中采用了「分組 Attention」機(jī)制，可以顯著降低計(jì)算和內(nèi)存需求，提升推理速度。
除了規(guī)模和結(jié)構(gòu)的改進(jìn)，Llama 2 在多個(gè)自然語(yǔ)言處理基準(zhǔn)測(cè)試上的結(jié)果也優(yōu)于 Llama 1 和其他開(kāi)源大模型，顯示出在知識(shí)表達(dá)、推理、對(duì)話(huà)等能力上的提升。
除了純預(yù)訓(xùn)練模型，調(diào)優(yōu)對(duì)話(huà)型模型對(duì)結(jié)果的質(zhì)量也很重要。
Meta 研究人員開(kāi)發(fā)了全新的調(diào)優(yōu)方案，通過(guò)監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)相結(jié)合的方式不斷提升 Llama 2-Chat 的性能。
舉個(gè)例子，Llama 2-Chat 的理解能力和表達(dá)能力都上了一個(gè)臺(tái)階，現(xiàn)在可以只用 Emoji 和你聊天，
這是怎么做到的呢？Meta 的研究人員先利用人工標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督微調(diào)，使模型初步符合人類(lèi)偏好，兼顧有用性和安全性，為后續(xù)的強(qiáng)化學(xué)習(xí)奠定了良好基礎(chǔ)。
然后，利用強(qiáng)化學(xué)習(xí)中的「拒絕采樣」策略進(jìn)行迭代調(diào)優(yōu)。該策略為每個(gè)輸入文本生成多個(gè)響應(yīng)，利用訓(xùn)練好的「獎(jiǎng)勵(lì)模型」選擇最佳響應(yīng)，再利用選擇后的響應(yīng)樣本微調(diào)模型。
研究人員收集了超過(guò) 100 萬(wàn)條人類(lèi)偏好比較數(shù)據(jù)來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。
在此過(guò)程中，安全性和有用性作為兩個(gè)獨(dú)立的獎(jiǎng)勵(lì)模型進(jìn)行訓(xùn)練和評(píng)估。
安全性獎(jiǎng)勵(lì)模型可以識(shí)別風(fēng)險(xiǎn)更高的輸入并給出更低的分?jǐn)?shù)，有助于降低模型生成有害內(nèi)容的風(fēng)險(xiǎn)。
簡(jiǎn)單來(lái)說(shuō)，Llama 2 的性能和安全性在開(kāi)源大模型里面都是首屈一指的存在，更詳細(xì)的技術(shù)細(xì)節(jié)可以參考 Meta 公布的技術(shù)論文。
目前 Meta 已 GitHub 上開(kāi)源了 Llama 2 預(yù)訓(xùn)練模型的代碼和參數(shù)，允許研究人員進(jìn)行探索。Meta 還開(kāi)放了 Llama 2 的商業(yè)使用許可（但月活量超過(guò) 7 億的產(chǎn)品需要另外申請(qǐng)商用），相信很快將會(huì)有一批基于 Llama 2 的大模型產(chǎn)品涌現(xiàn)出來(lái)。
Meta + Microsoft = M&M's ?
在今天的微軟 Inspire 合作伙伴大會(huì)上，微軟 CEO 薩蒂亞·納德拉 （Satya Nadella）還宣布了 Meta 與微軟合作的消息，這項(xiàng)合作讓 Llama 2 可以運(yùn)行在微軟的云服務(wù) Microsoft Azure。
Meta 則表示，微軟是 Llama 2 的首選合作伙伴，未來(lái)兩者會(huì)通過(guò)深度合作，以增加對(duì)基礎(chǔ)人工智能技術(shù)的普及，從而讓全球的企業(yè)受益。
部分合作伙伴
而除微軟以外，Meta 同時(shí)還和亞馬遜 AWS、Hugging Face 兩家云服務(wù)供應(yīng)商達(dá)成合作，在他們的平臺(tái)上托管 Llama 2 的運(yùn)行。
值得一提的是，盡管 Meta 宣稱(chēng) Llama 2 模型是開(kāi)源且免費(fèi)商用的大語(yǔ)言模型，但通過(guò) Azure 等云服務(wù)方式使用 Llama 2 是否需要收取費(fèi)用則尚未清楚。
供應(yīng)商之一的亞馬遜發(fā)言人告訴彭博社，Amazon 不會(huì)收取訪問(wèn)該模型的費(fèi)用，但客戶(hù)需要為使用開(kāi)發(fā)工具包支付費(fèi)用。Meta 對(duì)此還沒(méi)做出回應(yīng)。
在微軟官方博客中，微軟表示 Llama 2 已經(jīng)針對(duì) Windows 進(jìn)行優(yōu)化，使其可以在 Windows 本地運(yùn)行。
這一舉措，有可能會(huì)讓 Windows 一舉成為開(kāi)發(fā)者打造個(gè)性化 AI 體驗(yàn)需求的最佳平臺(tái)，同時(shí)讓 AI 能夠用于 Linux 的 Windows 子系統(tǒng) (WSL)、Windows 終端、Microsoft Visual Studio 和 VS Code 等平臺(tái)上。
也就是說(shuō)，Meta 推出的 Llama 2 大語(yǔ)言模型可能會(huì)成為 OpenAI 的主要競(jìng)爭(zhēng)者。
但同一時(shí)間，微軟持有 OpenAI 49% 的股份，OpenAI 也依賴(lài) Azure 來(lái)提供大量算力以支撐其人工智能模型的運(yùn)營(yíng)，甚至 ChatGPT 目前聯(lián)網(wǎng)搜索的插件也是接入必應(yīng)的搜索引擎。
此前讓不溫不火的必應(yīng)訪問(wèn)量暴增的 New Bing 也是依靠 GPT-4 技術(shù)來(lái)開(kāi)發(fā)。可以說(shuō)，微軟在人工智能領(lǐng)域與 OpenAI 已經(jīng)有深入的合作。
也有評(píng)論認(rèn)為，兩者或許存在競(jìng)爭(zhēng)關(guān)系，但不影響微軟兩邊同時(shí)押注。閉源領(lǐng)域依靠 OpenAI 實(shí)現(xiàn) 2C 業(yè)務(wù)，進(jìn)行商業(yè)化。開(kāi)源領(lǐng)域與 Meta 合作，建立生態(tài)的同時(shí)還能威脅到其他的閉源大語(yǔ)言模型。
Meta 生成式人工智能團(tuán)隊(duì)副總裁艾哈邁德·阿爾·達(dá)勒 (Ahmad Al Dahle) 表示，微軟與 OpenAI 的合作與 Meta 沒(méi)有關(guān)系。
Meta 與微軟更進(jìn)一步的合作并不讓人意外。在 Meta 去年專(zhuān)注于開(kāi)發(fā)「元宇宙」時(shí)，Meta 就曾與微軟攜手把 Office 、Microsoft Teams 等效率工具兼容到 Quest 設(shè)備中。
微軟同時(shí)押注 Meta 和 OpenAI，或許是想要同時(shí)在開(kāi)源和閉源領(lǐng)域廣撒網(wǎng)，不錯(cuò)過(guò)每一種可能性。
Meta Llama 2 也探討了在移動(dòng)終端，特別是智能手機(jī)領(lǐng)域，本地運(yùn)營(yíng)的可能性。
高通在一份新聞稿中表示，高通正在和 Meta 合作優(yōu)化 Meta Llama 2 大語(yǔ)言模型直接在終端側(cè)的執(zhí)行。
高通計(jì)劃在 2024 年起，在搭載驍龍平臺(tái)的旗艦智能手機(jī)和 PC 上支持基于 Llama 2 的 AI 部署，賦能開(kāi)發(fā)者使用驍龍平臺(tái)的 AI 能力。
未來(lái) Llama 2 將可能搭載在 VR 頭顯、汽車(chē)座艙、物聯(lián)網(wǎng)終端等領(lǐng)域。高通認(rèn)為，終端側(cè)的 AI 部署能顯著降低開(kāi)發(fā)成本，提升用戶(hù)隱私保護(hù)、滿(mǎn)足用戶(hù)的安全偏好，增強(qiáng)應(yīng)用可靠性以及實(shí)現(xiàn)個(gè)性化的服務(wù)。
也許到明年的這個(gè)時(shí)候，你正在用著的驍龍芯片手機(jī)正在運(yùn)行 Llama 2 模型為你解決問(wèn)題也說(shuō)不定呢。