盡管早期主要是OpenAI的GPT-4等封閉模型占據主導地位，但多位企業領導人在接受記者采訪時表示，開源模型的質量已經縮小了差距，并且在企業中的增長速度至少與封閉模型持平。
這與今年早些時候的情況有所不同。當時我曾報道，盡管開源的前景毋庸置疑，但它的普及速度相對較慢，然而Meta向記者表示，其公開發布的模型下載量已經超過4億次，速度是去年的10倍，使用量在2024年5月至7月間翻了一番，這一采用熱潮反映出多種因素的共同作用——從技術上的平衡到信任方面的考量——正在推動先進企業向開源替代方案靠攏。
Groq的CEO Jonathan Ross直言道：“開源始終是贏家。” Groq是一家提供專用AI處理基礎設施的公司，客戶大量使用開源模型。他補充說：“大多數人都非常擔心被廠商鎖定。”
即便是投入40億美元于封閉源廠商Anthropic的AWS——這是AWS史上最大的投資——也承認了這一趨勢。AWS AI和基礎設施副總裁Baskar Sridharan表示：“我們確實在過去幾個月里看到了對公共模型的更大需求。”AWS通過其Bedrock服務提供盡可能多的開放源和封閉源模型，以滿足客戶的不同需求。
大型應用公司平臺轉型加速了開源模型的普及
在初創公司或個人開發者中，OpenAI等封閉源模型依然領先，但在企業領域，情況卻大不相同。不幸的是，市場上沒有第三方渠道追蹤企業級開源和封閉LLM的競爭情況，部分原因在于這一信息難以公開。API公司Kong在7月對700多位用戶進行了調查，但由于受訪者中包括了較小的公司，因此傾向于選擇操作簡單的OpenAI(這一報告還包含其他AI服務如Bedrock，但Bedrock并非LLM，而是一個提供多種LLM(包括開源模型)的服務——類似于“混合”的對比)。
但從實證角度來看，證據正在積累。例如，各大商業應用提供商都在積極整合開源LLM，徹底改變了企業應用這些模型的方式。上個月，Salesforce引領了最新一波浪潮，推出了Agentforce，承認其客戶關系管理客戶需要更靈活的AI選項，該平臺允許企業在Salesforce應用中接入任意LLM，使開源模型的使用便捷度媲美封閉模型。Salesforce旗下的Slack也迅速跟進。
Oracle也在上個月擴展了其企業套件中對最新Llama模型的支持，包括ERP、人力資源和供應鏈等大型企業應用程序，另一位商業應用巨頭SAP宣布通過其Joule AI助手提供全面的開源LLM支持，而ServiceNow在客戶服務和IT支持等工作流自動化領域同時支持開源和封閉LLM集成。
Oracle的AI和數據管理服務執行副總裁Greg Pavlik表示：“我認為開源模型最終會勝出。”他指出，尤其是在垂直領域中，企業客戶可以修改模型并進行實驗，這種能力結合成本優勢非常具有吸引力。
復雜的“開源”模型生態系統
雖然Meta的Llama已經嶄露頭角，但開源LLM生態系統演變為一個細致的市場，不同的開源方式各有特點。例如，Meta的Llama在市場上已有超過65000個派生模型。企業IT領導者需要在完全開放的權重和訓練數據以及帶有商業許可的混合模型之間進行權衡和選擇。
例如，Mistral AI通過提供高性能模型并提供靈活的許可條款，成功吸引了需要不同支持級別和定制化的企業，而Cohere則采用了另一種模式，提供開源模型權重，但需支付許可費——這種模式因其透明性和商業支持的平衡性而受到部分企業的青睞。
這種開源模型生態系統的復雜性已成為成熟企業的優勢。企業可以選擇符合其具體需求的模型——無論是需要對模型權重進行全面控制以實現高度定制，還是支持開源權重以便快速部署。領導者表示，檢查和修改這些模型的能力提供了完全封閉替代方案無法實現的控制水平。此外，使用開源模型往往需要一支技術嫻熟的團隊來對模型進行微調和高效管理，這也是擁有更多資源的企業在使用開源模型時具備優勢的另一個原因。
Meta對Llama的快速開發展示了企業為何青睞開源模型的靈活性。AT&T使用基于Llama的模型進行客戶服務自動化，DoorDash用于幫助解答其軟件工程師的問題，而Spotify則用于內容推薦。高盛在受高度監管的金融服務應用中部署了這些模型。其他Llama用戶還包括Niantic、野村、Shopify、Zoom、Accenture、Infosys、KPMG、富國銀行、IBM以及格萊美獎。
Meta積極培養渠道合作伙伴。目前所有主要的云提供商都支持Llama模型。Meta產品副總裁Ragavan Srinivasan表示：“企業客戶對Llama的興趣和部署量在急劇增長，特別是在Llama 3.1和3.2發布之后。尤其是大型的405B模型獲得了非常強勁的關注，因為成熟的企業客戶看到了能夠在多種模型之間切換的價值。”他提到，客戶可以使用蒸餾服務從Llama 405B創建衍生模型，以根據自己的數據進行微調。蒸餾是一種在保留核心能力的同時創建更小、更快模型的過程。
事實上，Meta憑借其其他模型組合很好地覆蓋了市場，包括Llama 90B模型，可用于大多數提示任務，而1B和3B模型則小到可以在設備上使用。今天，Meta還發布了這些小型模型的“量化”版本。量化是一種使模型更小的過程，從而減少功耗并加快處理速度。此次最新發布的版本在訓練過程中進行了量化，使其比其他業內的量化替代品更高效——在生成標記方面速度提升四倍，功耗減少到原來的四分之一。
技術能力推動復雜部署
開源和封閉模型之間的技術差距實際上已消失，但各自的優勢仍然明顯，成熟的企業正在戰略性地利用這些優勢，這帶來了更細致的部署方式，企業根據特定任務需求組合不同模型。
Salesforce的AI執行副總裁Jayesh Govindarajan解釋道：“大型的專有模型在高級推理和分解模糊任務方面非常出色。”但對于那些推理要求較低、以語言創作為主的任務，例如撰寫電子郵件、創建營銷內容、公司研究，“開源模型已經達到同等水平，甚至在某些方面更好。”他還指出，即使是高推理任務也可以分解為多個子任務，其中很多最終成為以語言為主的任務，而開源模型在這方面表現出色。
Intuit，這家擁有會計軟件QuickBooks和稅務軟件TurboTax的公司，在幾年前就開始了其LLM之旅，成為財富500強公司中非常早的行動者。其實施過程展示了成熟的應用策略。對于QuickBooks中的交易分類等面向客戶的應用，Intuit發現其基于Llama 3微調的LLM比封閉替代品表現出更高的準確性。Intuit的首席數據官Ashok Srivastava解釋說：“我們發現可以使用一些開源模型，將其調整到較小規模，并用于特定領域的需求。”這些模型“體積小得多，延遲低且精度不減，甚至更高。”
銀行業也展示了從封閉LLM向開源LLM的遷移。服務于澳大利亞和新西蘭的ANZ銀行最初使用OpenAI進行快速實驗，但在轉向實際應用部署時，放棄了OpenAI，改為基于Llama模型的微調模型，以適應特定的金融應用場景，并滿足對穩定性和數據主權的需求，該銀行發布了一篇博客，詳細介紹了這一過程，強調了Llama的多版本提供的靈活性、靈活的托管選項、版本控制和便捷的回滾功能。據我們了解，美國排名前三的一家銀行最近也放棄了OpenAI，轉向開源解決方案。
正是這種想要從OpenAI轉向開源的需求促使一些公司推出了“切換工具包”，例如PostgresML的產品，使企業能夠在幾分鐘內從OpenAI無縫轉向開源。
基礎設施的演變消除了部署障礙
開源LLM的部署路徑已大大簡化。Meta的Srinivasan概述了企業采用的三條主要路徑：
1. 云合作伙伴集成：主要的云提供商現在提供了簡化的開源模型部署方案，具有內置的安全性和擴展功能。
2. 自定義技術棧開發：具備技術能力的公司可以在本地或云端構建自己的基礎設施，保持對AI技術棧的完全控制——Meta也通過所謂的Llama Stack提供幫助。
3. API訪問：對于追求簡便的公司，現在多家供應商提供開源模型的API訪問，使其使用方式如同封閉模型一樣簡單。Groq、Fireworks和Hugging Face就是例子，它們都能提供推理API、微調API以及所有類似于專有供應商的功能。
安全性和控制優勢顯現
開源方法在模型安全性和控制方面也意外地成為了領先者，特別適合那些需要對其AI系統進行嚴格監管的企業。Groq的Ross指出：“Meta在安全性方面非常謹慎，因為他們讓模型面向公眾。”他說，“他們實際上更為小心。相較之下，其他公司則不太透明，測試的難度更大。”
Meta對安全性的重視也反映在其組織結構中。Ross表示，根據幾個月前與Meta的對話，負責Llama安全性和合規性的團隊相對于工程團隊規模較大。(Meta發言人表示公司不對人員信息發表評論)。9月發布的Llama 3.2推出了Llama Guard Vision，進一步豐富了7月發布的安全工具。這些工具可以：
• 檢測潛在問題的文本和圖像輸入，防止其進入模型
• 監控并過濾輸出結果，以確保安全和合規
企業AI提供商在此基礎安全功能之上進行了擴展。例如，AWS的Bedrock服務允許企業在不同模型中建立一致的安全保護機制。AWS的Sridharan解釋道：“一旦客戶設置了這些政策，就可以在不同的公共模型之間切換，而無需重新編寫應用程序。”這種標準化對管理多個AI應用程序的企業至關重要。
作為企業級云數據提供商的Databricks和Snowflake也認可Llama的安全性：“Llama模型保持了‘最高的安全和可靠性標準’，”Neural Networks的CTO Hanlin Tang表示。
Intuit的實施展示了企業如何在安全措施上進行額外的疊加，該公司的GenSRF(安全、風險和欺詐評估)系統，作為其“GenOS”操作系統的一部分，監控約100個信任和安全維度。Intuit的Srivastava解釋道：“我們有一個委員會負責審查LLM，確保其標準與公司原則一致。”不過，他指出，對開源模型的審查與公司對封閉源模型的審查沒有不同。
通過合成訓練解決數據來源問題
關于LLM的一個關鍵問題在于其訓練數據的來源。出版商和其他創作者提起了許多訴訟，指控LLM公司侵犯版權。大多數LLM公司，無論是開源還是封閉的，都沒有完全透明地披露其數據來源。由于大部分數據來自公開網絡，因此可能存在高度的偏見并包含個人信息。
許多封閉源公司為用戶提供了“賠償保障”，即在使用其LLM時對法律風險或訴訟提供保護。開源提供商通常不提供此類賠償。不過，最近關于數據來源的擔憂似乎有所緩解。通過微調可以對模型進行調整和過濾，Meta等公司還創建了更多對齊和其他安全措施以緩解這些擔憂。數據來源問題對于一些企業，特別是那些受嚴格監管的行業(如銀行業或醫療保健)仍然是一個問題，但一些專家建議，通過合成訓練數據，這些數據來源問題可能很快會得到解決。
Salesforce的Govindarajan解釋道：“想象一下，如果我可以采取公共的專有數據，通過一些算法方法進行修改，以創建反映真實世界的合成數據，那么我其實不需要訪問所有那種互聯網數據……數據來源問題就消失了。”
Meta已接受這一趨勢，并在Llama 3.2的1B和3B模型中加入了合成數據訓練。
區域模式揭示了由成本驅動的采用趨勢
開源LLM的采用顯示出明顯的區域和行業特定模式。Oracle的Pavlik觀察到：“在北美，封閉源模型在生產中的使用量肯定超過了開源模型。”他接著表示：“而在拉丁美洲，我們看到Llama模型在生產場景中的使用量大幅上升，這幾乎是相反的。”
導致這些地區差異的原因尚不明確，但可能反映出在成本和基礎設施方面的不同優先級。Pavlik描述了一個全球范圍內發生的情景：“一些企業用戶開始使用GPT-4進行一些原型開發……收到第一份賬單后，他們會想，‘天啊，太貴了!’這比他們預期的要昂貴得多，于是他們開始尋找替代方案。”
市場動態指向商業化趨勢
LLM部署的經濟性正迅速向開源模型傾斜。風投家Marc Andreessen指出：“過去一年里，生成LLM輸出的每個token的成本已經下降了100倍。”他質疑封閉源模型提供商是否能保持盈利，這樣的“價格戰”對那些為封閉模型開發籌集數十億美元的公司構成了壓力，而那些通過核心業務支持開源開發的組織則更具優勢。
Intuit的Srivastava表示：“我們知道這些模型的成本將趨近于零。”他警告稱，過度投入這些模型的公司可能很快會面臨后果，這種趨勢特別有利于Meta，因為Meta可以提供免費模型，同時從其平臺和產品的應用中獲取價值。
Groq的Ross認為，LLM競爭的一個很好的比喻是操作系統之爭。“Linux可能是LLM的最佳類比。”雖然Windows主導了消費級計算，但開源的Linux卻在企業系統和工業計算中占據主導地位。Intuit的Srivastava也看到類似的模式：“我們一次又一次地看到開源操作系統與非開源操作系統的競爭。瀏覽器之爭也是如此，”當時開源的Chromium瀏覽器擊敗了封閉源的模型。
SAP全球AI主管Walter Sun也贊同這一觀點：“我認為在競爭中，開源的大型語言模型與封閉源模型一樣有效，這給予了人們更多的靈活性。”他補充道：“如果你有特定的需求和應用場景……開源是實現的最佳途徑。”
Groq的Ross和其他一些觀察家認為，Meta可能有能力投入1000億美元來訓練其Llama模型，這一數額超過了所有專有模型提供商的總和。他表示，Meta有動力這樣做，因為它是LLM的最大受益者之一，需要它們來提升其核心業務的智能水平，為Instagram、Facebook和WhatsApp上的用戶提供AI服務。Meta表示，其AI每周接觸1.85億活躍用戶，這樣的規模幾乎無出其右。
這表明開源LLM不會面臨其他開源項目中經常出現的可持續性挑戰。Meta CEO Mark Zuckerberg在7月的開源AI支持信中宣布：“從明年開始，我們預計未來的Llama模型將成為行業中最先進的模型。”他說，“但即便在此之前，Llama已經在開放性、可修改性和成本效率方面處于領先地位。”
專用模型豐富了生態系統
專用行業解決方案的出現進一步加強了開源LLM生態系統。例如，IBM推出了其Granite模型，完全開源，并專為金融和法律應用訓練而成。IBM的GenAI全球管理合伙人Matt Candy表示：“Granite模型是我們的‘殺手級應用’。”他說，“這些是唯一能完全解釋訓練和調優數據集來源的模型。如果你身處一個受監管的行業，并將你的企業數據與該模型結合使用，你需要非常清楚其內容。”
IBM的業務受益于開源，包括將其Red Hat Enterprise Linux操作系統打包進混合云平臺中，包含Granite模型的使用以及InstructLab——一種微調和增強LLM的方法。其AI業務已初見成效。Candy表示：“看看股價吧——歷史新高。”
信任日益傾向于開源
信任正在轉向企業可以擁有和控制的模型。Inflection AI的首席運營官Ted Shelton解釋了封閉模型的根本挑戰。Inflection AI是一家為企業提供許可源代碼和完整應用棧的公司，作為封閉和開源模型的替代方案。他指出：“無論是OpenAI、Anthropic、Gemini還是Microsoft，它們都愿意為企業客戶提供所謂的私有計算環境，然而，這種計算環境仍由模型提供商的員工管理，客戶無法訪問模型本身。”這是因為LLM的所有者希望保護源代碼、模型權重和超參數訓練細節等專有元素，而這些信息對于直接訪問模型的客戶無法隱藏。由于大量代碼是用Python編寫的，而不是編譯語言，因此它們依然暴露在外。
這種情況對于嚴肅對待AI部署的企業而言不可接受。Shelton指出：“一旦你允許‘OpenAI的員工將真正控制和管理模型，他們將接觸到公司的所有數據’，這就成為了數據泄漏的一個風險點。”他補充道，“那些真正關心數據安全的公司會說，‘不，我們不會這么做。我們會實際運行自己的模型，而唯一的選擇就是開源。’”
未來的方向
雖然封閉源模型在較簡單的用例中仍然保持市場領先地位，但成熟的企業越來越意識到未來的競爭力依賴于對其AI基礎設施的更多控制。正如Salesforce的Govindarajan所觀察到的：“一旦你看到價值，并開始將其擴展到所有用戶和客戶身上，就會開始提出一些有趣的問題。是否可以提高效率?是否可以實現成本效率?是否可以提高速度?”
這些問題的答案正促使企業轉向開源模型，即便這一轉變并非總是那么順利。Inflection AI的Shelton說：“我確實認為會有一大批公司努力嘗試讓開源發揮作用，因為他們別無選擇。你要么屈服，接受幾家大型科技公司控制GenAI，要么接受Mark Zuckerberg拋出的救命稻草，然后說：‘好吧，讓我們一起努力吧。’”
