火山引擎給大模型造大底座！MiniMax、智譜AI等已登陸

火山引擎才剛交出大模型趨勢答卷:

火山方舟，一個大模型服務平臺。

它將中國多個明星大模型放在平臺上，如MiniMax、智譜AI、復旦MOSS、百川智能、IDEA、瀾舟科技、出門問問等。

不僅為大模型玩家供給訓練、推理、評測、精調等功能與服務，后續還供應運營、應用插件等工具，逐漸支撐大模型生態。

總之，就是要為大模型，打造一個超強底座。

而透過火山方舟，火山引擎應該看待大模型趨勢?想做哪些事?日前也有了更明確的答案。

火山方舟是什么?

簡單理解，各種大模型平臺都好比自營商鋪，向行業用戶出售大模型服務。

然則火山方舟想做的不是自家專賣店，而是一個集合了多家大模型旗艦店的商城。

在這個商城里，行業用戶允許快速觸及到業界優質的大模型，基于火山引擎的能力對模型精調推理，降低大模型使用門檻。

大模型玩家能基于火山引擎搭建穩健的大模型基礎設施，提高自家模型業務能力，觸及到更加直奔和廣泛的行業需求，加速迭代升級。

火山方舟算作連接二者的平臺，則負責提供充足完善的開發工具、豐盛算力、安全互信的平臺以及公司服務等，讓雙方的合作更加絲滑。

重點功能包括6個方面，貫穿了大模型采購使用的全過程:

第一是模型廣場。

這可以理解為模型供給方和使用方初步了解的一個平臺，大模型廠商能在此進行模型創建、上傳、部署等操作，下游用戶能看到模型效果并快捷體驗。

第二是模型推理。

當用戶選定好模型后，火山引擎可提供安全互信的推理方案，既保障模型提供方的知識產權安全，同時也維護使用者的數據報導安全。用戶能直奔使用已部署的在線服務，或將將精調模型部署為在線任務。

第三是模型精調。

對于大多數行業用戶來說，通用大模型只是基礎能力，想要使用更優質的大模型服務也許都需要基于自家數據進行持續訓練或精調。

火山方舟能供給極簡精調工序，只需兩步即可一鍵精調:選擇基礎模型→上傳標注數據集。對于有復雜需求的場景，還能一步步設置高級參數、驗證集、測驗集等更充裕的功能。

第四是模型評測。

生成式大模型現在還很難形成一個業界公認的benchmark，應用場景、數據等因素都會效率它的發現。但對于行業用戶來說，明晰不同大模型的優劣勢是購買服務前至關關鍵的一步。

所以火山方舟同步推出了評測工具，支持用戶基于本身數據、系統化地感知模型顯示情況，并且給出詳細的測試報告，為后續做決策供應數據基礎。

要知道，B端的使用場景也是“千人千面”的，企業要用自身的評測數據試一試，才能給出符合自身要求的無誤評估。此外，基礎模型的升級，新技術新模型的顯出，還將持續很長一段時間。企業需要不斷測驗對比、緊跟發展。

第五是運營干預。

通過供應運營干預工具，用戶允許快速設置相關規則，這樣在模型早已增進使用后，無需精調模型即可干預模型輸出結果。

第六是應用插件。

此刻大模型接入插件功能是大勢所趨，能一步步發揮模型能力。將來在火山方舟上，能看到實時報道獲?。ㄆ匠Ｕf的“聯網”）*、私域文檔問答召回、Prompt補全與構建等。

透過以上重點功能，不難看出火山引擎對于當前云計算趨勢的理解——盡沒準加速大模型應用落地。

而且在具體實行路徑上，火山引擎還給出了一種別樣的打法，并且形成了鮮明的本身特點。

火山引擎智能算法負責人吳迪給出了三個主要詞來總結:

開放、加速、相信。

所以火山方舟有何不同?

開放、加速、確信，三個首要詞一一對應，其實代表火山方舟的本身定位、算力和安全。

首先來看自身定位上，火山方舟是個開放、中立的平臺，企業客戶允許根據實際效果自由選擇模型。

對于云廠商而言，想方設法做好MaaS服務，核心之一必需是模型層要夠充沛、夠強大。因為這意味著能在更充實的應用場景中落地。

此前不少人將這一問題的解決，局限在了云廠商自家大模型能力抬高上。

隨著亞馬遜云推出大模型平臺Bedrock，一次接入Stability AI、Anthropic等多家大模型能力，給行業內開啟了一種新范式。

這樣一來，平臺能直行引入業內最優異的大模型，充沛自己能力和應用場景。

火山方舟的路徑亦是如此，納入更多大模型也讓它具備更高的靈活性。

吳迪介紹，這樣一來用戶或者根據不同任務需求“貨比三家”，接觸到更多行業先進大模型。

經過提供統一的workflow，火山方舟抑或兌現模型之間的靈活插拔。在多模型轉變下，工作流基本不改變，讓各個模型實現本身擅長的任務，加速大模型的開發構建應用。

其次，火山引擎重點關注了大模型玩家們焦急的算力問題。主打一個夠用、實惠且穩定。

火山引擎的海量資源池，或將滿足如今大模型訓練推理的需求。

而通過加速訓練和推理，能讓算力的性價比更高。

NVIDIA開發與技術部亞太區總經理李曦鵬表態，若是設法硬件充分發揮性能，需要軟硬件協同造型。

硬件方面，NVIDIA針對生成式AI的不同硬件配置與火山引擎底層平臺深度混合。

在軟件層面也提出了多種優化方法，雙方一起做了很多開源宣布，以圖像預處理算子庫CV-CUDA為例。它們能高效地運行在GPU上，算子速度達到OpenCV（運行在CPU）的百倍左右。倘或用CV-CUDA算作后端替換OpenCV和TorchVision，整個推理的吞吐量能提高至原來的二十多倍，算子輸入結果上CV-CUDA與OpenCV完全對齊。

此外，火山引擎還推出了Lego算子優化。

這一框架允許根據模型子圖的結構，采用火山引擎自研高性能算子，實行更高的加速比。

在推理場景下，使用Lego算子優化，可以將基于Stable Diffusion模型的端到端推理速度提高至66.14it/s，是PyTorch推理速度的3.47倍，運行時GPU顯存占用量降低60%。在訓練場景下，在128張A100上跑15天，模型即可訓練完成，比當時最好的開源版本快40%。

而在穩定性方面，火山引擎也和英偉達做了更底層的互助。

李曦鵬介紹，當前大模型訓練往往需要幾千、上萬張卡同時啟動，如若其中某臺機器發現故障，則會導致整個訓練流程被效率。因此訓練工序中的穩定性相當緊要，它將直奔用意開發效率。

在這方面，火山引擎和英偉達基于內部海量嘗試，最終達成了必然模型的規模、網絡結構等，必需合適的checkpointing頻率，在保障訓練連續性的同時又讓機器抑或穩定運行。

具體能力也已有實際案例驗證。

大模型玩家MiniMax基于火山引擎，創意了超大規模的大模型訓練平臺，高效支撐著三個模態大模型平時數千卡以上的常態化穩定訓練。在并行訓練上達成了99.9%以上的可用性。除了訓練以外，MiniMax也同步自研了超大規模的推理平臺，目前持有近萬卡級別的GPU算力池，穩定支撐著通常上億次的大模型推理調用。MiniMax和火山引擎一起為大模型訓練搭建了高性能計算集群，一起致力于抬高大模型訓練的穩定性，保證了超千卡訓練的任務穩定運行數周以上。

穩健的大模型基礎設施讓MiniMax從零開始自主完整地跑通了大模型與用戶交互的迭代閉環，完成從月至周級別的大模型迭代速度，和指數級的用戶交互增長。MiniMax面向公司級的大模型解決方案現在已接入數百家企業客戶，打通辦公互助、智能硬件、教育、醫療、客服等十余個行業場景。

然后是能力輸出上，火山引擎提出訓推一體以及統一workflow。

統一workflow的能力不僅在于模型的靈活插拔，它還集成了火山引擎對大模型能力的理解。

比如應該做自動評估?pipeline怎么定?該做多少精調?這些問題都是需要通過大量開發工作后，才能輸出的經驗。經過這些細節上的保駕護航，企業用戶落地大模型的用意和成功率都會有明顯提升。

另一邊，火山方舟也重點提出了訓推一體的理念。

吳迪表示，基于對行業的偵察，他認準未來大模型領域的頭部及腰部廠商都會使用“1+n模式”，也就是自研或深度互助一個主力大模型、同時調用多個外部模型，對訓練和推理都有需求。

加之火山引擎始終認為深度學習、機器學習是一件統一、緊湊且純粹的事情，所以他們判決訓推一體模式會是發展趨勢，并已在火山方舟上推出。

而且訓推一體化后，相仿能為企業節省算力。

最終再來看安全方面，這也是火山方舟著重強調的部分。

吳迪表態，在大模型時代，信賴問題至關首要。

大模型提供方不祈盼自己辛苦訓練出的模型被人拷貝走，這屬于嚴重知識產權;下游客戶不祈望本身的數據在推理和精調工序中不被泄露，敏感數據只有自己可見。

在這二者之間，便會形成一個信賴的gap。十分是刻下大模型服務中的合作方眾多，構筑篤信墻就顯得至關重大。而火山引擎視為云平臺，會通過互信計算框架，基于不同客戶的安全和隱私保護訴求，供給了涵蓋安全沙箱、可信硬件以及聯邦學習方案，來保證大家在互信的基礎上推理、精調等。

以上三個方面，將火山引擎在云集市中的差異勾勒清晰。

從中也可看出，火山引擎的技術積累、行業經驗和趨勢理解，都為它入局大模型平臺提供了堅實的保障。

那么，為什么火山引擎的答卷是火山方舟?

為什么是火山方舟?

直奔原因來自于集市需求。

大模型趨勢轟轟烈烈演進幾個月，幾乎觸及到了各行各業，相應的需求也隨之暴漲。

但對于行業用戶來說，怎么觸及市面上最先進的模型?怎樣選擇最適合本身的模型?如何確定最終的大模型服務方案?這些問題對公司自己的技術理解程度、開發水平都提出了要求。

視為提供側，大模型玩家也急于在熱潮下快速推進自家業務發展。這不僅是一場技術競賽，同時也是一場商業競速賽，誰能更快觸及更多用戶，就會在集市中更快站住腳跟。在這種情況下，平臺的觸達能力一定大于廠商自己。

以及底層硬件廠商，相似也迫切需要大模型底座。

NVIDIA開發與技術部亞太區總經理李曦鵬表態，英偉達開發每一款新產品，都是以workload來驅動，所有開發都是要解決真實存在的問題。

舉例隨著深度學習的興起，用Tensor Core加速矩陣乘法計算，就是在原有框架下針對workload的重點模塊做影響提高。

再比如英偉達去年宣布的Hopper架構，造型遠早于宣布時間。當時GPT-3剛才剛問世，大模型趨勢遠沒有到來，英偉達是做了大宗前瞻性的商討。而怎樣做出這種前瞻性的思量，就是要從實際應用的基礎結構中去發現問題。

回到現時來看，對于將來AI的趨勢是否朝著GPT趨勢發展，李曦鵬表態此刻也不能既定，但是行業中的實際需求抑或推動英偉達做出更有針對性的硬件和軟件特性升級。

怎樣更快、更正確駕馭住這些需求?仿照要依托平臺連接大模型玩家。

所以，像火山方舟這樣承載著大模型供給方、使用方以及底層硬件廠商的平臺，是行業迫切需求的。

而更深層的原因，還來自火山引擎本身。

吳迪很必定地說，火山方舟的使命，是加速大模型、大算力應用落地。

為什么要加速?兩條增長曲線可以給出答案。

在以時間為橫軸、GPU需求量為縱軸的坐標系里，首先顯露當下的第一條增長曲線:模型訓練曲線。

眼前剛剛興起的大模型正如雨后春筍般冒出，訓練需求量飆升。但隨著通用大模型超市趨于飽和，這條增長曲線也會慢慢延緩。

與此同時，還有一條增長曲線展現:推理需求曲線（模型應用曲線）。

而且它將在短期內呈指數增長趨勢，在2023年左右和訓練需求曲線相交，并在往后反超。

也就是說，商場上的推理需求量，最后一定會大于訓練需求量。因為推理需求多大，代表了應用場景有多充足。

假使應用場景的充實度不夠高，導致推理需求曲線沒有快速升起，訓練需求曲線相似也會受到作用滑落。

一旦顯現這一局面，將意味著眼前諸多投身大模型浪潮的創業者和公司，馬上面臨相當艱難的局面。

吳迪表態，火山引擎深信大模型趨勢不是一次簡單的浪潮，它將是新技術時代的一扇窗。萬一想方設法加速這個時代更快到來，那么就要盡可能縮短推理需求超過訓練需求的時間軸。

也就是加速大模型的應用落地。

火山方舟同時連接下游應用層和上游模型層、硬件層，加速企業用戶使用大模型，在營收上更快去回報大模型領域創業者，以此形成一個加速正向循環。

而這也是為什么火山引擎要將自家大模型平臺取名為“方舟”。

吳迪說，在想名字的時候，他們期待能有一個詞來形容開放包容、生機勃勃、充滿希望的意境。

最后在幾十個詞中特定了方舟。源于它能代表兩方面寓意。

第一，承載著很多人的事業和夢想，聯合駛向一個成功的遠方，而且是一個具象的詞;

第二，火山引擎信賴整個大模型、大算力領域，需要眾多合作伙伴在模型訓練、內容安全、硬件優化等方面配合努力;

眼前，方舟帶著火山引擎的技術積累、行業理解以及愉悅愿景，鄭重啟航。

未來大模型浪潮即將怎樣翻涌，依然未知數。

但載著眾多國產大模型玩家、攜手英偉達的火山方舟，一定會帶著火山引擎駛向新的節點。

（舉報）