今天，百川智能正式發布70億參數開源中英文大模型——baichuan-7B，一舉拿下多個評測榜單最佳成績。
時隔兩個月，王小川組建的「百川智能」在6月15日正式推出首個70億參數中英文預訓練大模型——baichuan-7B。baichuan-7B不僅在C-Eval、AGIEval和Gaokao中文權威評測榜單上，以顯著優勢全面超過了ChatGLM-6B等其他大模型，并且在MMLU英文權威評測榜單上，大幅領先LLaMA-7B。目前baichuan-7B大模型已在Hugging Face、Github以及Model Scope平臺發布。
Hugging Face：https://huggingface.co/baichuan-inc/baichuan-7B
Github：https://github.com/baichuan-inc/baichuan-7B
Model Scope：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary
多個中文評估基準拿下7B最佳
為了驗證模型的各項能力，baichuan-7B在C-Eval、AGIEval和Gaokao三個最具影響力的中文評估基準進行了綜合評估，并且均獲得了優異成績，它已經成為同等參數規模下中文表現最優秀的原生預訓練模型。
在AGIEval的評測里，baichuan-7B綜合評分達到34.4分，遠超LLaMA-7B、Falcon-7B、Bloom-7B以及ChatGLM-6B等其他開源模型。在中文C-EVAL的評測中，baichuan-7B的綜合評分達到了42.8分，超過了ChatGLM-6B的38.9分，甚至比某些參數規模更大的模型還要出色。在Gaokao評測中，baichuan-7B的綜合評分達到了36.2分，顯著領先于同參數規模的各種其他預訓練模型。
https://cevalbenchmark.com/static/leaderboard_zh.html（2023-06-15）
MMLU基準大幅領先LLaMA-7B
baichuan-7B不僅在中文方面表現優異，在英文上表現同樣亮眼。在MMLU的評測中baichuan-7B綜合評分高達42.5分，大幅領先英文開源預訓練模型LLaMA-7B的34.2分以及中文開源模型ChatGLM-6B的36.9分。
MMLU由加州大學伯克利分校等知名高校共同打造，集合了科學、工程、數學、人文、社會科學等領域的57個科目，主要目標是對模型的英文跨學科專業能力進行深入測試。其內容廣泛，從初級水平一直涵蓋到高級專業水平。
萬億數據、4K上下文、高效穩定訓練
訓練語料對大模型的訓練結果至關重要。在構建預訓練語料庫方面，百川智能以高質量中文語料為基礎，同時融合了優質的英文數據。具體來說，原始數據包括自行抓取的海量中英文互聯網數據和部分開源的中英文數據，以及大量高質量知識性數據。
在數據質量方面，通過質量模型對數據進行打分，對原始數據集進行篇章級和句子級的精確篩選。在內容多樣性方面，利用自研超大規模局部敏感哈希聚類系統和語義聚類系統，對數據進行了多層次多粒度的聚類，最終構建了包含1.2萬億token的兼顧質量和多樣性的預訓練數據。相較于其他同參數規模的開源中文預訓練模型，數據量提高了超過50%。在萬億優質中英文數據的基礎上，為了更好地提升訓練效率，baichuan-7B深度整合了模型算子來加快計算流程，并針對任務負載和集群配置，自適應優化了模型并行策略以及重計算策略。通過高效的訓練過程調度通信，baichuan-7B成功地實現了計算與通信的高效重疊，進而達到了超線性的訓練加速，在千卡集群上訓練吞吐達到180+Tflops的業界領先水平。同時，已有的開源模型窗口長度在2K以內，對于一些長文本建模任務，如需要引入外部知識做搜索增強的場景，更長的處理長度有助于模型在訓練與推理階段捕獲越多的上下文信息，2K的處理長度存在比較大的制約。
經過優化的分詞算法baichuan-7B基于高效的attention算子優化實現了萬級別超長動態窗口的擴張能力，本次開源的預訓練模型開放了4K上下文窗口，使模型應用場景更加廣泛。此外，baichuan-7B還對模型訓練流程進行了深度優化，采用了更科學且穩定的訓練流程和超參數選擇，使得 baichuan-7B模型的收斂速度大大提升。與同等參數規模的模型相比，baichuan-7B在困惑度（PPL）和訓練損失（training loss）等關鍵性能指標上表現更加優秀。
開源免費可商用，清北已搶先體驗
秉持開源精神，baichuan-7B代碼采用Apache-2.0協議，模型權重采用了免費商用協議，只需進行簡單登記即可免費商用。baichuan-7B此次開源的內容十分豐富，包含了推理代碼、INT4量化實現、微調代碼，以及預訓練模型的權重。其中，微調代碼方便用戶對模型進行調整和優化；推理代碼與INT4量化實現則有助于開發者低成本地進行模型的部署和應用；預訓練模型權重開源后，用戶則可以直接使用預訓練模型進行各種實驗研究。據了解，北京大學和清華大學兩所頂尖大學已率先使用baichuan-7B模型推進相關研究工作，并計劃在未來與百川智能深入合作，共同推動baichuan-7B模型的應用和發展。清華大學互聯網司法研究院院長、計算機系教授劉奕群認為， baichuan-7B模型在中文上的效果表現十分出色，它免費商用的開源方式展現出開放的態度，不僅貢獻社區，也推動技術發展。團隊計劃基于baichuan-7B模型開展司法人工智能領域的相關研究。北京大學人工智能研究院助理教授楊耀東認為，baichuan-7B模型的開源將對于中文基礎語言模型的生態建設及學術研究產生重要推動作用，同時他也表示將持續關注相關領域探索，并且在中文大語言模型的安全和對齊上進行進一步深入研究。百川智能CEO王小川表示：「本次開源模型的發布是百川智能成立2個月后的第一個里程碑，對百川智能而言是一個良好的開局。baichuan-7B模型，不僅能為中國的AGI事業添磚加瓦，也為世界大模型開源社區貢獻了新的力量。」
技術團隊專訪
Q：baichuan-7B如何處理幻覺問題，未來該如何提高結果正確性？
A：大模型在可見的未來還不能徹底解決幻覺問題，一方面通過強化學習來讓模型知道自己不知道，有效緩解幻覺，更重要的是需要靠「搜索增強」引入外部知識來逐步解決幻覺問題。
Q：baichuan-7B能帶來哪些商用價值？
A：baichuan-7B作為在多個榜單評測效果成績最佳的7B開源可商用大模型，填補了市場上缺乏優質的針對中文優化的7B大模型的空白，是開發者理想的7B大模型底座。同時在商用價值方面，能夠在例如文本生成，自動化寫作，數據分析，知識問答，中英翻譯，個性化交互和專業領域個人小助手，比如醫療領域，給用戶帶來巨大的價值。
Q：baichuan-7B在評測榜的成績達到最初的訓練模型預期了嗎？
A：打榜并不是我們的目的，我們相信好的數據和算法能力，評測自然會有好的結果，這次baichuan-7B在多個最具影響力的評測中的優異表現也驗證了百川的這個理念。
轉載自公眾號“新智元”
