6 月 30 日，百度文心大模型 4.5 系列模型正式開(kāi)源，并在國(guó)內(nèi)領(lǐng)先的開(kāi)源平臺(tái) GitCode 首發(fā)上線，為廣大企業(yè)、開(kāi)發(fā)者提供真正可用、好用、可落地的大模型解決方案。
現(xiàn)在，全球開(kāi)發(fā)者、企業(yè)、研究機(jī)構(gòu)等均可免費(fèi)在 GitCode 平臺(tái) 直接訪問(wèn)并下載體驗(yàn)文心大模型 4.5 開(kāi)源系列，支持部署、微調(diào)等各種不同場(chǎng)景的使用需求。
歡迎下載體驗(yàn)，開(kāi)啟你的文心大模型之旅
文心大模型 4.5 系列開(kāi)源模型
https://ai.gitcode.com/theme/1939325484087291906
針對(duì) MoE 架構(gòu)，百度提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu)，通過(guò)跨模態(tài)參數(shù)共享機(jī)制實(shí)現(xiàn)模態(tài)間知識(shí)融合，同時(shí)為各單一模態(tài)保留專(zhuān)用參數(shù)空間。此架構(gòu)非常適用于從大語(yǔ)言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練范式，在保持甚至提升文本任務(wù)性能的基礎(chǔ)上，顯著增強(qiáng)多模態(tài)理解能力。
文心 4.5 系列模型均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語(yǔ)言模型的預(yù)訓(xùn)練中，模型 FLOPs 利用率（MFU）達(dá)到 47%。實(shí)驗(yàn)結(jié)果顯示，該系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到 SOTA 水平，在指令遵循、世界知識(shí)記憶、視覺(jué)理解和多模態(tài)推理任務(wù)上效果尤為突出。模型權(quán)重按照 Apache 2.0 協(xié)議開(kāi)源，支持開(kāi)展學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用。此外，基于飛槳提供開(kāi)源的產(chǎn)業(yè)級(jí)開(kāi)發(fā)套件，廣泛兼容多種芯片，降低后訓(xùn)練和部署門(mén)檻。
GitCode 平臺(tái)：開(kāi)源創(chuàng)新的理想土壤
GitCode 平臺(tái)自 2023 年 9 月 22 日上線以來(lái)發(fā)展迅猛，已匯聚了超過(guò) 620 萬(wàn)的注冊(cè)用戶(hù)，月活用戶(hù)達(dá) 120 萬(wàn)，已經(jīng)成為頗具影響力的開(kāi)源社區(qū)，龐大的用戶(hù)基礎(chǔ)和活躍的社區(qū)氛圍為文心大模型的推廣和應(yīng)用提供了廣闊的舞臺(tái)。
文心大模型與 GitCode 平臺(tái)的深度融合，正催生一場(chǎng)超越技術(shù)層面的范式革命。這種融合不僅改變了傳統(tǒng)的 AI 開(kāi)發(fā)模式，還促進(jìn)了推動(dòng)中國(guó)開(kāi)源生態(tài)的繁榮和創(chuàng)新，推動(dòng)了 AI 產(chǎn)業(yè)生態(tài)的繁榮和可持續(xù)發(fā)展。可以預(yù)見(jiàn)，未來(lái)將有更多基于文心大模型的創(chuàng)新應(yīng)用涌現(xiàn)出來(lái)。
文心已至 未來(lái)正來(lái)
GitCode × CSDN 文心大模型實(shí)戰(zhàn)測(cè)評(píng)與社區(qū)探討系列活動(dòng)火熱進(jìn)行中！深度解讀，讓開(kāi)發(fā)者輕松玩轉(zhuǎn)文心大模型，歡迎關(guān)注。
