完美世界辰东小说下载,完美世界辰东,豆豆小说阅读网

AIGC時(shí)代，基于云原生 MLOps 構(gòu)建屬于你的大模型（下）

2023-06-21

為了滿足企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中對(duì)更新迭代生產(chǎn)力工具的需求，靈雀云近日推出了Alauda MLOps 解決方案，幫助企業(yè)快速落地AI技術(shù)、實(shí)現(xiàn)智能化應(yīng)用和服務(wù)。

AIGC大模型已成為企業(yè)創(chuàng)新引擎

隨著ChatGPT的爆火，越來(lái)越多的人考慮使用AI來(lái)提升我們?nèi)粘９ぷ鞯男屎唾|(zhì)量，通過(guò)對(duì)話協(xié)助生成需要的文本數(shù)據(jù)。無(wú)論是將數(shù)據(jù)匯總成表格，還是根據(jù)提示編寫文章，或者進(jìn)行專業(yè)知識(shí)問(wèn)答，都可以通過(guò)合適的prompt工程，讓ChatGPT給出最佳的回答，甚至可以取代一部分人類的工作。

2 (5).png

此外，AI 生成的內(nèi)容不僅限于文本數(shù)據(jù)，還包括 AI 繪畫(stable diffusion)，樂(lè)曲創(chuàng)作(Amper Music)，電影生成(Runway)等工具，這些都是 AIGC( AI Generated Content) 的范疇，它們也在不斷刷新許多行業(yè)的生產(chǎn)力。

3 (3).png

Alauda MLOps助力企業(yè)快速構(gòu)建屬于自己的大模型

然而，企業(yè)需要一個(gè)自己擁有并管控的本地部署的模型來(lái)完成上述工作，因?yàn)檫@樣可以保證：

· 安全因素：在進(jìn)行對(duì)話時(shí)，企業(yè)不希望把企業(yè)內(nèi)部數(shù)據(jù)發(fā)送到互聯(lián)網(wǎng)上的 AI 模型；

· 功能定制：希望使用自己的數(shù)據(jù)，增強(qiáng)模型在特定場(chǎng)景的能力（fine tunning）；

· 內(nèi)容審查：根據(jù)法律法規(guī)要求，對(duì)輸入、輸出內(nèi)容進(jìn)行二次過(guò)濾。

那么，在這樣的場(chǎng)景下，企業(yè)如何快速搭建、定制這樣的模型呢？答案是使用云原生 MLOps + 公開模型！

根據(jù)OpenAI公司的介紹，其在訓(xùn)練ChatGPT / GPT-4等超大規(guī)模模型時(shí)，使用了Azure + MPI的大規(guī)模 GPU 計(jì)算集群。在私有云原生環(huán)境，使用MLOps工具鏈，企業(yè)同樣可以擁有可以橫向擴(kuò)展的大規(guī)模機(jī)器學(xué)習(xí)算力。在使用MLOps平臺(tái)時(shí)，可以獲得如下的提升：

· 更適合大規(guī)模預(yù)訓(xùn)練模型的訓(xùn)練和預(yù)測(cè)流程；

· 降低對(duì)大模型的應(yīng)用門檻：內(nèi)置使用預(yù)訓(xùn)練大模型教程流程，一步上手；

· 完善的常規(guī)機(jī)器學(xué)習(xí)，深度學(xué)習(xí)平臺(tái)；

· 使用流水線+調(diào)度器統(tǒng)一編排大規(guī)模分布式訓(xùn)練任務(wù)，支持自定義各種分布式訓(xùn)練方法和框架，包括 DDP、Pipeline、ZERo、FSDP；

· 流程自定義：根據(jù)實(shí)際業(yè)務(wù)，選擇 MLOps 工具鏈條中的子集，構(gòu)建合適的業(yè)務(wù)流程；

· 完善的MLOps平臺(tái)：提供順暢、完整的MLOps工具鏈。

接下來(lái)，我們以Alauda MLOps平臺(tái)為例，介紹如何在此之上基于LLaMa預(yù)訓(xùn)練模型的chat模型（lora）來(lái)構(gòu)建屬于你的“ChatGPT”，定制并啟動(dòng)一個(gè)LLM對(duì)話模型。

此外，使用其他HuggingFace預(yù)訓(xùn)練模型，也可以快速構(gòu)建自己的模型，如Vicuna、 MPT等模型，請(qǐng)感興趣的讀者自行嘗試。

· 獲取方式 ·

企業(yè)版MLOps：

http://www.jyshangpin.cn/open/detail/id/740.html

開源版MLOps：

https://github.com/alauda/kubeflow-chart

如何在云原生MLOps下完成大規(guī)模預(yù)chat模型的定制和部署？

首先，我們需要啟動(dòng)一個(gè)Notebook環(huán)境，并為其分配必要的GPU資源（實(shí)測(cè)中，訓(xùn)練 alpaca 7b 半精度模型需要4塊 K80，或一塊 4090，以及足夠的顯存大?。?/span>

4 (2).png

然后，我們需要從github和hugging face準(zhǔn)備對(duì)應(yīng)的代碼和模型文件。

· 下載項(xiàng)目：https://github.com/tloen/alpaca-lora，然后拖拽上傳到Notebook文件導(dǎo)航欄。也可以在Notebook內(nèi)使用命令行執(zhí)行g(shù)it clone下載；

· 下載語(yǔ)言模型預(yù)訓(xùn)練 weights：https://huggingface.co/decapoda-research/llama-7b-hf，并拖拽上傳到Notebook中。也可以在Notebook中使用 git lfs clone下載模型；

· 下載lora模型預(yù)訓(xùn)練 weights: https://huggingface.co/tloen/alpaca-lora-7b，并拖拽上傳到Notebook中。也可以在Notebook中使用git lfs clone下載模型。

這里上傳較大的模型會(huì)有較長(zhǎng)的等待時(shí)間，如果和huggingface網(wǎng)絡(luò)連接良好，可以選擇在Notebook內(nèi)直接從網(wǎng)絡(luò)下載。

接著，我們先使用剛才下載的預(yù)訓(xùn)練模型，啟動(dòng)一個(gè)AI對(duì)話web應(yīng)用驗(yàn)證效果，掛載Notebook使用的磁盤以讀取這些模型文件：

然后我們就可以使用以上yaml配置或者原生應(yīng)用創(chuàng)建表單方式創(chuàng)建預(yù)測(cè)服務(wù)。注意推理服務(wù)只需要使用1塊 K80 GPU 即可啟動(dòng)。

這里我們使用的鏡像使用如下Dockerfile構(gòu)建：

7.5.png

等待推理服務(wù)啟動(dòng)完成，我們就可以在瀏覽器中訪問(wèn)，并和這個(gè)模型開始做各種對(duì)話的嘗試。由于alpaca-lora模型對(duì)中文支持的不夠完善，盡管可以輸入中文，但輸出大多仍為英文。然而，該模型在一定程度上已經(jīng)展現(xiàn)出了較好的能力。

最后，我們可以使用自己標(biāo)注的數(shù)據(jù)，對(duì)模型進(jìn)行優(yōu)化和定制（finetunning）。根據(jù)alpaca-lora項(xiàng)目的說(shuō)明，參考如下訓(xùn)練數(shù)據(jù)的格式，增加finetune的訓(xùn)練數(shù)據(jù)，然后開始訓(xùn)練。此時(shí)模型訓(xùn)練只會(huì)更新模型中的少量參數(shù)，基礎(chǔ)的預(yù)訓(xùn)練語(yǔ)言模型（LLM）參數(shù)不會(huì)被更新，以保留LLM強(qiáng)大的底座能力。

10 (1).png

以上為在Notebook中直接訓(xùn)練，如果訓(xùn)練任務(wù)有逐步復(fù)雜的流水線，可以將訓(xùn)練python程序定制成如下流水線并提交集群運(yùn)行。如果任務(wù)是多機(jī)多卡+模型并行訓(xùn)練框架，也可以通過(guò)配置訓(xùn)練節(jié)點(diǎn)的個(gè)數(shù)，并在python代碼中根據(jù)框架實(shí)現(xiàn)對(duì)應(yīng)分布式計(jì)算代碼即可，不需要根據(jù) MLOps流水線調(diào)度做任何代碼改造。

以上為在Notebook中直接訓(xùn)練，最多只能使用一臺(tái)物理節(jié)點(diǎn)上的所有GPU卡。如果訓(xùn)練任務(wù)有跨物理節(jié)點(diǎn)分布式訓(xùn)練的需求，可以將訓(xùn)練的Python程序構(gòu)建成如下流水線并提交集群運(yùn)行。

注意MLOps支持直接在任務(wù)流水線中構(gòu)建分布式訓(xùn)練步驟，不同于Kubeflow Training Operator的模式需要用戶定義在Kubernetes上訓(xùn)練的TFJob, PytorchJob的YAML配置文件，拖拽之后的Python程序作為一個(gè)工作流的步驟，可以單獨(dú)設(shè)置這個(gè)節(jié)點(diǎn)的并行度，即流水線的ParallelFor元語(yǔ)。這樣不論是數(shù)據(jù)并行(DDP)，流水線并行(PipelineParallel)，F(xiàn)SDP，還是其他分布式訓(xùn)練方法，以及使用任意框架如 transformers, accelerate 完成的訓(xùn)練，都可以在流水線內(nèi)定制。

10.1.png

此外，在MLOps平臺(tái)構(gòu)建的分布式訓(xùn)練流水線，可以選擇使用Volcano調(diào)度器完成GPU和Pod的調(diào)度，防止多個(gè)任務(wù)相互占用資源導(dǎo)致的資源浪費(fèi)。

這樣，我們?cè)谕献ython代碼之后，需要配置這個(gè)任務(wù)的并行度，每個(gè)節(jié)點(diǎn)需要的CPU，內(nèi)存，顯卡的資源，運(yùn)行時(shí)的鏡像，然后點(diǎn)擊界面上的 “提交運(yùn)行” 按鈕，就可以啟動(dòng)這個(gè)任務(wù)，并檢查任務(wù)的運(yùn)行狀態(tài)。