91麻豆国产免费观看_国产成人精品一区二区免费_久久99免费视频_天天干天天操天天摸

首頁 > 知識技能 > 知識技能 > 性能與成本雙贏:實測戴爾AI工作站支撐企業大模型的本地部署與訓練

性能與成本雙贏:實測戴爾AI工作站支撐企業大模型的本地部署與訓練

發布時間:2024-10-12 22:05:29來源: 13041198719
談到大模型私有化部署,很多人會首先想到數據中心,以為動輒就得使用很多臺服務來支撐。一些中小企業或者應用部門,主要做知識庫和智能體方向的應用,模型大小基本在70B以內。只要搭配合理,用本地的專業工作站同樣可以訓練推理,算得上極具性價比的方案了。
 
隨著OpenAI o1-preview的發布,大模型已經越發成熟,距離走入企業生產應用已經很近了。但OpenAI提供訪問的次數非常有限,這給企業用戶的AI應用普及帶來了一定的費用焦慮和困擾。為了應對日益增長的訪問頻率需求,越來越多的企業用戶傾向于大模型的本地化部署。大模型本地部署可以極大地降低數據泄漏的風險,而且系統響應速度和實時性更強,在一些需要快速反饋的場景里優勢非常明顯,同時也能應對企業個性化需求。
 
通過在傳統數據中心上進行本地大模型部署的方法,會對IT設施帶來比較大的挑戰,因為從計算資源來說,很多企業的數據中心計算資源很緊張,而且擴展成本比較高,甚至有些中小企業還不具備搭建數據中心的能力。所幸的是,對于知識庫等企業級AI 應用來說,完全可以用高配的AI工作站來應對計算需求,以經濟高效的方式減輕對數據中心計算資源的壓力,從而降低云服務的成本支出。
 
這次我們選用的是Dell Precision 7960 Tower,搭載了4張「NVIDIA RTX 5880 Ada 」顯卡,每張顯卡顯存48GB,相當于在1臺工作站里就能最多有192GB顯存,完全可以部署Llama3.1 70B模型。
 
 
Dell Precision 7960 Tower
 
70B模型擁有700億參數量,在語言理解和生成方面具有顯著優勢,已經能夠滿足常見的企業級AI應用,比如知識庫應用、對話問答等,同時多任務處理能力也很強,可以支持企業在一個統一的平臺上運行多種AI 應用。同時,開源大模型70B的開放和靈活使得它在市場上具有廣泛的適用性,大大降低企業的使用成本。而且量化后的70B模型僅占70G的顯存,非常適合部署在工作站上,降低計算資源方面的成本。
 
購置機器前我們做了相對完整的測試和驗證,包括推理、訓練和噪音測試,下面給大家分享一些數據。
 
一、測試環境
硬件配置:
硬件平臺:Dell Precision 7960 Tower
 
CPU: Intel(R) Xeon(R) w5-3433
 
內存:64G DDR5 * 8
 
GPU: NVIDIA RTX 5880 ada * 4
 
軟件平臺環境:
操作系統:ubuntu22.04
 
Driver Version: 550.107.02
 
CUDA: 12.1
 
軟件包:conda python3.10 torch2.4 vllm0.6.1
 
測試模型:
這次我們分別測試了單GPU、雙GPU以及四卡GPU的表現情況。并在不同的模型下進行測試,模型參數分別為8B/13B/32B/70B,具體模型名稱如下:
 
Meta-Llama-3.1-8B-Instruct
 
Baichuan2-13B-Chat
 
Qwen1.5-32B-Chat
 
Meta-Llama-3.1-70B-Instruct
 
說明:接下來的推理測試,會使用FP16或FP8格式進行測試。在模型名稱的后綴,如果有FP8字樣,則使用的是FP8格式,否則使用的是FP16格式。
 
FP8是NVIDIA、Arm、Intel聯合推出的8位浮點數據格式,用于加速深度學習訓練和推理。相對于常用的半精度FP16而言,FP8在不損失多少精度的情況下,將顯存的占用大小減少了一半,特別適合于將大模型部署于工作站上。FP8訓練利用E5M2/E4M3格式,具備與FP16相當的動態范圍,適用于反向傳播與前向傳播。FP8訓練在相同加速平臺上的峰值性能顯著超越FP16/BF16,并且模型參數越大,訓練加速效果越好,且其與16-bits訓練在收斂性和下游任務表現上無顯著差異。
 
推理框架:
vllm推理引擎來進行測試,為最大程度利用GPU顯存,將其GPU utilization參數設置為0.99。
 
述語說明:
Batch size: 推理或訓練時輸入的數據批量數量,為1表示單個輸入,例如一段文字,為2表明同時進行兩段文字的生成,以此類推。它代表的是用戶并發數量。
 
token/s:推理或訓練的速度,每秒生成的數量。一個token是代表一個單詞或詞根,如果是中文的話,可能是一個字或一個詞。
 
AI 應用場景測試列表

 

知識技能更多>>

寧德時代參投新公司,哪吒汽車轉經銷商,極氪007GT等新車型來襲 預計2026年發布 新款保時捷Cayenne Coupe諜照曝光 豐田皇冠威爾法墨金版上市,91.9萬起售,配置升級能否打動你? 2025款奧迪Q2L降價上市,配置微調,售價17.18-21萬元 智能網聯與快速充電技術齊亮相2025武漢新能源汽車技術及充電樁展會揭示新能源車新趨勢 領克900首發:SPA Evo架構旗艦SUV,能否撼動大型SUV市場? 法拉第未來FX首款原型車諜照曝光,網友:魏牌高山換了個模具? 搭載高通驍龍數字底盤 零跑B10或售13萬起 等等再出手 四款國產SUV來襲 比亞迪唐L、領克900領銜 推薦奢享版 2025款名爵MG7購車指南 大眾牽手小鵬,合力打造超20000個自營充電終端 嵐圖汽車首發LFC超級后驅技術,既防眩暈,又抗甩尾! 這三款車企車型為何遇冷? 增長29%!蘇州金龍2024年銷售額超百億 從燃油到新能源,這個品牌為何從沒有能力天花板? 2025誰是下一家盈利的新勢力汽車車企? 730馬力!Brabus爆改AMG CLC 63 SE 零百加速3.3秒 速騰換殼 捷達VA7量產下線 預售12萬元起 22.48萬起 北京BJ40魔核電驅版開啟預售 配增程系統/綜合續航1200km 彰顯中國品牌實力 比亞迪海豹拿下日本年度風云車大獎 降價6000美元 2025款美版豐田bZ4X上市 配置小幅升級 有望明年上半年上市 奧迪Q6L e-tron投產 A6 e-tron隨后跟進 2.9秒破百 BRABUS爆改AMG GT 63 Coupe 動力大幅升級 最高降價8.5萬元 Jeep牧馬人4xe價格調整 49.99萬元起 名爵MG ES5昆明亮相,首批車主交車,最低僅售9.99萬元起! 海馬汽車攜多項專利亮相2024海南國際知識產權交易大會 余承東攜手“四界”領導人亮相央視,揭秘鴻蒙智行背后的故事 當地售價916.9萬起!極石ROX 01正式亮相俄羅斯市場 Momenta獲德國TÜV萊茵ISO 26262 ASIL D功能安全產品認證 蓋世汽車榮獲“AUTOSAR中國中心年度特別貢獻獎”