Llama3中文聊天項目全能資源庫，4090單卡直接跑！

UCloud小助手發(fā)布于2024-05-16 09:45 / 993人閱讀

Llama3 中文聊天項目綜合資源庫，該文檔集合了與Lama3 模型相關的各種中文資料，包括微調版本、有趣的權重、訓練、推理、評測和部署的教程視頻與文檔。

1. 多版本支持與創(chuàng)新：該倉庫提供了多個版本的Lama3 模型，包括基于不同技術和偏好的微調版本，如直接中文SFT版、Instruct偏好強化學習版、趣味版等。此外，還有Phi3模型中文資料倉庫的鏈接，和性能超越了8b版本的Llama3。

2. 部署與使用：項目提供了網(wǎng)頁部署的代碼和教程，使用戶可以輕松地在網(wǎng)頁上使用這些模型。部署教程包括如何在Streamlit上部署這些模型進行在線體驗。

3. 訓練與推理資源：除了已經(jīng)提供的模型，倉庫還包括多種訓練和推理的資源，如訓練教程、推理腳本、優(yōu)質訓練數(shù)據(jù)集的整理等。

4. 擴展和增強：項目還在計劃中包括增加更多的擴展如角色扮演增強模型、長上下文支持等，旨在提升模型的功能和適應更多復雜場景的能力。

可用Chat版模型整理：lama3相關對話版本優(yōu)質權重整理

shareAl系列:

1.base預訓練+直接中文SFT版

訓練數(shù)據(jù):https://modelscope.cn/datasets/baicai003/Llama3-Chinese-dataset/summary

V1版

0penCSG滿速下載:https://opencsg.com/models/shareAl/llama3-Chinese-chat-8b

WiseModel滿速下載:https://wisemodel.cn/models/shareAl/llama3-Chinese-chat-8b

V2版

modelscope：https://modelscope.cn/models/baicai003/Llama3-Chinese_v2/summary

2.Instruct+繼續(xù)中文SFT版

modelscope模型下載:https://modelscope.cn/models/baicai003/llama-3-8b-Instruct-chinese_v2/summary

3.Instruct+強化學習中文版

DPO 表情趣味版(10分鐘左右可訓練好，對原多語言instruct版最小化性能損傷，實測超過大多中文大量訓練版)
Modelscope：下載:https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DPO-beta0.5/summary
偏好學習數(shù)據(jù)集:DP0-zh-en-emoji
Base預訓練+海量中文優(yōu)質數(shù)據(jù)增量預訓練:正在進行中
70b 中文版:計劃中。

4.下面幾個版本因對話模版格式不同暫時不支持網(wǎng)頁部署推理，需要用fastchat體驗

Base+ 中文SFT: https://modelscope.cn/models/zhuangxialie/Llama3_Chinese_Sft/files
Base+ ORPO: https://modelscope.cn/models/zhuangxialie/Llama3-Chinese-ORPO/summary 偏愛長對話
Instruct + DPO: https://www.modelscope.cn/models/zhuangxialie/Llama3-Chinese-DPO/summary 偏愛長對話

5.llama3 Pro(加block版，推薦網(wǎng)友積極在該方案上做更多嘗試、探索)

linjh1118網(wǎng)友(第一個ORPO偏好對齊+擴展2*blocks):htps://github.com/linjh1118/Llama3-Chinese-0RPO

6.llama3 Moe增強版

cooper12121-lama3-8x8b-MoE: https://github.com/cooper12121/llama3-8x8b-MoE

7.長上下文版本

聯(lián)通微調版v2(中文，28k上下文):https://huggingface.co/UnicomLLM/Unichat-llama3-Chinese-8B-28K

262k上下文(英文):https://huggingface.co/gradientai/Llama-3-8B-nstruct-262k
262k上下文(中文):計劃中
無限上下文版本:計劃中，參考:https://medium.com/neoxia/lm-infini-attention-with-linear-complexity-3209b87a77c3

8.其他普通中文微調版本

聯(lián)通微調版(SFT，網(wǎng)友嘗試反饋幻覺多):
https://www.modelscope.cn/models/UnicomAl/Unichat-llama3-Chinese/summary-
Openbuddy微調版(SFT，據(jù)說不錯):
https://www.modelscope.cn/models/0penBuddy/openbuddy-llama3-8b-v21.1-8k/summary
zhichen微調版(ORPO方法，應該是第一個orpo):https://github.com/seanzhang-zhichen/llama3-chinese
shenzhi-wang微調版(ORPO方法，說是第一個orpo):https:/huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat
Rookie微調版(SFT):https://github.com/Rookie1019/Llama-3-8B-nstruct-Chinese-hit-sz klc lab
微調版本:https://github.com/zyg18181818/Llama-3-Chinese

9.破解安全限制系列(暫時只支持英文)

Unholy:https://huggingface.co/Undi95/Llama-3-Unholy-8B
neural-chat: https://hf-mirror.com/Locutusque/llama-3-neural-chat-v1-8b
dolphin: https://huggingface.co/cognitivecomputations/dolphin-2.9-llama3-8b

10.v-llama3 多模態(tài)圖文版 (英文，支持視覺問答)

Bunny-Llama-3-8B-V:https://wisemodel.cn/models/BAAl/Bunny-Llama-3-8B-V
llava-llama-3-8b: https://huggingface.co/xtuner/llava-llama-3-8b-v1_1

11.agent工具能力增強版

ModelScope Chinese Agent版V1(中文，可根據(jù)要求幫你選擇工具)

https://modelscope.cn/models/swift/Llama3-Chinese-8B-nstruct-Agent-v1/summary

基于EmoLLM心理數(shù)據(jù)微調的Llama3-8B-Instruct 模型

EmoLLM 3.0 在線體驗鏈接
EmoLLM Llama3心理咨詢室V3.0 https://st-app-center-006861-9746
ilroxvg.openxlab.space/
或者前往0penXLab EmoLLM3.0-Llama3啟動

https://openxlab.org.cn/apps/detai/chg0901/EmoLLM-Llama3-8B-nstruct3.0

模型鏈接

**OpenXLab**https://openxlab.org.cn/models/detai/chg0901/EmoLLM-Llama3-8B.-Instruct3.0

ModelScope

https://modelscope.cn/models/chg0901/EmoLLM-Llama3-8B-Instruct3.0/summary

新增Phi3模型中文資料倉庫(性能超越llama3 8b，以小搏大)，正在適配中

https://github.com/CrazyBoyM/phi3-Chinese

新增趣味版，數(shù)據(jù)集已開源:

https://modelscope.cn/models/baicai003/Llama3-Chinese-instruct-DP0-beta0.5/summary

模型測評

可用訓練工具整理

下面的庫都是相當好用的，代碼封裝簡潔又清晰，如果你也想微調個自己的llama3 中文定制版，不要錯過

Firefly-https://github.com/yangjianxin1/Firefly
螢火蟲-https://github.com/yangjianxin1/Firefly
LLaMA-Factory-https://github.com/hiyouga/LLaMA-Factory
unsloth-https://github.com/unslothai/unsloth
Xtuner-https://github.com/SmartFlowAl/Llama3-XTuner-CN
SWlFT-https://github.com/modelscope/swift
附高性能NVIDIA RTX 40 系列云服務器購買：

http://m.hztianpu.com/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

GPU算力平臺 GPU云服務器如何跑php項目能直接使用中文注冊域名嗎 gec 直接顯示中文的網(wǎng)址怎么在云服務器上跑深度學習項目

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://m.hztianpu.com/yun/131094.html

基于unsloth的DeepSeek-R1動態(tài)量化版本部署

DeepSeek-R1-671b動態(tài)量化版，由unsloth.ai發(fā)布，推薦使用多卡進行部署，具體操作如下。本鏡像還附帶32b的無限制版蒸餾模型，使用open-webui和ollama以及l(fā)lama.cpp進行部署，內置所有環(huán)境，即拉即用。第一步：登錄「優(yōu)云智算」算力共享平臺并進入「鏡像社區(qū)」，新用戶免費體驗10小時4090地址：https://www.compshare.cn/?ytag=seo...

UCloud小助手 2025-02-08 10:20 評論0 收藏0
Llama3來襲！如何通過4090GPU云主機快速部署？

2024年4月18日，Meta AI正式宣布推出開源大模型Llama3，這標志著開源大型語言模型（LLM）領域的又一重大突破。Llama3以其卓越的性能和廣泛的應用前景，或將推動人工智能技術快速邁進新紀元。為方便AI應用企業(yè)及個人AI開發(fā)者快速體驗Llama3的超高性能，近期優(yōu)刻得GPU云主機上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開發(fā)環(huán)境。為客戶提供開...

UCloud小助手 2024-04-28 17:46 評論0 收藏0
Llama3-8中文微調完成！更好地幫助中文寫作、編程和數(shù)學

Llama3-8B-Chinese-Chat 是基于 Meta-Llama-3-8B-Instruct 模型通過 ORPO進行微調的中文聊天模型。與原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型顯著減少了中文問題英文回答"和混合中英文回答的問題。此外，相較于原模型，新模型在回答中大量減少了表情符號的使用，使得回應更加正式。與 Llama-3-8B-nsturc...

UCloud小助手 2024-04-28 17:57 評論0 收藏0
模型領域GPU性能排名

圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關性能圖表。同時根據(jù)訓練、推理能力由高到低做了排名。我們可以看到，H100 GPU的8位性能與16位性能的優(yōu)化與其他GPU存在巨大差距。針對大模型訓練來說，H100和A100有絕對的優(yōu)勢首先，從架構角度來看，A100采用了NVIDIA的Ampere架構，而H100則是基于Hopper架構。Ampere架構以其高效的圖形處理性能和多任務處理能力而...

UCloud小助手 2024-04-28 17:38 評論0 收藏0
照片+音頻=視頻，超實用項目源碼已開放，單卡4090部署！

項目簡介AniTalker是一個開源項目，它利用靜態(tài)照片和音頻文件來創(chuàng)造動態(tài)的面部說話視頻。AniTalker采用了一種通用的運動表示方法。這種創(chuàng)新的表示方法有效地捕捉了廣泛的面部動態(tài)，包括微妙的表情和頭部動作。AniTalker通過兩種自監(jiān)督學習策略增強了運動描述：第一種策略是通過同一身份內的源幀重建目標視頻幀來學習微妙的運動表示；第二種策略是使用度量學習開發(fā)身份編碼器，同時積極減少身份和運動編...

UCloud小助手 2024-05-22 15:34 評論0 收藏0