LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2182

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

VPN Hotel Hungarian 版权 Excel Website Animate 公式 Claude Michelin MD5 Conda Tracking C++ 财报 Git Paddle Card Zip OpenCV FP8 Use BF16 Freesound tqdm Jetson Linux 签证 Miniforge 关于博主 Windows Clash Llama git-lfs DeepSeek llama.cpp 强化学习 Distillation RAR FastAPI RGB CUDA mmap SPIE Pickle Breakpoint 域名 FP32 BTC HuggingFace Docker ms-swift TSV Magnet 继承 CAM LLM UNIX hf 图标 GIT XML Math Algorithm NameSilo Google 净利润 Attention Augmentation Markdown SVR QWEN Quantize printf Password Python Qwen2.5 WAN HaggingFace AI transformers BeautifulSoup 多进程 Sklearn logger Baidu Statistics Land ModelScope Random uwsgi GPTQ Heatmap News PDF GGML CEIR InvalidArgumentError UI SQL FlashAttention TensorRT XGBoost Domain CC Vmess Bipartite VGG-16 CSV 搞笑 Dataset Disk Tensor RL ResNet-50 v0.dev JSON 证件照报税论文速读 Django Paper Pytorch Ubuntu 音频 Numpy EXCEL Pandas TTS Jupyter NLP 算法题 CV Diagram CLAP COCO Review Base64 Vim 论文 Crawler Video Interview Cloudreve Data PyCharm git Bert Agent PyTorch Bin YOLO Translation FP16 diffusers PDB 第一性原理 tar 飞书 WebCrawler ChatGPT Knowledge Bitcoin FP64 Qwen2 scipy Image2Text 多线程 LLAMA SQLite 云服务器 IndexTTS2 Nginx LaTeX 递归学习法 Logo Color GoogLeNet CTC 顶会 GPT4 Transformers Pillow Ptyhon Template icon Tiktoken Datetime OCR TensorFlow Gemma Shortcut Web Plotly Input 阿里云 v2ray LeetCode Hilton Rebuttal Firewall uWSGI Qwen Food ONNX LoRA Streamlit torchinfo 腾讯云 API Proxy PIP NLTK Github OpenAI Quantization Permission Search 图形思考法 SAM Anaconda DeepStream Mixtral VSCode Safetensors Plate

站点统计

本站现有博文333篇,共被浏览922128次

本站已经建立2628天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2182

LLAMA Model Save with INT8 Format