LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2110

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Video 顶会 Cloudreve LoRA 关于博主 Markdown NameSilo Baidu git-lfs 版权 Excel Anaconda Logo Food API 公式 QWEN 递归学习法 COCO TTS Agent RGB 第一性原理 FP32 LaTeX mmap 云服务器 Website Permission Use GGML Breakpoint 算法题 Knowledge Hotel Animate CTC HaggingFace JSON Pickle Data OpenAI ONNX GoogLeNet Disk 证件照 Ptyhon Docker Firewall Zip Plotly IndexTTS2 SPIE transformers Qwen2.5 强化学习 Qwen2 Qwen 多进程 Tiktoken ModelScope Jupyter Bin Mixtral uwsgi 签证 Google v0.dev Transformers SQLite Domain InvalidArgumentError Windows Augmentation FastAPI DeepSeek CEIR News 搞笑 Random Python CV GIT PDB Web Tensor llama.cpp GPT4 BF16 Ubuntu Git YOLO UNIX Paddle OCR Interview LLAMA Pillow Algorithm 音频 Heatmap NLTK Freesound FP16 Conda Plate TensorFlow 域名 Crawler scipy Image2Text 报税 tar SAM Distillation PDF Miniforge 图形思考法 DeepStream Github EXCEL LeetCode Sklearn 阿里云 Safetensors SVR TensorRT WebCrawler Nginx icon Bipartite Template NLP Password Michelin Statistics BeautifulSoup FP64 OpenCV Bert ms-swift RAR Datetime Shortcut Jetson v2ray Proxy Land Bitcoin CUDA Hungarian FP8 VGG-16 Quantize uWSGI Attention XML 图标 Paper Quantization Pandas UI Llama ChatGPT WAN 论文速读 LLM Base64 XGBoost Input CC Translation Review Pytorch logger CLAP PyTorch git Tracking Card Vmess 净利润 printf Vim Clash Django 飞书 BTC VPN ResNet-50 Color Numpy CSV C++ 财报 AI MD5 Claude Math Linux SQL GPTQ VSCode 多线程继承 torchinfo Hilton Rebuttal 论文 Search diffusers Magnet CAM TSV 腾讯云 PIP hf RL Diagram Dataset HuggingFace tqdm Gemma PyCharm Streamlit FlashAttention

站点统计

本站现有博文332篇,共被浏览875299次

本站已经建立2583天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2110

LLAMA Model Save with INT8 Format