LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1962

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Bipartite Docker Knowledge CTC OCR Template FP32 JSON LLM Web 阿里云搞笑 Mixtral CC CLAP Pickle Safetensors Claude Password Transformers Github CEIR Attention scipy OpenAI DeepSeek Dataset GPTQ FP8 版权 Animate WebCrawler Shortcut 关于博主证件照 Vmess UNIX Augmentation Video git-lfs Color Llama torchinfo GoogLeNet Bert Website InvalidArgumentError NLP diffusers Vim GPT4 Land Distillation Streamlit Plate ChatGPT v0.dev PyTorch Quantize 强化学习 AI Qwen Heatmap MD5 FP64 图标 SVR Windows Conda Translation Input SPIE PDF Baidu Card Crawler LoRA CSV Paper 签证 BF16 Clash COCO HuggingFace News API 域名 Git ResNet-50 Pillow 报税 hf Freesound BeautifulSoup v2ray printf Sklearn Bitcoin Pytorch NameSilo Numpy Gemma Food FlashAttention 算法题 Base64 Jupyter Diagram uWSGI Tensor Logo RGB Hilton ModelScope Jetson Google WAN Plotly Search Michelin uwsgi Nginx 图形思考法 Qwen2 顶会 XML 云服务器 GIT Paddle Pandas tar ONNX UI NLTK Interview Linux 递归学习法 IndexTTS2 LeetCode logger Tracking PIP 第一性原理 Review GGML PDB Proxy Image2Text Excel Miniforge YOLO 财报 VGG-16 VPN 继承 FP16 DeepStream CUDA Data Ptyhon 飞书 Cloudreve 音频腾讯云 OpenCV git HaggingFace Breakpoint VSCode Bin SQL Datetime Python PyCharm C++ Math Markdown Magnet Firewall Qwen2.5 LLAMA Quantization Statistics mmap SQLite Ubuntu TensorRT EXCEL QWEN TensorFlow FastAPI Disk SAM Anaconda Agent 净利润 TSV Random 公式 TTS BTC Zip tqdm Domain CAM 多线程多进程 Algorithm icon Django LaTeX transformers XGBoost Hotel Rebuttal Use Tiktoken CV Permission RAR llama.cpp Hungarian

站点统计

本站现有博文323篇,共被浏览795289次

本站已经建立2493天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1962

LLAMA Model Save with INT8 Format