LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2111

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Food Attention YOLO Quantize 图标 UI CEIR Transformers 图形思考法 v2ray ChatGPT Llama Agent Quantization Bitcoin Interview 飞书 Jupyter LeetCode Dataset CV BF16 音频 Bert GGML Clash Augmentation 论文 mmap Math Pillow ONNX OpenCV LoRA Ptyhon VPN Pytorch Excel BTC 净利润 WebCrawler Nginx tqdm RGB logger Magnet Diagram SAM Statistics TSV NLP Password Template TensorRT Baidu GPTQ 公式多进程顶会 Tiktoken transformers Conda FP16 LLM NameSilo ms-swift FlashAttention CLAP Gemma Mixtral HaggingFace Python Vim CAM torchinfo llama.cpp Linux Review 关于博主 Firewall PDB Permission PyCharm 继承第一性原理 Logo News InvalidArgumentError CTC Anaconda Michelin Domain Tracking Plate Base64 SPIE DeepStream RL LaTeX UNIX Random CUDA Safetensors EXCEL Breakpoint GPT4 强化学习 FP8 FastAPI SVR VSCode Pickle Datetime TensorFlow Streamlit IndexTTS2 Sklearn 签证 Search GoogLeNet Knowledge CC Django FP64 OpenAI Qwen2 腾讯云 Image2Text Shortcut Bin Bipartite GIT QWEN git Animate Markdown CSV Color Distillation 搞笑 diffusers tar PyTorch Plotly Qwen2.5 Website COCO Jetson FP32 Card git-lfs uwsgi hf Windows VGG-16 XML Use Docker 算法题 printf HuggingFace Hilton Cloudreve 报税 OCR DeepSeek Qwen Freesound uWSGI AI Disk Crawler MD5 PDF LLAMA C++ 云服务器 Data WAN JSON Web Numpy 递归学习法 XGBoost Video Paddle API ResNet-50 NLTK SQLite 论文速读 Translation Vmess Heatmap Input Hotel BeautifulSoup Github 版权 SQL Miniforge Zip Tensor 域名 Ubuntu Pandas Algorithm Claude Land Git scipy RAR 阿里云 Paper PIP Google Rebuttal ModelScope 证件照 v0.dev icon Proxy 多线程 Hungarian TTS 财报

站点统计

本站现有博文332篇,共被浏览875471次

本站已经建立2583天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2111

LLAMA Model Save with INT8 Format