Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs| 东毅居士

Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs

作者：XD / 发表： 2023年12月7日 00:45 / 更新： 2023年12月7日 00:57 / 科研学习 / 阅读量：2079

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

Paper: SmoothQuant on arXiv
Code: SmoothQuant on GitHub
Organization: MIT

Highlight:

Hyper-parameter for Outliers: Implements a novel approach using a specific hyper-parameter to manage outliers effectively during the quantization process.

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/229

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Quick Review: AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

下一篇
Setting Up v2rayNG with Tencent Cloud Silicon Valley Lighthouse

Category

标签云

Nginx PIP OpenCV llama.cpp 强化学习 ModelScope Vmess 递归学习法 AI LLAMA GPTQ WebCrawler Attention 公式 Logo Github 证件照 NLTK Qwen2 腾讯云 Bipartite LaTeX Diagram Docker WAN 飞书 uWSGI Domain Paddle Statistics icon Quantize QWEN 图形思考法 Paper 搞笑 NameSilo tar Pillow uwsgi DeepSeek Cloudreve Magnet OCR GIT Hungarian LeetCode CUDA Michelin CTC NLP PyTorch FP32 Jetson Permission 论文速读 Bin HaggingFace Algorithm UI Rebuttal Animate TensorRT Freesound ResNet-50 FP16 XGBoost 版权 Color transformers Search TSV hf Distillation scipy Gemma Django TTS COCO 图标 Hotel DeepStream FlashAttention GGML 第一性原理 VGG-16 Bert Ubuntu 多线程 RGB Video FP8 API Crawler Web Math Proxy Claude Streamlit CC 音频 BF16 CV diffusers git-lfs 签证算法题 YOLO v0.dev Shortcut 论文 Use Hilton Agent 顶会 Augmentation News Tracking Datetime ONNX Food TensorFlow Interview BeautifulSoup HuggingFace Translation 云服务器 v2ray BTC CEIR PyCharm JSON Firewall Safetensors Pandas Pickle git 阿里云 CAM Qwen Google Ptyhon logger ChatGPT Mixtral Input 财报 Anaconda Vim UNIX Tensor Disk Qwen2.5 FastAPI Markdown Data PDB Git PDF Review Zip Python Numpy SAM Miniforge CLAP GoogLeNet RAR Excel SQL Dataset Card Heatmap XML CSV SPIE printf VPN Jupyter Baidu 报税 Website LoRA MD5 Breakpoint IndexTTS2 Sklearn Template 继承 Quantization 关于博主 SQLite torchinfo Image2Text Clash VSCode mmap Random Base64 域名 Plotly GPT4 FP64 LLM Knowledge Pytorch 净利润 Tiktoken Password C++ OpenAI Transformers Windows InvalidArgumentError SVR Plate Conda tqdm EXCEL 多进程 Llama Land Linux Bitcoin

站点统计

本站现有博文327篇,共被浏览833130次

本站已经建立2538天!

原 Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs

作者：XD / 发表： 2023年12月7日 00:45 / 更新： 2023年12月7日 00:57 / 科研学习 / 阅读量：2079

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

Highlight:

Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs