建立量化坐标系
先分清 PTQ / QAT、weight-only / W+A / KV、标量 / 向量 / 码本,以及“位宽”和“有效 bpw”的差异。
LLM.int8() → GPTQ → SmoothQuant这不是论文标题清单,而是一套可操作的学习地图:把每篇工作的核心假设、校准成本、数据集、硬件、真实实验时间、系统收益和复现风险放进同一坐标系。
推荐按“坐标系 → 异常值 → 极低比特 → 系统”阅读;每一步都带着上一层的评价尺度。
先分清 PTQ / QAT、weight-only / W+A / KV、标量 / 向量 / 码本,以及“位宽”和“有效 bpw”的差异。
LLM.int8() → GPTQ → SmoothQuant比较迁移、缩放、旋转、置换四条路线;它们都在改变误差分布,但在线成本不同。
AWQ → QuaRot → DuQuant → SpinQuant2–3 bpw 往往需要码本、格量化或原生训练,表示能力提高,但校准、元数据和 kernel 成本也会增大。
AQLM → QuIP# → CCQ → BitNet最后把精度与 batch、TTFT、TPOT、吞吐、峰值显存和 GPU 型号绑在一起分析。
QServe → QLLM-Eval