模型量化与压缩

模型量化与压缩方案推荐及代码生成，覆盖量化、剪枝、蒸馏三大方向。当用户提到模型量化、模型压缩、GPTQ、AWQ、GGUF、INT4、INT8、模型剪枝、知识蒸馏、模型部署优化、推理加速、显存优化、模型瘦身、量化方案选择，或想了解"怎么给模型量化""模型怎么压缩""选哪种量化方法""怎么把模型转成GGUF""模型太大怎么部署""怎么降低推理显存"时触发。不适用于模型训练优化、纯推理服务部署运维、非压缩类的模型微调。