Q4 และ Q8 เป็นชื่อกลุ่มรูปแบบที่ผ่านการควอนไทซ์ ไม่ใช่ระดับคุณภาพที่รับรองไว้ การลดจำนวนบิตของน้ำหนักอาจช่วยให้โหลดโมเดลลงหน่วยความจำได้ แต่ผลต่อคำตอบต้องตรวจตามโมเดล วิธี และงานที่ใช้ ( Hugging Face )
ประหยัดพื้นที่ได้เท่าไร
หากคำนวณเฉพาะน้ำหนักของโมเดล 7 พันล้านพารามิเตอร์ จะได้ 14 GB ที่ 16 บิต 7 GB ที่ 8 บิต และ 3.5 GB ที่ 4 บิต โดยใช้ GB แบบฐานสิบ ตัวเลขนี้เป็นผลคำนวณ ไม่ใช่ขนาดไฟล์หรือหน่วยความจำที่วัดขณะใช้งาน สเกล เมทาดาทา เทนเซอร์ที่เก็บด้วยความละเอียดสูงกว่า แคช และรันไทม์ยังต้องใช้พื้นที่เพิ่ม
การแทนค่าแบบสม่ำเสมอด้วย 4 บิตแยกรหัสได้ 16 ค่า ส่วน 8 บิตแยกได้ 256 ค่า แต่รูปแบบจริงยังขึ้นกับบล็อก สเกล และวิธีที่ใช้ ชื่อรูปแบบจึงไม่ได้อธิบายโมเดลทั้งหมด
| ด้าน | สิ่งที่ควรเปรียบเทียบ |
|---|---|
| หน่วยความจำ | แยกขนาดไฟล์ RAM/VRAM และค่าสูงสุดขณะทำงาน |
| คุณภาพ | ข้อผิดพลาดในงานและภาษาที่จะใช้ |
| บริบท | ความยาวที่ใช้จริงและกรณีที่ซับซ้อน |
| ความเร็ว | เวลาถึงโทเคนแรกและความเร็วการสร้างบนแบ็กเอนด์ที่เลือก |
| รูปแบบ | รุ่นย่อยที่แน่นอนและการรองรับของรันไทม์ |
ทำไมวิธีจึงสำคัญ
แต่ละวิธีอาจต้องคาลิเบรต จัดการแต่ละเลเยอร์ต่างกัน หรือเก็บบางส่วนของโมเดลด้วยความละเอียดสูงกว่า ไฟล์ Q4 สองไฟล์จึงไม่จำเป็นต้องเท่ากัน เอกสาร GGUF ช่วยระบุรูปแบบ แต่ไม่ได้รับรองผลกับงานของคุณ
ควรตรวจด้วยว่ารันไทม์โหลดรูปแบบนั้นอย่างไร บางเส้นทางเก็บน้ำหนักแบบควอนไทซ์ไว้ แต่บางเส้นทางแปลงกลับเป็นค่าที่ใช้ความละเอียดสูงกว่า ไฟล์บนดิสก์ที่เล็กจึงไม่ได้รับรองว่าจะลดหน่วยความจำระหว่างใช้งานได้เท่ากัน
เปรียบเทียบอย่างไรให้ใช้ตัดสินใจได้
ใช้โมเดลรีวิชันเดียวกัน อินพุตเดียวกัน การตั้งค่าการสร้างและขีดจำกัดบริบทเดียวกัน บันทึกรูปแบบและแบ็กเอนด์ เตรียมกรณีทดสอบที่มีเกณฑ์ชัดเจนและทำซ้ำเมื่อการสุ่มทำให้ผลแปรผัน ไม่มีจำนวนตัวอย่างขั้นต่ำสากลที่ทำให้ผลน่าเชื่อถือโดยอัตโนมัติ
ประเมินการดึงตัวเลข การทำตามคำสั่ง โค้ด และภาษาแยกกัน ทดสอบบริบทยาวด้วยโดยไม่ตั้งสมมติฐานว่าช่องว่างต้องเพิ่มเสมอ หาก Q4 ผ่านเกณฑ์และประหยัดหน่วยความจำได้พอ ก็อาจเหมาะกับงาน แต่การบีบอัดมากขึ้นก็ไม่ได้รับรองว่าคำตอบจะดีขึ้น
ความเร็วไม่ได้เพิ่มตามสัดส่วนตายตัว
การอ่านข้อมูลน้อยลงอาจช่วยเมื่องานติดข้อจำกัดด้านแบนด์วิดท์หน่วยความจำ แต่เคอร์เนล ฮาร์ดแวร์ และต้นทุนการแปลงค่ากลับอาจเปลี่ยนหรือลบข้อได้เปรียบ การเปลี่ยนจาก Q8 เป็น Q4 ไม่ได้รับรองว่าจะเร็วขึ้นสองเท่า
เลือกแบบที่ยังให้คุณภาพเพียงพอกับงานแล้วตรวจ หน่วยความจำที่ต้องใช้ หากเปลี่ยนโมเดลหรือบริการด้วย ให้ใช้ แนวทางเปรียบเทียบ เพื่อแยกผลของแต่ละตัวแปร
แหล่งอ้างอิง
- Quantization overview ↗ — Hugging Face · ตรวจเมื่อ 2026-11-01
- GGUF / GGML (llama.cpp) ↗ — Hugging Face · ตรวจเมื่อ 2026-11-01


