Q4 และ Q8 เป็นชื่อกลุ่มรูปแบบที่ผ่านการควอนไทซ์ ไม่ใช่ระดับคุณภาพที่รับรองไว้ การลดจำนวนบิตของน้ำหนักอาจช่วยให้โหลดโมเดลลงหน่วยความจำได้ แต่ผลต่อคำตอบต้องตรวจตามโมเดล วิธี และงานที่ใช้ ( Hugging Face )

ประหยัดพื้นที่ได้เท่าไร

หากคำนวณเฉพาะน้ำหนักของโมเดล 7 พันล้านพารามิเตอร์ จะได้ 14 GB ที่ 16 บิต 7 GB ที่ 8 บิต และ 3.5 GB ที่ 4 บิต โดยใช้ GB แบบฐานสิบ ตัวเลขนี้เป็นผลคำนวณ ไม่ใช่ขนาดไฟล์หรือหน่วยความจำที่วัดขณะใช้งาน สเกล เมทาดาทา เทนเซอร์ที่เก็บด้วยความละเอียดสูงกว่า แคช และรันไทม์ยังต้องใช้พื้นที่เพิ่ม

การแทนค่าแบบสม่ำเสมอด้วย 4 บิตแยกรหัสได้ 16 ค่า ส่วน 8 บิตแยกได้ 256 ค่า แต่รูปแบบจริงยังขึ้นกับบล็อก สเกล และวิธีที่ใช้ ชื่อรูปแบบจึงไม่ได้อธิบายโมเดลทั้งหมด

ด้านสิ่งที่ควรเปรียบเทียบ
หน่วยความจำแยกขนาดไฟล์ RAM/VRAM และค่าสูงสุดขณะทำงาน
คุณภาพข้อผิดพลาดในงานและภาษาที่จะใช้
บริบทความยาวที่ใช้จริงและกรณีที่ซับซ้อน
ความเร็วเวลาถึงโทเคนแรกและความเร็วการสร้างบนแบ็กเอนด์ที่เลือก
รูปแบบรุ่นย่อยที่แน่นอนและการรองรับของรันไทม์

ทำไมวิธีจึงสำคัญ

แต่ละวิธีอาจต้องคาลิเบรต จัดการแต่ละเลเยอร์ต่างกัน หรือเก็บบางส่วนของโมเดลด้วยความละเอียดสูงกว่า ไฟล์ Q4 สองไฟล์จึงไม่จำเป็นต้องเท่ากัน เอกสาร GGUF ช่วยระบุรูปแบบ แต่ไม่ได้รับรองผลกับงานของคุณ

ควรตรวจด้วยว่ารันไทม์โหลดรูปแบบนั้นอย่างไร บางเส้นทางเก็บน้ำหนักแบบควอนไทซ์ไว้ แต่บางเส้นทางแปลงกลับเป็นค่าที่ใช้ความละเอียดสูงกว่า ไฟล์บนดิสก์ที่เล็กจึงไม่ได้รับรองว่าจะลดหน่วยความจำระหว่างใช้งานได้เท่ากัน

เปรียบเทียบอย่างไรให้ใช้ตัดสินใจได้

ใช้โมเดลรีวิชันเดียวกัน อินพุตเดียวกัน การตั้งค่าการสร้างและขีดจำกัดบริบทเดียวกัน บันทึกรูปแบบและแบ็กเอนด์ เตรียมกรณีทดสอบที่มีเกณฑ์ชัดเจนและทำซ้ำเมื่อการสุ่มทำให้ผลแปรผัน ไม่มีจำนวนตัวอย่างขั้นต่ำสากลที่ทำให้ผลน่าเชื่อถือโดยอัตโนมัติ

ประเมินการดึงตัวเลข การทำตามคำสั่ง โค้ด และภาษาแยกกัน ทดสอบบริบทยาวด้วยโดยไม่ตั้งสมมติฐานว่าช่องว่างต้องเพิ่มเสมอ หาก Q4 ผ่านเกณฑ์และประหยัดหน่วยความจำได้พอ ก็อาจเหมาะกับงาน แต่การบีบอัดมากขึ้นก็ไม่ได้รับรองว่าคำตอบจะดีขึ้น

ความเร็วไม่ได้เพิ่มตามสัดส่วนตายตัว

การอ่านข้อมูลน้อยลงอาจช่วยเมื่องานติดข้อจำกัดด้านแบนด์วิดท์หน่วยความจำ แต่เคอร์เนล ฮาร์ดแวร์ และต้นทุนการแปลงค่ากลับอาจเปลี่ยนหรือลบข้อได้เปรียบ การเปลี่ยนจาก Q8 เป็น Q4 ไม่ได้รับรองว่าจะเร็วขึ้นสองเท่า

เลือกแบบที่ยังให้คุณภาพเพียงพอกับงานแล้วตรวจ หน่วยความจำที่ต้องใช้ หากเปลี่ยนโมเดลหรือบริการด้วย ให้ใช้ แนวทางเปรียบเทียบ เพื่อแยกผลของแต่ละตัวแปร

แหล่งอ้างอิง

แจ้งข้อแก้ไข ↗