หากนับเฉพาะน้ำหนักของโมเดล 7 พันล้านพารามิเตอร์ที่ 4 บิต จะได้ขนาดตามทฤษฎี 3.5 GB แบบฐานสิบ ไฟล์จริงยังมีสเกล เมทาดาทา และอาจมีเทนเซอร์ที่ใช้ความละเอียดสูงกว่า ระหว่างใช้งานต้องเผื่อรันไทม์และแคชด้วย ขนาดไฟล์จึงไม่ใช่ความต้องการ RAM หรือ VRAM ทั้งหมด
สามรายการที่กินหน่วยความจำ
น้ำหนักโมเดล พารามิเตอร์ในรูปแบบที่เลือก การควอนไทซ์ช่วยลดพื้นที่ส่วนนี้ได้ ส่วนผลต่อคำตอบต้องพิจารณาตามโมเดล วิธี และงาน
รันไทม์ ไลบรารี บัฟเฟอร์ โครงสร้างช่วยทำงาน และหน่วยความจำส่วนอื่นที่แอปใช้รันโมเดล
แคช KV ในโมเดล autoregressive ที่ใช้ attention แคชเก็บสถานะกลางของโทเคนที่ประมวลผลแล้ว เพื่อไม่ต้องคำนวณซ้ำทุกขั้น ( Hugging Face ) การเติบโตขึ้นกับความยาว จำนวนคำขอ และวิธีจัดการ มีทั้งแคชแบบหน้าต่างจำกัด แบบจัดสรรล่วงหน้า แบบย้ายไปเก็บในหน่วยความจำระบบ และแบบควอนไทซ์
ทำไมจึงไม่มีตัวเลขเดียว
แคช KV ขึ้นกับจำนวนเลเยอร์ โครงสร้างของหัว attention ความยาวลำดับ ขนาดแบตช์ และความละเอียด การใช้งานสองแบบของโมเดลเดียวกันอาจใช้กลยุทธ์แคชต่างกัน พร้อมข้อแลกเปลี่ยนต่างกันระหว่างหน่วยความจำกับความเร็ว ( Hugging Face )
เวลาประเมินหน่วยความจำ ให้ระบุทั้งโมเดล ความยาวบริบท และแอปที่ใช้ ข้อมูลเหล่านี้ทำให้ค่าประมาณมีความหมายกับงานจริง
วัดภาระงานที่ใช้จริง
| รายการ | บันทึกอะไร |
|---|---|
| ข้อมูลรุ่น | โมเดล รีวิชัน รูปแบบ การควอนไทซ์ |
| บริบท | อินพุตและเอาต์พุตสูงสุดที่คาดไว้ ไม่ใช่ค่าสูงสุดตามทฤษฎี |
| รันไทม์ | เวอร์ชัน แบ็กเอนด์ การตั้งค่า offload |
| หน่วยความจำ | ค่าสูงสุดที่วัดได้ และหน่วยความจำที่เหลือขณะที่โมเดลยังอยู่ในหน่วยความจำ |
| ประสบการณ์ | เวลาถึงโทเคนแรก (TTFT) และเวลาจนตอบเสร็จ |
วัดสามช่วง ช่วงพัก ระหว่างโหลด และในกรณีใช้งานหนักที่สุดที่คุณคาดว่าจะเจอจริง ค่าสูงสุดคือสิ่งที่ต้องดู
Offload ไม่ใช่ทางออกฟรี
การแบ่งน้ำหนักระหว่างแรมกับหน่วยความจำการ์ดจออาจช่วยให้โหลดโมเดลที่ใส่ในหน่วยความจำ GPU เพียงอย่างเดียวไม่พอได้ แต่ไม่ได้พิสูจน์ว่าความเร็วที่ได้เหมาะกับงานของคุณ การถ่ายโอนข้อมูล การเข้าถึงหน่วยความจำ และการคำนวณบน CPU อาจเพิ่มเวลาทำงาน ผลขึ้นกับรันไทม์และงานที่ใช้ การย้ายตำแหน่งเก็บน้ำหนักไม่ได้ตั้งใจเปลี่ยนน้ำหนักโมเดล แต่แบ็กเอนด์และความละเอียดเชิงตัวเลขที่ต่างกันอาจทำให้เอาต์พุตต่างกัน
หากหน่วยความจำใกล้เต็ม ควรเผื่ออินพุตที่ยาวขึ้นและแอปอื่น ตรวจเสถียรภาพและเวลาทำงานด้วยภาระที่คาดว่าจะใช้ก่อนพึ่งการตั้งค่านี้ในงานประจำวัน
เก็บค่าที่วัดได้พร้อมชื่อโมเดล ความยาวบริบท และจำนวนคำขอ เพื่อใช้อ้างอิงเมื่อภาระงานเปลี่ยน ใช้ขนาดน้ำหนักที่คำนวณได้เป็นค่าประมาณตั้งต้น แล้ววัดการใช้หน่วยความจำในแอปที่จะใช้งานจริง หากต้องประเมินทั้งบริการ อ่าน การเปรียบเทียบ AI ในเครื่องกับคลาวด์ ต่อได้
แหล่งอ้างอิง
- Cache strategies ↗ — Hugging Face · ตรวจเมื่อ 2026-11-01
- Loading models ↗ — Hugging Face · ตรวจเมื่อ 2026-11-01


