ผู้ช่วย AI ทั่วไปมักทำหน้าที่เพียงเสนอคำตอบ แล้วปล่อยให้เราตัดสินใจลงมือในขั้นต่อไปเอง แต่เอเจนต์ (Agent) สามารถค้นหาเอกสาร เลือกใช้เครื่องมือ อ่านผลลัพธ์ แล้วลองเปลี่ยนวิธีแก้ปัญหาได้ด้วยตัวเอง ความสามารถในการตัดสินใจเองนี้คือจุดที่ทำให้ระบบมีประโยชน์ในการใช้งานจริง แต่ในขณะเดียวกันก็เปลี่ยนรูปแบบการควบคุมดูแลที่จำเป็นไปด้วย เพราะประโยคที่คลาดเคลื่อนในหน้าต่างแชต กับการเผลอไปแก้ไขตารางนัดหมายในปฏิทิน ย่อมสร้างผลกระทบตามมาไม่เท่ากัน

เอเจนต์ตัดสินใจเองได้แค่ไหน

ตามคำนิยามของ Anthropic ระบบแบบเวิร์กโฟลว์ (workflow) จะเดินตามเส้นทางที่โค้ดกำหนดไว้ล่วงหน้า ในขณะที่เอเจนต์จะตัดสินใจเลือกวิธีดำเนินงานและเครื่องมือแบบไดนามิกตามสถานการณ์จริง อย่างไรก็ตาม ระบบที่ใช้งานจริงมักอยู่กึ่งกลางระหว่างสองแบบนี้ การมอบหมายให้โมเดลช่วยตัดสินใจในขั้นตอนใดขั้นตอนหนึ่งจึงไม่ได้แปลว่าทั้งกระบวนการจะทำงานได้เองโดยอัตโนมัติ

ในแง่สถาปัตยกรรม ระบบจะผสานโมเดลภาษา เครื่องมือภายนอก และวงรอบการทำงาน (execution loop) ที่นำผลลัพธ์ระหว่างทางกลับมาประเมินเพื่อเลือกการกระทำถัดไป และอาจเก็บข้อมูลข้ามเซสชันเมื่อจำเป็นต่อการทำงาน ดังนั้น เวลาประเมินผลิตภัณฑ์ใดๆ จึงควรมองข้ามคำโฆษณาทางการตลาด แล้วตั้งคำถามว่าระบบสามารถตัดสินใจเรื่องใดได้เอง เข้าถึงข้อมูลชุดไหน และถือสิทธิ์ระดับใดบ้าง

งานที่มีผลลัพธ์ชัดเจนให้ตรวจสอบและแก้ไข

เราประเมินเอเจนต์ได้ง่ายขึ้นเมื่องานมีผลลัพธ์เป็นรูปธรรมให้ตรวจสอบ เช่น การค้นคว้าเอกสารที่มีแหล่งอ้างอิงชัดเจน การแก้ไขโค้ดที่รันชุดทดสอบอัตโนมัติเพื่อเช็กผลได้ หรือการร่างเอกสารเพื่อรอให้คนอนุมัติ ในงานลักษณะนี้ เอเจนต์สามารถปรับเปลี่ยนแนวทางเองได้เมื่อค้นหาข้อมูลไม่พบหรือรันทดสอบไม่ผ่าน แต่ความน่าเชื่อถือของการปรับแก้เองก็ขึ้นอยู่กับคุณภาพของตัวชี้วัดด้วย เพราะการผ่านชุดทดสอบที่ไม่ครอบคลุมไม่ได้ยืนยันว่างานนั้นถูกต้องสมบูรณ์

สำหรับงานสั้นๆ ที่มีขั้นตอนตายตัวและคาดเดาได้ การใช้ลำดับคำสั่งแบบคงที่มักจะประหยัดต้นทุนและตรวจสอบได้ง่ายกว่ามาก กลไกอย่างการคัดแยกเส้นทางงานตามเงื่อนไข (routing) การประมวลผลแบบขนาน หรือการสร้างวงรอบประเมินผล ล้วนเป็นทางเลือกเชิงสถาปัตยกรรม หากเพิ่มกลไกเหล่านี้โดยไม่มีเหตุผลรองรับ ระบบอาจตอบสนองช้าลงและมีจุดผิดพลาดมากขึ้น โดยไม่ได้รับรองว่าผลลัพธ์จะดีขึ้น

เมื่อความผิดพลาดจุดเดียวส่งผลกระทบเป็นลูกโซ่

ในกระบวนการทำงานหลายขั้นตอน ความผิดพลาดมักไม่ได้จบลงในจุดเดียว บทสรุปที่คลาดเคลื่อนอาจกลายเป็นข้อมูลตั้งต้นของอีเมลที่ส่งออกจริง หรือการเลือกไฟล์ผิดตั้งแต่แรกอาจนำไปสู่การแก้ไขข้อมูลผิดชุด เนื่องจากแต่ละขั้นตอนในห่วงโซ่งานไม่ได้แยกขาดจากกัน ความเข้าใจผิดเพียงจุดเดียวตั้งแต่ต้นทางจึงอาจทำให้การกระทำต่อเนื่องหลังจากนั้นผิดเพี้ยนไปทั้งหมด การวัดผลแค่ว่าโมเดลตอบคำถามเดี่ยวๆ ได้แม่นยำเพียงใดจึงสะท้อนภาพความสำเร็จได้เพียงเสี้ยวเดียว

การประเมินที่สะท้อนการใช้งานจริงจึงควรเริ่มจากการเตรียมชุดทดสอบที่ใกล้เคียงกับงานประจำวัน แล้วบันทึกทั้งอัตราการทำงานสำเร็จ การกระทำที่ผิดพลาด ค่าใช้จ่าย เวลาที่ใช้ ไปจนถึงจำนวนครั้งที่คนต้องยื่นมือเข้าไปช่วย นอกจากนี้ยังควรใส่ทั้งเอกสารที่มีความหมายกำกวม สถานการณ์ที่เครื่องมือปลายทางไม่ตอบสนอง และคำสั่งที่พยายามขอสิทธิ์เกินขอบเขตไว้ในบททดสอบด้วย ซึ่ง แนวทางเปรียบเทียบระบบ AI ของเราจะช่วยแยกแยะตัวแปรเหล่านี้ออกมาวัดผลได้อย่างเป็นระบบ

การมอบสิทธิ์เข้าถึงทรัพยากรคือการตัดสินใจเชิงสถาปัตยกรรม

เอกสารของ OWASP ได้ชี้ให้เห็นความเสี่ยงจากการมอบฟังก์ชัน สิทธิ์การเข้าถึง และอิสระในการตัดสินใจที่มากเกินความจำเป็น (Excessive Agency) เช่น เอเจนต์ที่มีหน้าที่เพียงสรุปเนื้อหาจากคลังเอกสารภายใน ย่อมไม่มีความจำเป็นใดๆ ที่จะต้องมีสิทธิ์ส่งข้อความออกภายนอกหรือลบไฟล์ทิ้ง

  • แยกสิทธิ์การอ่านและการเขียนออกจากกันอย่างเด็ดขาด และจำกัดข้อมูลรับรอง (credentials) ให้เข้าถึงได้เฉพาะทรัพยากรที่จำเป็นต้องใช้เท่านั้น
  • สำหรับการกระทำที่มีผลกระทบตามมา ต้องแสดงชื่อผู้รับ ข้อมูลที่เกี่ยวข้อง และรายละเอียดสิ่งที่จะเปลี่ยนแปลงให้ผู้ตรวจสอบเห็นอย่างชัดเจนก่อนกดอนุมัติ
  • กำหนดเพดานเวลาทำงาน งบประมาณ และจำนวนขั้นตอนสูงสุดไว้เสมอ พร้อมบันทึกเฉพาะข้อมูลที่จำเป็นต่อการตรวจสอบ โดยไม่ใส่ความลับหรือข้อมูลส่วนบุคคลที่ไม่จำเป็นลงใน log และเตรียมวิธีย้อนคืนการเปลี่ยนแปลง (rollback)

การให้คนช่วยกดยืนยันจะมีประโยชน์ก็ต่อเมื่อผู้ตรวจสอบมีข้อมูลบริบทเพียงพอที่จะเข้าใจว่ากำลังจะเกิดอะไรขึ้น เพราะปุ่ม “ดำเนินการต่อ” ที่ไม่มีรายละเอียดประกอบแทบไม่ได้ช่วยคัดกรองความเสี่ยงเลย ขณะเดียวกัน เอกสารที่เอเจนต์ดึงมาอ่านก็อาจซ่อนคำสั่งมุ่งร้ายเอาไว้ จึงต้องระวังความเสี่ยงเรื่อง การแทรกคำสั่งแปลกปลอมในพรอมป์ต์ (prompt injection) ก่อนเชื่อมต่อเอเจนต์เข้ากับฐานข้อมูลสำคัญหรือเครื่องมือปฏิบัติการจริง

งานชิ้นแรกที่เหมาะจะมอบหมายให้เอเจนต์ควรมีขอบเขตชัดเจนและย้อนกลับได้เมื่อเกิดปัญหา หากระบบยังไม่สามารถแยกแยะได้เองว่าเมื่อใดควรหยุดทำงานและส่งต่อให้คนตัดสินใจ การจำกัดอิสระของระบบให้แคบลงย่อมปลอดภัยกว่าการขยายขอบเขตหน้าที่ออกไปโดยขาดการควบคุม

แหล่งอ้างอิง

แจ้งข้อแก้ไข ↗