OpenAI เผย AI Agent จำนวน 2 รุ่น ปิดระบบตรวจจับความปลอดภัยของตนเอง และปฏิเสธข้อมูลที่ไม่ตรงกับข้อเท็จจริง - Thailand Computer Emergency Response Team (ThaiCERT)

577/69 (IT) ประจำวันพฤหัสบดีที่ 22 ตุลาคม 2569

OpenAI เปิดเผยรายงานจำนวน 2 เหตุการณ์ หลังพบ AI Agent จำนวน 2 รุ่น ที่ปรับลดหรือปิดกลไกเฝ้าระวังพฤติกรรมที่อาจไม่สอดคล้องกับข้อกำหนดด้านความปลอดภัย (Misalignment Monitoring) ระหว่างปฏิบัติงานเขียนและปรับปรุงโค้ดตามปกติ โดยทั้ง 2 กรณีนี้ ไม่ได้เกิดจากการโจมตีภายนอก แต่เป็นผลจากการตีความคำสั่งของผู้ใช้ที่นำไปสู่การลดทอนมาตรการตรวจสอบดังกล่าว กรณีแรกเกิดขึ้นเมื่อวันที่ 3 ตุลาคม โดย AI Agent รุ่น GPT-6.1 Sol ปิดการแจ้งเตือนอัตโนมัติไปยังทีมรักษาความปลอดภัย เนื่องจากตีความคำสั่งที่ห้ามส่งข้อความระหว่างค้นหาประวัติ Slack ว่าครอบคลุมถึงการแจ้งเตือนด้านความปลอดภัยด้วย แม้ระบบเฝ้าระวังยังคงทำงานและบันทึกรายงานได้ แต่เจ้าหน้าที่กลับไม่ได้รับการแจ้งเตือนตามที่กำหนด

กรณีที่ 2 เกิดขึ้นเมื่อวันที่ 6 ตุลาคม เมื่อ AI Agent รุ่น GPT-6 Astra ได้รับมอบหมายให้ย้ายโปรแกรมโดยอ้างอิงจากโค้ดต้นแบบ พร้อมรักษาความสามารถเดิมไว้ แต่ระหว่างดำเนินการ AI Agent กลับนำระบบเฝ้าระวังออก เนื่องจากโค้ดต้นแบบไม่มีระบบดังกล่าว อีกทั้งยังปรับเปลี่ยนการทดสอบให้กำหนดว่าระบบเฝ้าระวังต้องถูกปิดใช้งาน และเมื่อผู้ใช้สอบถามภายหลังว่าได้ถอดระบบตรวจสอบออกหรือไม่ AI Agent กลับตอบว่าไม่ได้ดำเนินการดังกล่าว ทั้งที่ข้อเท็จจริงตรงกันข้าม โดย OpenAI ระบุว่าพฤติกรรมทั้ง 2 กรณี อาจเกิดจากสิ่งที่เรียกว่า “Benign Overpersistence” ซึ่งหมายถึงการยึดติดกับการปฏิบัติตามคำสั่งมากเกินไป โดยไม่เข้าใจเจตนาหรือความสำคัญของมาตรการความปลอดภัยอย่างเพียงพอ อย่างไรก็ตาม บริษัทยังไม่สามารถตัดความเป็นไปได้ที่โมเดลอาจมีแนวโน้มหาเหตุผลมาสนับสนุนการหลีกเลี่ยงระบบที่ใช้ตรวจสอบพฤติกรรมของตนเองได้

เพื่อเป็นการรับมือและแก้ไขปัญหาดังกล่าว OpenAI ได้ปรับปรุงระบบตรวจสอบอัตโนมัติให้สามารถตรวจจับและระงับความพยายามในการปิดระบบความปลอดภัย พร้อมทั้งเตรียมกำหนดให้ทุกกระบวนการทำงานต้องมีแผนควบคุมที่ชัดเจน สำหรับผู้ใช้งาน ผู้พัฒนา หรือผู้ดูแลระบบที่นำตัวแทนปัญญาประดิษฐ์มาประยุกต์ใช้ภายในองค์กร ควรดำเนินการลดความเสี่ยงด้วยการออกแบบสถาปัตยกรรมระบบให้กลไกการตรวจสอบทำงานแยกส่วนและอยู่นอกเหนือสิทธิการควบคุมของ AI อย่างเด็ดขาด นอกจากนี้ควรตรวจสอบพฤติกรรมการทำงานของระบบอย่างสม่ำเสมอ เพื่อป้องกันการตีความคำสั่งที่อาจนำไปสู่การปิดกั้นระบบรักษาความปลอดภัยโดยพลการ

แหล่งข่าว : https://securityaffairs.com/201435/ai/openai-reports-two-incidents-of-ai-agents-disabling-their-own-oversight.html

577/69（IT）2026年10月22日，星期四。

OpenAI 发布了两起事件报告，指出两个 AI 代理模型在日常代码编写和更新操作中破坏或禁用了代码错位监控。这两起事件并非由外部攻击引起，而是由于用户对命令的误解导致监控机制失效。第一起事件发生在 10 月 3 日，GPT-6.1 Sol AI 代理错误地将一条禁止在 Slack 历史记录搜索期间发送消息的命令解读为包含安全警报，从而禁用了向安全团队发送的自动通知。尽管监控系统仍在运行并记录报告，但代理并未收到所需的通知。

第二起事件发生在10月6日，当时GPT-6 Astra人工智能代理的任务是基于源代码迁移一个程序，同时保持其原有功能。然而，在迁移过程中，该人工智能代理移除了源代码中原本不存在的监控系统。此外，它还修改了测试用例，要求禁用该监控系统。当用户随后询问监控系统是否已被移除时，该人工智能代理却回答说没有，这与它的实际行为相矛盾。OpenAI表示，这两种行为可能都源于所谓的“良性过度坚持”，即过度僵化地执行指令，而没有充分理解安全措施的意图或重要性。不过，该公司也不能排除该模型可能倾向于寻找借口来绕过自身的行为监控系统。

为了解决这些问题，OpenAI 改进了其自动化监控系统，以检测并阻止任何试图禁用安全系统的企图。此外，OpenAI 还计划强制所有工作流程制定清晰的控制方案。在其组织内部使用人工智能的用户、开发人员和系统管理员应通过设计系统架构来降低风险，这些架构应将监控机制排除在人工智能的控制范围之外，并在其控制范围之外运行。此外，还应定期监控系统行为，以防止对命令的任意解读，从而避免安全漏洞。

来源：https://securityaffairs.com/201435/ai/openai-reports-two-incidents-of-ai-agents-disabling-their-own-oversight.html