การตรวจจับการถ่ายทอด OpenAI API โปรโตคอล / ความสามารถ

ตรวจสอบโปรโตคอลการถ่ายทอด OpenAI API และความสามารถ

pangolin ตรวจสอบรูปร่างการเสร็จสิ้นการแชท การเรียกใช้เครื่องมือ ความสอดคล้องของการสตรีม และลายนิ้วมือการใช้งานสำหรับผู้อ้างสิทธิ์ GPT

เสร็จสิ้นการแชท การเรียกใช้ฟังก์ชัน เอาต์พุตที่มีโครงสร้าง ลายนิ้วมือการใช้งาน

OpenAI ไม่มีลายเซ็นต่อต้านการปลอมแปลงของเซิร์ฟเวอร์สไตล์ Claude ดังนั้นหน้านี้จึงมุ่งเน้นไปที่โปรโตคอลที่มีความมั่นใจสูงและการตรวจสอบความสามารถ

จุดเด่นของ OpenAI: ตรวจจับการรั่วไหลของโปรโตคอลและการลดความสามารถ

ประเมินว่าอุปกรณ์ปลายทางที่เข้ากันได้กับ GPT เป็นไปตามรูปร่างของ OpenAI และผ่านความสามารถหลักอย่างแท้จริงหรือไม่

รูปร่างโปรโตคอลตรวจสอบรหัส วัตถุ ตัวเลือก เหตุผลเสร็จสิ้น การใช้งาน และช่องการเสร็จสิ้นการแชทอื่นๆ
ความสามารถในการส่งผ่านการเรียกฟังก์ชันและโพรบเอาท์พุตที่มีโครงสร้างเพื่อตรวจจับรีเลย์แบบเชลล์เท่านั้น
ลายนิ้วมือการใช้งานการวัดโทเค็นและสารตกค้างในสนามที่ทรยศต่อแบ็กเอนด์ของ Claude / Gemini ที่ห่อเป็น GPT

ไม่ใช่การพิสูจน์ตัวตนระดับการเข้ารหัสลับ แต่เพียงพอที่จะตรวจจับการรั่วไหลของอะแดปเตอร์ส่วนใหญ่และความสามารถที่ขาดหายไป

URL ฐานรีเลย์

รูทที่เข้ากันได้กับ OpenAI เช่น https://api.example.com หรือ https://api.example.com/v1

คีย์เอพีไอ

คีย์นี้ใช้สำหรับงานนี้เท่านั้นและไม่เคยคงอยู่

โมเดลเป้าหมาย

ป้อนรหัสโมเดล GPT หรือเลือกจากตัวเลือกที่ตรวจสอบแล้ว

สแกนความลึก

เช็คที่จะรัน

อัปเดตด้วยความลึกของการสแกนด้านบน โหมดเต็มครอบคลุมการตรวจสอบที่เกี่ยวข้องทั้งหมด การซักถามตามบริบทแบบยาวจำเป็นต้องเลือกใช้เพิ่มเติม

มาตรฐาน · ความสามารถหลัก (แนะนำ) · 14

คำขอพื้นฐาน

ยืนยันว่าคำขอพื้นฐานสำหรับการเสร็จสิ้นการแชทสามารถกลับมาได้อย่างเสถียร

ความสม่ำเสมอของโมเดล

เปรียบเทียบฟิลด์โมเดลคำขอและโมเดลการตอบสนองเพื่อดูว่าตรงกันหรือไม่

การเรียกใช้ฟังก์ชัน

ตรวจสอบ tool_calls ชื่อฟังก์ชัน พารามิเตอร์ JSON และโครงสร้างการโทร

เอาต์พุตที่มีโครงสร้าง

ตรวจสอบว่า JSON Schema / ข้อจำกัดเอาต์พุตที่เข้มงวดมีผลบังคับใช้

ความเป็นมาตรฐานของพิธีสาร

ตรวจสอบรูปร่างของฟิลด์ เช่น ID, วัตถุ, ตัวเลือก, finish_reason, การใช้งาน ฯลฯ

ความสม่ำเสมอของการสตรีม

เปรียบเทียบข้อความและโทเค็นแบบสตรีมและไม่ใช่สตรีมเพื่อความสอดคล้องกัน

การเรียกเก็บเงินโทเค็น

ตรวจสอบความสัมพันธ์ของพรอมต์ / ความสมบูรณ์ / การวัดโทเค็นทั้งหมด

การเปรียบเทียบชื่อเดียวกันอย่างเป็นทางการ

คำถามเดียวกันจะเปรียบเทียบการบริโภคอินพุตและพฤติกรรมการตอบสนองระหว่างช่องทางกับทางการ (หรือพื้นฐาน)

การสร้างคำสั่งที่แม่นยำ (ป้องกันเคส)

แบบจำลองจะถูกขอให้ทำซ้ำเครื่องหมายคงที่ทุกคำ โดยตรวจสอบว่าปฏิบัติตามคำแนะนำที่กำหนดไว้อย่างไร

การทดสอบความขัดแย้งของระบบ

เปรียบเทียบผู้ใช้เฉพาะกับระบบ+ผู้ใช้ที่ชัดเจน โดยตรวจสอบว่าคำที่ตายตัวถูกแทนที่โดยคำสั่งที่ซ่อนอยู่หรือไม่

การตรวจสอบโทเค็นอินพุตที่เรียบง่าย

ใช้คำขอแบบมินิมัลลิสต์เพื่อสังเกตว่า input_token สูงผิดปกติหรือไม่ และระบุการแทรกระบบโดยนัย

ความสามารถในการใช้เหตุผลขั้นสุดยอด (การนับทฤษฎีจำนวน)

ใช้คำถามที่ให้เหตุผลแบบกระป๋องเพื่อตรวจสอบว่าคำตอบที่ตรวจสอบได้นั้นถูกต้องหรือไม่

ซ่อนการตรวจจับการฉีด

ตัวแปรแบบสุ่มตรวจสอบข้ามเพื่อตรวจสอบสัญญาณที่ผิดปกติ เช่น การรั่วไหลของ nonce การตอบกลับแบบตายตัว และการใช้แคชซ้ำที่น่าสงสัย

การปฏิเสธความปลอดภัยและความมั่นคงของนโยบาย

ตรวจสอบว่านโยบายความปลอดภัยมีเสถียรภาพหรือไม่โดยใช้สถานการณ์การปฏิเสธคำตอบและการเขียนใหม่/การเข้ารหัส/รูปแบบที่ก้าวหน้า