Yêu cầu cơ bản
Xác nhận rằng các yêu cầu cơ bản của tính năng Hoàn thành cuộc trò chuyện có thể quay trở lại ổn định.
Phát hiện chuyển tiếp API OpenAI
Giao thức/khả năng
Xác minh khả năng và giao thức chuyển tiếp API OpenAI
pangolin kiểm tra hình dạng Hoàn thành trò chuyện, lệnh gọi công cụ, tính nhất quán khi phát trực tuyến và dấu vân tay sử dụng cho người giả vờ GPT.
Hoàn thành cuộc trò chuyện
Gọi hàm
Đầu ra có cấu trúc
dấu vân tay sử dụng
OpenAI không có chữ ký chống giả mạo máy chủ kiểu Claude, vì vậy trang này tập trung vào kiểm tra khả năng và giao thức có độ tin cậy cao.
Điểm nổi bật của OpenAI: phát hiện rò rỉ giao thức và cắt giảm khả năng
Đánh giá xem các điểm cuối tương thích với GPT có tuân theo hình dạng OpenAI và thực sự vượt qua các chức năng chính hay không.
- Hình dạng giao thứcKiểm tra id, đối tượng, lựa chọn, kết thúc_lý do, cách sử dụng và các trường Hoàn thành trò chuyện khác.
- Khả năng truyền quaĐầu dò chức năng gọi và đầu ra có cấu trúc để phát hiện các rơle chỉ có vỏ.
- vân tay sử dụngĐo lường mã thông báo và dư lượng trường phản bội các chương trình phụ trợ của Claude / Gemini được gói dưới dạng GPT.
Không phải bằng chứng nhận dạng cấp mật mã — nhưng đủ để phát hiện hầu hết các rò rỉ bộ điều hợp và các khả năng bị thiếu.
Kiểm tra sẽ chạy
Cập nhật với độ sâu Quét ở trên. Chế độ đầy đủ bao gồm tất cả các kiểm tra áp dụng. Các thăm dò ngữ cảnh dài cần có thêm lựa chọn tham gia.
tính nhất quán của mô hình
So sánh các trường mô hình yêu cầu và mô hình phản hồi để xem chúng có khớp không.
gọi hàm
Kiểm tra tool_calls, tên hàm, tham số JSON và cấu trúc lệnh gọi.
Đầu ra có cấu trúc
Xác minh rằng Lược đồ JSON/các ràng buộc đầu ra nghiêm ngặt có hiệu lực.
Tính quy chuẩn của giao thức
Xác minh hình dạng của các trường như id, đối tượng, lựa chọn, finish_reason, cách sử dụng, v.v.
tính nhất quán phát trực tuyến
So sánh việc sử dụng mã thông báo và văn bản trong luồng và không phải luồng để đảm bảo tính nhất quán.
Thanh toán mã thông báo
Kiểm tra mối quan hệ đo lường lời nhắc/hoàn thành/tổng số mã thông báo.
So sánh chính thức của cùng một tiêu đề
Câu hỏi tương tự so sánh mức tiêu thụ đầu vào và hành vi phản hồi giữa các kênh và kênh chính thức (hoặc đường cơ sở).
Tái tạo lệnh chính xác (chống vỏ)
Mô hình được yêu cầu tái tạo nguyên văn một dấu cố định, kiểm tra mức độ tuân theo các hướng dẫn xác định.
Kiểm tra xung đột hệ thống
Chỉ so sánh người dùng với hệ thống + người dùng rõ ràng, kiểm tra xem các từ cố định có bị ghi đè bởi các lệnh ẩn hay không.
Kiểm tra mã thông báo đầu vào tối giản
Sử dụng các yêu cầu tối giản để quan sát xem liệu input_tokens có cao bất thường hay không và xác định việc tiêm Hệ thống tiềm ẩn.
Khả năng suy luận cực cao (đếm lý thuyết số)
Sử dụng các câu hỏi lý luận soạn sẵn để kiểm tra xem các câu trả lời có thể kiểm chứng được có đúng hay không.
Ẩn phát hiện tiêm
Các biến thể ngẫu nhiên kiểm tra chéo các tín hiệu bất thường như rò rỉ không liên tục, phản hồi cố định và sử dụng lại bộ đệm đáng ngờ.
Từ chối bảo mật và ổn định chính sách
Kiểm tra xem chính sách bảo mật có ổn định hay không bằng cách sử dụng các kịch bản từ chối trả lời và viết lại/mã hóa/các biến thể lũy tiến.