Deteksi relai OpenAI API Protokol / kemampuan

Verifikasi protokol dan kemampuan relai OpenAI API

pangolin memeriksa bentuk Penyelesaian Obrolan, panggilan alat, konsistensi streaming, dan sidik jari penggunaan untuk orang yang berpura-pura GPT.

Penyelesaian Obrolan Pemanggilan Fungsi Keluaran Terstruktur sidik jari penggunaan

OpenAI tidak memiliki tanda tangan anti-pemalsuan server bergaya Claude, jadi halaman ini berfokus pada protokol berkeyakinan tinggi dan pemeriksaan kemampuan.

Sorotan OpenAI: menangkap kebocoran protokol dan pengurangan kemampuan

Evaluasi apakah titik akhir yang kompatibel dengan GPT mengikuti bentuk OpenAI dan benar-benar melewati kemampuan utama.

Bentuk protokolMemeriksa id, objek, pilihan, alasan_selesai, penggunaan, dan bidang Penyelesaian Obrolan lainnya.
Kemampuan melewatiPemanggilan Fungsi dan probe Output Terstruktur untuk mengenali relay khusus shell.
Sidik jari penggunaanPengukuran token dan residu bidang yang mengkhianati backend Claude/Gemini dibungkus sebagai GPT.

Bukan bukti identitas tingkat kripto — tetapi cukup untuk menangkap sebagian besar kebocoran adaptor dan kemampuan yang hilang.

URL dasar relai

Root yang kompatibel dengan OpenAI, mis. https://api.example.com atau https://api.example.com/v1.

Kunci API

Kuncinya hanya digunakan untuk pekerjaan ini dan tidak pernah disimpan.

Model sasaran

Masukkan ID model GPT, atau pilih dari kandidat yang diperiksa.

Kedalaman pemindaian

Pemeriksaan yang akan dijalankan

Pembaruan dengan kedalaman Pindai di atas. Mode penuh mencakup semua pemeriksaan yang berlaku. Penyelidikan konteks panjang memerlukan keikutsertaan ekstra.

Standar · kemampuan utama (disarankan) · 14

Permintaan dasar

Konfirmasikan bahwa permintaan dasar Penyelesaian Obrolan dapat kembali secara stabil.

konsistensi model

Bandingkan bidang model permintaan dan model respons untuk melihat apakah keduanya cocok.

panggilan fungsi

Periksa tool_calls, nama fungsi, parameter JSON, dan struktur panggilan.

Keluaran terstruktur

Verifikasi bahwa Skema JSON/batasan keluaran yang ketat berlaku.

Normativitas protokol

Verifikasi bentuk bidang seperti id, objek, pilihan, alasan_selesai, penggunaan, dll.

konsistensi streaming

Bandingkan penggunaan teks dan token streaming dan non-stream untuk konsistensi.

Penagihan token

Periksa hubungan pengukuran prompt/penyelesaian/total token.

Perbandingan resmi dengan judul yang sama

Pertanyaan yang sama membandingkan konsumsi input dan perilaku respons antara saluran dan pejabat (atau baseline).

Reproduksi perintah yang akurat (anti-casing)

Model diminta untuk mereproduksi tanda tetap secara verbatim, memeriksa seberapa deterministik instruksi yang diikuti.

Pengujian konflik sistem

Bandingkan pengguna hanya dengan sistem+pengguna eksplisit, periksa apakah kata-kata tetap ditimpa oleh arahan tersembunyi.

Audit Token Input Minimalis

Gunakan permintaan minimalis untuk mengamati apakah input_tokens sangat tinggi dan mengidentifikasi injeksi Sistem implisit.

Kemampuan penalaran yang ekstrim (penghitungan teori bilangan)

Gunakan pertanyaan penalaran terekam untuk memeriksa apakah jawaban yang dapat diverifikasi benar.

Sembunyikan deteksi injeksi

Varian acak memeriksa ulang sinyal abnormal seperti kebocoran nonce, balasan tetap, dan penggunaan kembali cache yang mencurigakan.

Penolakan keamanan dan stabilitas kebijakan

Periksa apakah kebijakan keamanan stabil menggunakan skenario penolakan jawaban dan varian penulisan ulang/pengkodean/progresif.