基本的なお願い
チャット完了の基本リクエストが安定して返されることを確認します。
pangolin は、チャット完了の形状、ツール呼び出し、ストリーミングの一貫性、および GPT フリッターの使用状況のフィンガープリントをチェックします。
OpenAI には Claude スタイルのサーバー偽造防止署名がないため、このページでは信頼性の高いプロトコルと機能のチェックに焦点を当てます。
GPT 互換エンドポイントが OpenAI 形状に従っており、主要な機能を本当にパススルーしているかどうかを評価します。
暗号グレードの ID 証明ではありませんが、ほとんどのアダプターのリークや欠落している機能を検出するには十分です。
上記のスキャン深度で更新されます。フル モードでは、該当するすべてのチェックがカバーされます。長いコンテキストのプローブには追加のオプトインが必要です。
チャット完了の基本リクエストが安定して返されることを確認します。
リクエスト モデルとレスポンス モデルのフィールドを比較して、一致するかどうかを確認します。
tool_calls、関数名、パラメータ JSON、呼び出し構造を確認してください。
JSON スキーマ/厳密な出力制約が有効であることを確認します。
id、object、choices、finish_reason、usageなどのフィールドの形状を確認します。
一貫性を保つために、ストリームと非ストリームのテキストおよびトークンの使用状況を比較します。
プロンプト/完了/合計トークン計測関係を確認します。
同じ質問で、チャネルと公式 (またはベースライン) の間の入力消費と応答の動作を比較します。
モデルは固定マークをそのまま再現するように求められ、指示がどの程度決定的に従うかをチェックします。
ユーザーのみを明示的なシステム + ユーザーと比較し、固定語が隠しディレクティブによってオーバーライドされているかどうかを確認します。
ミニマリスト リクエストを使用して、input_tokens が異常に高いかどうかを観察し、暗黙的なシステム インジェクションを特定します。
定型の推理質問を使用して、検証可能な回答が正しいかどうかを確認します。
ランダム化されたバリアントは、ノンス リーク、固定応答、不審なキャッシュの再利用などの異常なシグナルをクロスチェックします。
応答拒否シナリオと書き換え/エンコード/プログレッシブ バリアントを使用して、セキュリティ ポリシーが安定しているかどうかを確認します。