Demande de base
Confirmez que les demandes de base de fin de chat peuvent être renvoyées de manière stable.
Détection de relais API OpenAI
Protocole / capacité
Vérifier le protocole et les capacités de relais de l'API OpenAI
pangolin vérifie la forme des achèvements de chat, les appels d'outils, la cohérence du streaming et les empreintes digitales d'utilisation pour les prétendants GPT.
Achèvements des discussions
Appel de fonction
Sortie structurée
utilisation des empreintes digitales
OpenAI n'a pas de signature anti-contrefaçon de serveur de style Claude, cette page se concentre donc sur les protocoles de haute confiance et les vérifications de capacités.
Point culminant d'OpenAI : détecter les fuites de protocole et les réductions de capacités
Évaluez si les points de terminaison compatibles GPT suivent les formes OpenAI et transmettent réellement les fonctionnalités clés.
- Forme du protocoleVérifie l'identifiant, l'objet, les choix, finish_reason, l'utilisation et d'autres champs de complétion de discussion.
- Passage des capacitésSondes d’appel de fonction et de sortie structurée pour repérer les relais à coque uniquement.
- Empreinte digitale d'utilisationMesure de jetons et résidus de champ qui trahissent les backends Claude / Gemini enveloppés en GPT.
Il ne s'agit pas d'une preuve d'identité de qualité cryptographique, mais suffisante pour détecter la plupart des fuites d'adaptateur et des fonctionnalités manquantes.
Des contrôles qui seront exécutés
Mises à jour avec la profondeur d'analyse ci-dessus. Le mode complet couvre toutes les vérifications applicables. Les sondes à contexte long nécessitent un opt-in supplémentaire.
cohérence du modèle
Comparez les champs du modèle de demande et du modèle de réponse pour voir s’ils correspondent.
appel de fonction
Vérifiez tool_calls, le nom de la fonction, le paramètre JSON et la structure des appels.
Sortie structurée
Vérifiez que le schéma JSON/les contraintes de sortie strictes sont en vigueur.
La normativité du protocole
Vérifiez la forme des champs tels que l'identifiant, l'objet, les choix, finish_reason, l'utilisation, etc.
cohérence du streaming
Comparez l’utilisation du texte et des jetons en flux et hors flux pour plus de cohérence.
Facturation des jetons
Vérifiez la relation invite/achèvement/mesure totale des jetons.
Comparaison officielle du même titre
La même question compare la consommation d'intrants et le comportement de réponse entre les canaux et les autorités (ou référence).
Reproduction précise des commandes (anti-boîtier)
Il est demandé au modèle de reproduire textuellement une note fixe, en vérifiant dans quelle mesure les instructions sont suivies de manière déterministe.
Test de conflit système
Comparez l'utilisateur uniquement à un système + utilisateur explicite, en vérifiant si les mots fixes sont remplacés par des directives cachées.
Audit de jeton d'entrée minimaliste
Utilisez des requêtes minimalistes pour observer si input_tokens est anormalement élevé et identifier l’injection système implicite.
Capacité de raisonnement extrême (comptage de la théorie des nombres)
Utilisez des questions de raisonnement prédéfinies pour vérifier si les réponses vérifiables sont correctes.
Masquer la détection d'injection
Les variantes aléatoires vérifient les signaux anormaux tels que les fuites occasionnelles, les réponses corrigées et la réutilisation suspecte du cache.
Rejet sécuritaire et stabilité politique
Vérifiez si la politique de sécurité est stable à l'aide de scénarios de déni de réponse et de variantes de réécriture/codage/progressive.