Demande de base
Confirmez que les chemins compatibles Gemini OpenAI peuvent être renvoyés de manière stable.
Détection de relais API Gemini
Protocole compatible
Vérifier le protocole et les capacités du relais API Gemini
pangolin sonde les relais Gemini via des API compatibles OpenAI pour le protocole, les capacités et l'utilisation du transfert de métadonnées.
Chemin compatible OpenAI
Appel de fonction
utilisationMétadonnées
Gemini 3 conscient
Se concentre sur un protocole compatible et un comportement de réflexion par défaut – et non sur l’identité de qualité signature de Claude.
Point culminant des Gemini : chemin et utilisation compatibles Métadonnées
Mesure le comportement réel de Gemini sur les points de terminaison compatibles OpenAI utilisés par des relais tiers.
- Chemin compatibleSondes /chat/complétions couvrant Google /v1beta/openai et tiers commun /v1.
- Gemini 3Prend en compte le jeton de réflexion par défaut et les bords de sortie vides sur Gemini 3.
- Champs d'utilisationVérifie l’exhaustivité, la cohérence et la stabilité du modèle de réponse du champ de jeton.
Le plus proche de la façon dont les relais Gemini tiers sont réellement utilisés.
Des contrôles qui seront exécutés
Mises à jour avec la profondeur d'analyse ci-dessus. Le mode complet couvre toutes les vérifications applicables. Les sondes à contexte long nécessitent un opt-in supplémentaire.
Forme de réponse du modèle
Vérifiez response.model et la forme choices[].message de Chat Completions.
appel de fonction
Vérifiez le nom de l'appel de fonction, l'objet paramètre et la structure de l'appel.
Sortie structurée
Vérifiez si les contraintes du schéma de réponse/de sortie JSON sont en vigueur.
La normativité du protocole
Vérifiez id, object, choices, finish_reason, usage et les empreintes inter-protocoles dans usage.
cohérence du streaming
Comparez les raisons de sortie et de fin du flux et du non-flux pour plus de cohérence.
Utilisation des jetons
Vérifiez l’intégrité et les relations de mesure des champs prompt / completion / total dans usage.
Comparaison officielle du même titre
La même question compare la consommation d'intrants et le comportement de réponse entre les canaux et les autorités (ou référence).
Reproduction précise des commandes (anti-boîtier)
Il est demandé au modèle de reproduire textuellement une note fixe, en vérifiant dans quelle mesure les instructions sont suivies de manière déterministe.
Test de conflit système
Comparez l'utilisateur uniquement à un système + utilisateur explicite, en vérifiant si les mots fixes sont remplacés par des directives cachées.
Audit de jeton d'entrée minimaliste
Utilisez des requêtes minimalistes pour observer si input_tokens est anormalement élevé et identifier l’injection système implicite.
Capacité de raisonnement extrême (comptage de la théorie des nombres)
Utilisez des questions de raisonnement prédéfinies pour vérifier si les réponses vérifiables sont correctes.
Masquer la détection d'injection
Les variantes aléatoires vérifient les signaux anormaux tels que les fuites occasionnelles, les réponses corrigées et la réutilisation suspecte du cache.
Rejet sécuritaire et stabilité politique
Vérifiez si la politique de sécurité est stable à l'aide de scénarios de déni de réponse et de variantes de réécriture/codage/progressive.