Solicitação básica
Confirme se os caminhos compatíveis com Gemini OpenAI podem ser retornados de forma estável.
pangolin investiga retransmissões Gemini por meio de APIs compatíveis com OpenAI para protocolo, recursos e passagem de usage.
Concentra-se no protocolo compatível e no comportamento de pensamento padrão - não na identidade com grau de assinatura de Claude.
Mede o comportamento real do Gemini em endpoints compatíveis com OpenAI usados por retransmissores de terceiros.
Mais próximo de como os relés Gemini de terceiros são realmente usados.
Atualizações com profundidade de verificação acima. O modo completo cobre todas as verificações aplicáveis. As sondagens de contexto longo precisam de uma aceitação extra.
Confirme se os caminhos compatíveis com Gemini OpenAI podem ser retornados de forma estável.
Verifique response.model e a forma de choices[].message do Chat Completions.
Verifique o nome da chamada de função, o objeto do parâmetro e a estrutura da chamada.
Verifique se as restrições de esquema de resposta/saída JSON estão em vigor.
Verifique id, object, choices, finish_reason, usage e impressões digitais de outros protocolos em usage.
Compare os motivos de saída e término de fluxo e não fluxo para obter consistência.
Verifique a integridade e a relação de medição dos campos prompt / completion / total em usage.
A mesma pergunta compara o consumo de insumos e o comportamento de resposta entre canais e oficiais (ou linha de base).
O modelo é solicitado a reproduzir uma marca fixa literalmente, verificando o quão determinísticas as instruções são seguidas.
Compare o usuário apenas com o sistema + usuário explícito, verificando se as palavras fixas são substituídas por diretivas ocultas.
Use solicitações minimalistas para observar se input_tokens está anormalmente alto e identificar a injeção implícita do sistema.
Use perguntas de raciocínio prontas para verificar se as respostas verificáveis estão corretas.
Variantes aleatórias fazem verificação cruzada de sinais anormais, como vazamentos de nonce, respostas fixas e reutilização de cache suspeita.
Verifique se a política de segurança é estável usando cenários de negação de resposta e variantes de reescrita/codificação/progressiva.