Основной запрос
Убедитесь, что основные запросы завершения чата могут стабильно возвращаться.
Обнаружение реле OpenAI API
Протокол/возможности
Проверьте протокол и возможности ретрансляции OpenAI API
pangolin проверяет форму завершения чата, вызовы инструментов, согласованность потоковой передачи и отпечатки использования для претендентов на GPT.
Завершения чата
Вызов функции
Структурированный вывод
использование отпечатка пальца
OpenAI не имеет серверной подписи для защиты от подделки в стиле Claude, поэтому на этой странице основное внимание уделяется протоколам высокой надежности и проверкам возможностей.
Изюминка OpenAI: обнаружение утечек протокола и сокращение возможностей
Оцените, соответствуют ли GPT-совместимые конечные точки формам OpenAI и действительно ли они соответствуют ключевым возможностям.
- Форма протоколаПроверяет идентификатор, объект, выбор, Finish_reason, использование и другие поля завершения чата.
- Передача возможностейВызов функций и структурированный выходной сигнал для обнаружения реле, предназначенных только для оболочки.
- Использование отпечатка пальцаИзмерение токенов и остаток полей, которые выдают серверные части Claude/Gemini, завернутые в GPT.
Это не криптографическое доказательство личности, но достаточное, чтобы обнаружить большинство утечек адаптера и недостающие возможности.
Проверки, которые будут выполняться
Обновления с глубиной сканирования выше. Полный режим охватывает все применимые проверки. Зонды с длинным контекстом требуют дополнительного согласия.
согласованность модели
Сравните поля модели запроса и модели ответа, чтобы увидеть, совпадают ли они.
вызов функции
Проверьтеtool_calls, имя функции, параметр JSON и структуру вызова.
Структурированный вывод
Убедитесь, что действуют JSON-схема/строгие ограничения вывода.
Нормативность протокола
Проверьте форму таких полей, как идентификатор, объект, выбор, Finish_reason, использование и т. д.
согласованность потоковой передачи
Сравните потоковые и непоточные текстовые сообщения и использование токенов на предмет единообразия.
Биллинг токенов
Проверьте взаимосвязь между запросом/завершением/общим счетчиком токенов.
Официальное сравнение одного и того же названия
В том же вопросе сравнивается потребление ресурсов и поведение реакции между каналами и официальным (или базовым уровнем).
Точное воспроизведение команд (антикорпус)
Модель просят дословно воспроизвести фиксированную отметку, проверяя, насколько детерминированно выполняются инструкции.
Тестирование системных конфликтов
Сравнивайте user only с явным system+user, проверяя, не переопределяются ли фиксированные слова скрытыми директивами.
Минималистичный аудит входных токенов
Используйте минималистские запросы, чтобы определить, является ли входной_токен аномально высоким, и выявить неявное внедрение системы.
Чрезвычайные способности к рассуждению (счет по теории чисел)
Используйте готовые аргументирующие вопросы, чтобы проверить, верны ли проверяемые ответы.
Скрыть обнаружение инъекции
Случайные варианты перепроверяются на наличие аномальных сигналов, таких как утечки nonce, фиксированные ответы и подозрительное повторное использование кэша.
Отказ от безопасности и стабильность политики
Проверьте, стабильна ли политика безопасности, используя сценарии отказа в ответе и варианты перезаписи/кодирования/прогрессивных вариантов.