Убедитесь, что основные запросы завершения чата могут стабильно возвращаться.
Результаты обнаружения
Модель: gpt-5.5 · режим standard · реле https://test.apiqik-kratos.apiqik.com/
Сравните поля модели запроса и модели ответа, чтобы увидеть, совпадают ли они.
Проверьтеtool_calls, имя функции, параметр JSON и структуру вызова.
Убедитесь, что действуют JSON-схема/строгие ограничения вывода.
Проверьте форму таких полей, как идентификатор, объект, выбор, Finish_reason, использование и т. д.
Сравните потоковые и непоточные текстовые сообщения и использование токенов на предмет единообразия.
Проверьте взаимосвязь между запросом/завершением/общим счетчиком токенов.
Модель просят дословно воспроизвести фиксированную отметку, проверяя, насколько детерминированно выполняются инструкции.
Сравнивайте user only с явным system+user, проверяя, не переопределяются ли фиксированные слова скрытыми директивами.
Используйте минималистские запросы, чтобы определить, является ли входной_токен аномально высоким, и выявить неявное внедрение системы.
В том же вопросе сравнивается потребление ресурсов и поведение реакции между каналами и официальным (или базовым уровнем).
Случайные варианты перепроверяются на наличие аномальных сигналов, таких как утечки nonce, фиксированные ответы и подозрительное повторное использование кэша.
Проверьте, стабильна ли политика безопасности, используя сценарии отказа в ответе и варианты перезаписи/кодирования/прогрессивных вариантов.
Используйте готовые аргументирующие вопросы, чтобы проверить, верны ли проверяемые ответы.
What does each OpenAI check cover?
- Основной запрос
- Убедитесь, что основные запросы завершения чата могут стабильно возвращаться.
- согласованность модели
- Сравните поля модели запроса и модели ответа, чтобы увидеть, совпадают ли они.
- вызов функции
- Проверьтеtool_calls, имя функции, параметр JSON и структуру вызова.
- Структурированный вывод
- Убедитесь, что действуют JSON-схема/строгие ограничения вывода.
- Нормативность протокола
- Проверьте форму таких полей, как идентификатор, объект, выбор, Finish_reason, использование и т. д.
- согласованность потоковой передачи
- Сравните потоковые и непоточные текстовые сообщения и использование токенов на предмет единообразия.
- Биллинг токенов
- Проверьте взаимосвязь между запросом/завершением/общим счетчиком токенов.
- Официальное сравнение одного и того же названия
- В том же вопросе сравнивается потребление ресурсов и поведение реакции между каналами и официальным (или базовым уровнем).
- Точное воспроизведение команд (антикорпус)
- Модель просят дословно воспроизвести фиксированную отметку, проверяя, насколько детерминированно выполняются инструкции.
- Тестирование системных конфликтов
- Сравнивайте user only с явным system+user, проверяя, не переопределяются ли фиксированные слова скрытыми директивами.
- Минималистичный аудит входных токенов
- Используйте минималистские запросы, чтобы определить, является ли входной_токен аномально высоким, и выявить неявное внедрение системы.
- Чрезвычайные способности к рассуждению (счет по теории чисел)
- Используйте готовые аргументирующие вопросы, чтобы проверить, верны ли проверяемые ответы.
- подлинность длинного контекста
- Используйте иголку в стоге сена, чтобы убедиться, что контекстное окно учитывается.
- Скрыть обнаружение инъекции
- Случайные варианты перепроверяются на наличие аномальных сигналов, таких как утечки nonce, фиксированные ответы и подозрительное повторное использование кэша.
- Отказ от безопасности и стабильность политики
- Проверьте, стабильна ли политика безопасности, используя сценарии отказа в ответе и варианты перезаписи/кодирования/прогрессивных вариантов.