Интеграционное тестирование Claude API

Задача

Разработать скрипт или набор тестов на Python для автоматизированного тестирования Claude API. Входные данные - папка с экспортированными диалогами в формате JSON (conversation fixtures).

Что требуется сделать

• Конвертировать сырые JSON-диалоги в нормализованные тестовые сценарии (test cases) и сохранить их в папку cases/.
• Написать раннер (runner), который для каждого кейса выполняет multi-turn вызовы Claude API, автоматически обрабатывает повторы (ретрансы) и вариации запросов.
• Логировать все результаты прогонов.
• Сформировать финальный отчёт в трёх форматах: results.jsonl (сырые данные), summary.csv (сводная таблица по кейсам) и текстовое описание.
• Подготовить сопроводительный документ с инструкцией по запуску (run_instructions.md) на одну страницу.

Дополнительные условия

• Вся работа выполняется локально, сервер не требуется.
• Запрещено использовать общие названия компаний, сайты или телефоны - всё должно быть анонимно.
• Разрешён как чистый скрипт на Python, так и использование pytest - на усмотрение исполнителя.

Результаты

На выходе должны быть следующие файлы:

• summary.csv - итоги по каждому тестовому кейсу
• results.jsonl - результаты всех выполненных прогонов
• report.pdf или Google Doc - отчёт по тестированию с выводами
• run_instructions.md - как запустить тесты одной командой