# Ручной regression checklist ## 1. Назначение Этот документ фиксирует post-integration baseline для Community UI, auth, secrets и REST/MCP slices. Цель: - дать воспроизводимый regression pass после крупных вертикальных срезов; - отделить автоматический baseline от ручного smoke на стенде; - не заставлять следующего агента заново собирать сценарии по всему проекту. ## Этап исполнения Ручные сценарии этого checklist выполняются в отдельном приёмочном запуске. Для завершения разработки требуются готовые сценарии, fixtures/harness, пороги и шаблоны результатов, а не участие людей или внешние измерения в coding session. Единый [план приёмочного тестирования всех восьми эпиков](acceptance-test-plan.md) задаёт покрытие и порядок запуска. Реальные usability/performance/qualification outcomes остаются `not_run` до исполнения; release gates требуют фактического evidence. ## 2. Автоматический baseline Локальный regression baseline на `2026-04-07`: - `cargo check --workspace` -> passed; - `cd apps/ui && npm run e2e` -> `11 passed`; - e2e стек поднимает: - `postgres`; - `admin-api`; - `mcp-server`; - локальный UI proxy. Покрытые автоматикой сценарии: - login; - operations catalog; - agents; - api keys; - logs; - usage; - workspace/settings; - wizard; - REST draft/test/publish flow. ## 3. Когда запускать этот pass Запускать обязательно после изменений в: - auth/session; - workspace switching; - operations/wizard; - agents; - secrets/auth profiles; - MCP transport; - deploy routing/UI routes. ## 4. Обязательные команды перед ручным проходом ```bash cargo check --workspace cd apps/ui && npm run e2e ``` Если одна из команд не проходит, ручной regression pass не считается завершенным. ## 5. Ручной smoke checklist ### 5.1. Auth и shell - открыть `/login`; - проверить, что страница не зацикливается на redirect; - проверить invalid login; - войти bootstrap admin-пользователем; - убедиться, что после входа открывается `/`; - проверить logout; - войти повторно; - проверить header identity; - проверить language switch; - проверить workspace switch в navbar. ### 5.2. Operations - открыть `/`; - убедиться, что demo operations загружены; - проверить search; - проверить protocol/category/agent filters; - открыть edit существующей operation; - убедиться, что delete доступен только never-published Draft, а Published предлагает archive с подтверждением; - открыть одну Operation в двух вкладках, сохранить обе и проверить, что вторая получает localized stale recovery без потери local edits; - проверить success/error toasts; - проверить clean routes без `/html/...`. ### 5.3. Wizard - открыть `/wizard/`; - убедиться, что доступна только `REST` protocol card; - для нового upstream проверить режимы auth: - `No auth` - `Use existing auth profile` - `Create auth profile now` - создать quick secret из wizard; - создать quick auth profile из wizard; - сохранить upstream; - убедиться, что `execution_config.auth_profile_ref` попадает в draft/test flow; - проверить sample upload; - проверить YAML export/import; - проверить `Test run`; - проверить, что Test run показывает безопасные Request ID и Trace ID с copy controls; - проверить `Publish`, затем edit: Published vN остаётся неизменной, новая правка становится Draft vN+1; - экспортировать Published vN как YAML v2, выполнить semantic no-op и changed upsert; previous Published Version не должна меняться; - архивировать Operation и проверить, что существующий published Agent по-прежнему list/call pinned vN, а новая binding отклоняется. ### 5.4. Agents - открыть `/agents`; - проверить cards и lifecycle badges; - открыть drawer; - проверить bindings; - создать или обновить agent; - проверить publish/unpublish/archive flow; - проверить copy MCP endpoint. ### 5.5. API Keys - открыть `/api-keys`; - создать MCP client key; - убедиться, что raw key показывается один раз; - проверить copy; - закрыть reveal modal и убедиться, что raw key очищен из интерфейса; - проверить revoke и убедиться, что существующая MCP session теряет доступ без restart; - проверить delete revoked key: metadata остаётся со статусом `deleted`, raw/hash не отображаются; - создать approval key с `allowed_origins`; - проверить, что approval запрос с чужим `Origin` отклоняется. - создать Operation с human approval, вызвать Tool дважды с одинаковыми аргументами и разными control-token: должна остаться одна pending заявка; - убедиться, что pending approval summary показывает Agent/Operation Version, expiry и безопасные параметры без raw token/secret; - подтвердить заявку и повторить approve: второй запрос должен вернуть terminal status без повторного upstream side effect. - проверить `last_used_at` после реального machine-auth вызова при необходимости. ### 5.6. Secrets - открыть `/secrets`; - проверить list/create/rotate/delete; - создать: - `token`; - `username_password`; - `header`; - `generic`; - убедиться, что plaintext не возвращается после create/rotate; - проверить usage references через auth profiles; - проверить, что удаление Secret, используемого Auth Profile, возвращает `409 secret_referenced_by_auth_profile`; - проверить, что rotation Secret меняет credential для следующего Wizard Test run без изменения Auth Profile/Operation refs; - проверить audit/log evidence: нет plaintext, ciphertext, hash или raw key; - проверить, что wizard quick-create синхронизируется с этой страницей. ### 5.7. Logs и Usage - открыть `/logs`; - проверить loading/error/empty states; - проверить фильтры period, explicit UTC window, status, outcome group, level/search и кнопку Load more; - открыть detail expansion и убедиться, что видны Request ID, Trace ID и точная Operation Version, но нет raw секретов; - экспортировать CSV из Logs и проверить, что выбранные фильтры применились без page-limit обрезки; - открыть `/usage`; - проверить summary cards; - проверить timeline chart; - проверить outcome groups `success`, `upstream`, `client`, `schema`, `crank`; - проверить server-side CSV export из `/usage/export.csv`, а не client-side snapshot браузера. ### 5.8. Workspace и Settings - открыть `/workspace-setup`; - проверить редактирование имени, slug, описания и цвета единственного workspace; - проверить, что интерфейса приглашений, ролей и управления пользователями нет; - проверить export workspace; - проверить, что delete workspace не отображается; - открыть `/settings`; - проверить profile update; - проверить password change. ### 5.9. Getting Started: протокол usability для пяти участников Этот протокол является планом сбора ручного evidence, а не заявлением о пройденном исследовании. Выполнять его на пяти независимых участниках с fresh self-hosted installation и отдельным новым Admin account для каждого прогона. Участнику нельзя помогать документацией, исходным кодом, поиском по репозиторию или подсказками оператора; разрешён только сам продукт и нормальное MCP client окружение. Для каждого участника: - запустить таймер с первого authenticated рендера protected Admin UI; - использовать Getting Started, создать manual REST Operation, выполнить test, publish, создать/publish Agent и один MCP client key; - сохранить key только через one-time reveal , выполнить публичные `initialize`, `notifications/initialized`, `tools/list`, `tools/call` по canonical endpoint; - остановить таймер после server-authoritative `first_call` с Agent/key/Tool, Request ID и Trace ID в snapshot/Invocation History; - проверить, что refresh/resume не раскрывает raw key, а revoke предлагает deliberate recovery без автоматического создания дубликата; - зафиксировать завершение, duration, все recovery/error states и факт eligibility отдельно от completion. Не записывать bearer, payload, URL частного контура или скриншоты с секретами. Цель — median времени от первого authenticated render до authoritative first call не более 15 минут. Незавершивший участник цензурируется на 30-й минуте, но остаётся в conversion denominator; eligibility denominator и completion numerator публикуются раздельно. До фактического пятиучастникового запуска результат этого протокола остаётся `not_run`, а не `pass`. ### 5.10. Getting Started: ветка готового OpenAPI для пяти участников Этот отдельный сценарий проверяет ветку готовой спецификации по Story 2.15. Он дополняет сценарий 5.9 и не заменяет его: manual REST и OpenAPI результаты записываются отдельно. До запуска подготовьте доступную тестовую REST-службу с безопасными синтетическими данными и OpenAPI-файл, соответствующий текущим ограничениям импорта. Все его actionable методы должны иметь проверяемый результат; если требуется аутентификация, заранее настройте совместимый workspace Auth Profile с тестовым Secret. Не используйте production credentials или данные. Не включайте значения Secret в файл спецификации. Проведите пять независимых прогонов на свежих self-hosted установках и новых Admin accounts. Участникам разрешены только продукт, подготовленный файл и обычное MCP client окружение. До каждого прогона оператор проверяет доступность тестовой службы, файла и MCP client, но не показывает участнику дальнейшие шаги. Назначьте язык интерфейса до начала таймера (как минимум один прогон на русском и один на английском); не переключайте язык во время прогона. Каждый участник сам выполняет действия: 1. Откройте **Getting Started**, выберите путь OpenAPI, загрузите подготовленный файл и запустите preview. 2. Осмотрите методы, findings, security requirements и предлагаемые Operations. Убедитесь, что blocker и unsupported findings видны. Выберите подходящую policy; для защищённого метода используйте совместимый Auth Profile, то есть только ссылку на Secret. 3. Проверьте точный план и последствия для конфликтующих Operations, подтвердите Apply и осмотрите полный report. Если импорт создал несколько Drafts, явно выберите одну actionable Draft для продолжения. Убедитесь, что публикация не произошла автоматически. 4. Обновите страницу и возобновите onboarding. Сверьте выбранную Draft и report; убедитесь, что повторное открытие или продолжение не создало новую версию. При surfaced stale/error recovery следуйте UI: перечитайте актуальные данные, создайте новый preview/plan при изменившемся digest и подтвердите его заново. Запишите фактически увиденную ошибку и восстановление; не имитируйте успешный recovery, если его не удалось пройти. 5. Через обычный Operation wizard проверьте Draft, выполните test и явно опубликуйте Operation. Создайте Agent с этой опубликованной версией, опубликуйте Agent, выпустите MCP client key через one-time reveal , затем выполните публичные `initialize`, `notifications/initialized`, `tools/list` и `tools/call` по показанному MCP endpoint. 6. Завершите прогон только после подтверждения first call в authoritative checklist или Invocation History с Agent, key, Tool, Request ID и Trace ID. В процессе также проверьте refresh/resume после test, publication и создания key; raw key не должен повторно раскрываться. Запустите таймер при первом authenticated рендере protected Admin UI и остановите при authoritative first call. В таблице фиксируйте только обезличенный label участника (`P1`–`P5`), eligibility, язык, завершение, длительность, наблюдённые recovery states и краткий безопасный результат. Не записывайте имя, email, account/workspace IDs, credentials, raw key, payload, исходную спецификацию, endpoint/private URL, Request ID, Trace ID или скриншоты. Для незавершённого eligible прогона укажите `30 min (censored)` независимо от момента остановки; он остаётся в denominator. Рассчитайте median по пяти eligible значениям времени с этим 30-минутным пределом; completion numerator публикуйте отдельно от eligibility denominator. Цель usability — median не более 15 минут. Не записывайте протокол как `pass`, если не выполнены все пять прогонов и цель не достигнута. Перед запуском заполните идентификатор чистой ревизии и безопасные сведения о среде. Запись ревизии допускается только для чистой checkout без незакоммиченных изменений; фиксируйте фактически запущенный commit. Шаблон остаётся `not_run`, пока реальные значения не внесены после проведения исследования: | Поле | Значение | |---|---| | Статус | `not_run` | | Чистая ревизия приложения | `` | | Среда | `` | | Eligible участников | `0 / 5` | | Завершившие до 30 min | `0 / 5` | | Длительности P1–P5 | `` | | Median (censored, max 30 min) | `` | | Recovery после refresh/stale/error | `` | | Итог и ограничения | `` | | Участник | Eligible | Язык | Завершил | Время (max 30 min) | Refresh/recovery и результат | |---|---|---|---|---|---| | P1 | `` | `` | `` | `` | `` | | P2 | `` | `` | `` | `` | `` | | P3 | `` | `` | `` | `` | `` | | P4 | `` | `` | `` | `` | `` | | P5 | `` | `` | `` | `` | `` | Отсутствующий участник не считается нулём: публикуйте eligibility denominator и completion numerator раздельно. Не подменяйте этот human run результатом автоматического теста или документации. ## 6. Protocol smoke pass Для smoke-проверки MCP использовать готовый public target из [public-smoke-targets.md](public-smoke-targets.md). Обязательный кейс: - REST: [Frankfurter examples](../examples/frankfurter/README.md) ## 7. Acceptance criteria Regression pass считается завершенным, если одновременно выполнены условия: - `cargo check --workspace` passed; - Playwright suite passed; - login/shell/manual navigation не ломаются; - `Secrets -> Auth Profiles -> Wizard -> Test run` связка работает; - public REST smoke target проходит; - нет критичных UI regressions на clean routes, i18n и auth redirects. ## 8. Если что-то падает - сначала фиксировать failing automated spec; - потом чинить ручной smoke regression; - после фикса повторять: - `cargo check --workspace`; - `cd apps/ui && npm run e2e`; - только потом фиксировать результат в текущем рабочем трекере.