docs: add staging regression notes template
This commit is contained in:
@@ -47,6 +47,7 @@ Crank - платформа для публикации внешних API в в
|
|||||||
- `docs/runtime-config.md` - конфигурация окружения.
|
- `docs/runtime-config.md` - конфигурация окружения.
|
||||||
- `docs/deployment.md` - деплой, reverse proxy и CI/CD.
|
- `docs/deployment.md` - деплой, reverse proxy и CI/CD.
|
||||||
- `docs/deploy-and-staging-smoke.md` - канонический post-deploy smoke pass для staging/production-like окружения.
|
- `docs/deploy-and-staging-smoke.md` - канонический post-deploy smoke pass для staging/production-like окружения.
|
||||||
|
- `docs/staging-regression-notes.md` - журнал реальных замечаний и результатов post-deploy проверок на стенде.
|
||||||
- `docs/demo-runbook.md` - демонстрационный сценарий.
|
- `docs/demo-runbook.md` - демонстрационный сценарий.
|
||||||
- `docs/public-smoke-targets.md` - готовые публичные upstream-сервисы и payload-ы для smoke-проверки MCP.
|
- `docs/public-smoke-targets.md` - готовые публичные upstream-сервисы и payload-ы для smoke-проверки MCP.
|
||||||
- `docs/secrets-auth-plan.md` - целевая модель upstream secrets, auth profiles и пошаговый план реализации.
|
- `docs/secrets-auth-plan.md` - целевая модель upstream secrets, auth profiles и пошаговый план реализации.
|
||||||
|
|||||||
@@ -2,18 +2,18 @@
|
|||||||
|
|
||||||
## Current
|
## Current
|
||||||
|
|
||||||
### `feat/deploy-and-staging-smoke`
|
### `feat/staging-regression-notes`
|
||||||
|
|
||||||
Status: completed
|
Status: completed
|
||||||
|
|
||||||
DoD:
|
DoD:
|
||||||
- deploy/staging smoke checklist exists
|
- staging regression log template exists
|
||||||
- checklist covers server health, proxy routing, auth, UI pages, secrets, MCP, streaming
|
- deploy smoke runbook links to the regression log
|
||||||
- deployment, demo and README docs link to the same smoke runbook
|
- README references the regression log as the canonical post-deploy notes location
|
||||||
|
|
||||||
## Next
|
## Next
|
||||||
|
|
||||||
- `feat/staging-regression-notes`
|
- `feat/next-live-staging-pass`
|
||||||
|
|
||||||
## Backlog
|
## Backlog
|
||||||
|
|
||||||
|
|||||||
@@ -9,6 +9,8 @@
|
|||||||
- быстро проверить, что свежий deploy реально жив, а не просто "docker compose up -d завершился";
|
- быстро проверить, что свежий deploy реально жив, а не просто "docker compose up -d завершился";
|
||||||
- дать следующему агенту и оператору один канонический сценарий проверки после релиза.
|
- дать следующему агенту и оператору один канонический сценарий проверки после релиза.
|
||||||
|
|
||||||
|
Результаты прохождения этого checklist нужно заносить в [staging-regression-notes.md](/home/a.tolmachev/code/rust/mcpaas/docs/staging-regression-notes.md).
|
||||||
|
|
||||||
## 2. Когда использовать
|
## 2. Когда использовать
|
||||||
|
|
||||||
Запускать после:
|
Запускать после:
|
||||||
|
|||||||
@@ -0,0 +1,142 @@
|
|||||||
|
# Staging Regression Notes
|
||||||
|
|
||||||
|
## 1. Назначение
|
||||||
|
|
||||||
|
Этот документ фиксирует результаты ручных проверок на staging/production-like окружении после deploy.
|
||||||
|
|
||||||
|
Он нужен для трех задач:
|
||||||
|
|
||||||
|
- хранить пост-деплойные замечания вне чата;
|
||||||
|
- отличать разовые сбои окружения от продуктовых регрессий;
|
||||||
|
- дать следующему агенту нормальный handoff по реальному состоянию стенда.
|
||||||
|
|
||||||
|
Использовать вместе с:
|
||||||
|
|
||||||
|
- [deploy-and-staging-smoke.md](/home/a.tolmachev/code/rust/mcpaas/docs/deploy-and-staging-smoke.md)
|
||||||
|
- [manual-regression-checklist.md](/home/a.tolmachev/code/rust/mcpaas/docs/manual-regression-checklist.md)
|
||||||
|
|
||||||
|
## 2. Как вести записи
|
||||||
|
|
||||||
|
Каждый deploy или ручной regression pass должен добавляться новым блоком в начало документа.
|
||||||
|
|
||||||
|
На один блок фиксировать:
|
||||||
|
|
||||||
|
- дата и время;
|
||||||
|
- окружение;
|
||||||
|
- commit/tag/image;
|
||||||
|
- кто запускал pass;
|
||||||
|
- какие smoke steps прошли;
|
||||||
|
- какие дефекты подтверждены;
|
||||||
|
- какие наблюдения являются только инфраструктурными;
|
||||||
|
- какие follow-up fixes нужны.
|
||||||
|
|
||||||
|
Если замечание исправлено, не удалять его из истории, а отметить:
|
||||||
|
|
||||||
|
- `status: fixed`
|
||||||
|
- `fixed_by: <commit>`
|
||||||
|
|
||||||
|
## 3. Формат записи
|
||||||
|
|
||||||
|
Использовать такой шаблон:
|
||||||
|
|
||||||
|
```md
|
||||||
|
## YYYY-MM-DD HH:MM TZ — <environment>
|
||||||
|
|
||||||
|
- deploy commit: `<sha>`
|
||||||
|
- checked by: `<name>`
|
||||||
|
- smoke status: `passed | partial | failed`
|
||||||
|
- scope:
|
||||||
|
- auth
|
||||||
|
- ui shell
|
||||||
|
- operations
|
||||||
|
- wizard
|
||||||
|
- agents
|
||||||
|
- api keys
|
||||||
|
- secrets
|
||||||
|
- logs
|
||||||
|
- usage
|
||||||
|
- streaming
|
||||||
|
- mcp smoke
|
||||||
|
|
||||||
|
### Passed
|
||||||
|
|
||||||
|
- ...
|
||||||
|
|
||||||
|
### Findings
|
||||||
|
|
||||||
|
1. `<severity>` `<short title>`
|
||||||
|
- area: `<page/service>`
|
||||||
|
- symptom: `...`
|
||||||
|
- reproduction: `...`
|
||||||
|
- expected: `...`
|
||||||
|
- actual: `...`
|
||||||
|
- status: `open | fixed | accepted`
|
||||||
|
- fixed_by: `<sha or ->`
|
||||||
|
|
||||||
|
### Infra notes
|
||||||
|
|
||||||
|
- ...
|
||||||
|
|
||||||
|
### Follow-up
|
||||||
|
|
||||||
|
- ...
|
||||||
|
```
|
||||||
|
|
||||||
|
## 4. Severity model
|
||||||
|
|
||||||
|
Использовать только 4 уровня:
|
||||||
|
|
||||||
|
- `critical`
|
||||||
|
deploy unusable, login broken, MCP unavailable, data corruption risk
|
||||||
|
- `high`
|
||||||
|
primary flow broken, но система частично работает
|
||||||
|
- `medium`
|
||||||
|
заметный UX/runtime дефект с обходным путем
|
||||||
|
- `low`
|
||||||
|
косметика, wording, layout, docs mismatch
|
||||||
|
|
||||||
|
## 5. Что считать finding, а что нет
|
||||||
|
|
||||||
|
### Считать finding
|
||||||
|
|
||||||
|
- broken routing;
|
||||||
|
- redirect loop;
|
||||||
|
- wrong auth/session behavior;
|
||||||
|
- page-level JS exception;
|
||||||
|
- incorrect MCP result;
|
||||||
|
- secret/auth profile flow mismatch;
|
||||||
|
- deploy route returning HTML instead of JSON;
|
||||||
|
- streaming session/job inconsistency.
|
||||||
|
|
||||||
|
### Не считать product finding
|
||||||
|
|
||||||
|
- разовый сетевой timeout;
|
||||||
|
- локальный browser glitch без воспроизведения;
|
||||||
|
- внешний upstream outage из публичного smoke target;
|
||||||
|
- предупреждения, не влияющие на flow;
|
||||||
|
- заранее известные `planned` capability blocks.
|
||||||
|
|
||||||
|
Такие случаи писать в `Infra notes`, а не в `Findings`.
|
||||||
|
|
||||||
|
## 6. Open follow-up inventory
|
||||||
|
|
||||||
|
Пока документ создается как шаблон, без зафиксированных staging defects.
|
||||||
|
|
||||||
|
Первый реальный проход должен заполнить минимум:
|
||||||
|
|
||||||
|
- auth/login status;
|
||||||
|
- clean routes status;
|
||||||
|
- `Secrets -> Auth Profiles -> Wizard -> Test run` статус;
|
||||||
|
- `REST`, `GraphQL`, `gRPC` smoke results;
|
||||||
|
- streaming pages status;
|
||||||
|
- WebSocket/SOAP note:
|
||||||
|
- `not exercised`
|
||||||
|
- или `failed/passed` с причиной.
|
||||||
|
|
||||||
|
## 7. Последняя актуальная запись
|
||||||
|
|
||||||
|
На момент создания документа:
|
||||||
|
|
||||||
|
- automated baseline локально зеленый;
|
||||||
|
- канонический post-deploy smoke runbook существует;
|
||||||
|
- staging findings еще не занесены.
|
||||||
Reference in New Issue
Block a user