ci: harden community release baseline
This commit is contained in:
@@ -35,18 +35,17 @@
|
||||
|
||||
### Infra notes
|
||||
|
||||
- this pass covered only unauthenticated public/staging smoke;
|
||||
- authenticated UI flows, MCP tool calls, secrets/auth-profile flows and protocol smoke were not exercised in this entry.
|
||||
- this pass covered only unauthenticated public or staging smoke;
|
||||
- authenticated UI flows, MCP tool calls, secrets/auth-profile flows and REST smoke were not exercised in this entry.
|
||||
|
||||
### Follow-up
|
||||
|
||||
- run a full authenticated browser smoke after the next deploy;
|
||||
- record `REST`, `GraphQL`, `gRPC` protocol smoke results in the next entry;
|
||||
- add WebSocket/SOAP status as `not exercised` or `passed/failed` explicitly.
|
||||
- record REST and MCP smoke results in the next entry.
|
||||
|
||||
## 1. Назначение
|
||||
|
||||
Этот документ фиксирует результаты ручных проверок на staging/production-like окружении после deploy.
|
||||
Этот документ фиксирует результаты ручных проверок на staging или production-like окружении после deploy.
|
||||
|
||||
Он нужен для трех задач:
|
||||
|
||||
@@ -56,11 +55,11 @@
|
||||
|
||||
Использовать вместе с:
|
||||
|
||||
- [deploy-and-staging-smoke.md](/home/a.tolmachev/code/rust/mcpaas/docs/deploy-and-staging-smoke.md)
|
||||
- [manual-regression-checklist.md](/home/a.tolmachev/code/rust/mcpaas/docs/manual-regression-checklist.md)
|
||||
- [authenticated-staging-pass.md](/home/a.tolmachev/code/rust/mcpaas/docs/authenticated-staging-pass.md)
|
||||
- [deploy-and-staging-smoke.md](deploy-and-staging-smoke.md)
|
||||
- [manual-regression-checklist.md](manual-regression-checklist.md)
|
||||
- [authenticated-staging-pass.md](authenticated-staging-pass.md)
|
||||
|
||||
Шаблон нового блока можно быстро сгенерировать через:
|
||||
Если нужно сгенерировать заготовку новой записи:
|
||||
|
||||
```bash
|
||||
just staging-note-block <domain> <deploy-sha> "codex + operator"
|
||||
@@ -68,17 +67,14 @@ just staging-note-block <domain> <deploy-sha> "codex + operator"
|
||||
|
||||
## 2. Как вести записи
|
||||
|
||||
Каждый deploy или ручной regression pass должен добавляться новым блоком в начало документа.
|
||||
Добавлять новую запись сверху документа.
|
||||
|
||||
На один блок фиксировать:
|
||||
В каждой записи обязательно фиксировать:
|
||||
|
||||
- дата и время;
|
||||
- окружение;
|
||||
- commit/tag/image;
|
||||
- кто запускал pass;
|
||||
- какие smoke steps прошли;
|
||||
- какие дефекты подтверждены;
|
||||
- какие наблюдения являются только инфраструктурными;
|
||||
- какой deploy проверялся;
|
||||
- кто проводил проверку;
|
||||
- какой scope реально покрыт;
|
||||
- какие findings найдены;
|
||||
- какие follow-up fixes нужны.
|
||||
|
||||
Если замечание исправлено, не удалять его из истории, а отметить:
|
||||
@@ -106,7 +102,7 @@ just staging-note-block <domain> <deploy-sha> "codex + operator"
|
||||
- secrets
|
||||
- logs
|
||||
- usage
|
||||
- streaming
|
||||
- rest smoke
|
||||
- mcp smoke
|
||||
|
||||
### Passed
|
||||
@@ -142,7 +138,7 @@ just staging-note-block <domain> <deploy-sha> "codex + operator"
|
||||
- `high`
|
||||
primary flow broken, но система частично работает
|
||||
- `medium`
|
||||
заметный UX/runtime дефект с обходным путем
|
||||
заметный UX или runtime дефект с обходным путем
|
||||
- `low`
|
||||
косметика, wording, layout, docs mismatch
|
||||
|
||||
@@ -156,14 +152,13 @@ just staging-note-block <domain> <deploy-sha> "codex + operator"
|
||||
- page-level JS exception;
|
||||
- incorrect MCP result;
|
||||
- secret/auth profile flow mismatch;
|
||||
- deploy route returning HTML instead of JSON;
|
||||
- streaming session/job inconsistency.
|
||||
- deploy route returning HTML instead of JSON.
|
||||
|
||||
### Не считать product finding
|
||||
|
||||
- разовый сетевой timeout;
|
||||
- локальный browser glitch без воспроизведения;
|
||||
- внешний upstream outage из публичного smoke target;
|
||||
- внешний upstream outage из public REST smoke target;
|
||||
- предупреждения, не влияющие на flow;
|
||||
- заранее известные `planned` capability blocks.
|
||||
|
||||
@@ -176,11 +171,8 @@ just staging-note-block <domain> <deploy-sha> "codex + operator"
|
||||
- auth/login status;
|
||||
- clean routes status;
|
||||
- `Secrets -> Auth Profiles -> Wizard -> Test run` статус;
|
||||
- `REST`, `GraphQL`, `gRPC` smoke results;
|
||||
- streaming pages status;
|
||||
- WebSocket/SOAP note:
|
||||
- `not exercised`
|
||||
- или `failed/passed` с причиной.
|
||||
- REST smoke results;
|
||||
- MCP smoke result.
|
||||
|
||||
## 7. Последняя актуальная запись
|
||||
|
||||
|
||||
Reference in New Issue
Block a user