fix(epic-1): repair atomic agent edits and dispatch certainty
This commit is contained in:
1 parent
82b215dd74
commit
7aa854de26
16 files changed
+1600
-57
No files matched your search
@@ -30,6 +30,8 @@ Crank превращает REST API endpoint-ы в MCP-инструменты,
|
||||
- [Capability Baseline](./capability-baseline/manifest.json) — versioned SHA-256
|
||||
snapshot фактических UI, Admin API и MCP flows, taxonomy, checklist и
|
||||
sanitized evidence results.
|
||||
- [Evidence разработки](./development-evidence.md) — clean baseline, проверенная
|
||||
revision реализации и отдельная запись текущего completion evidence.
|
||||
- [Schema Capability Baseline](./schemas/capability-baseline.schema.json) —
|
||||
fail-closed manifest contract.
|
||||
- [Настройки окружения](./runtime-config.md)
|
||||
|
||||
@@ -0,0 +1,75 @@
|
||||
# Evidence разработки
|
||||
|
||||
Этот порядок помогает восстановить состояние кода и результат каждого
|
||||
проверяемого этапа. Он не заменяет [Capability Baseline](./capability-baseline/manifest.json):
|
||||
baseline хранит версионированный снимок capability Inventory и исторические
|
||||
результаты, а completion evidence указывает, что именно проверено для текущего
|
||||
этапа или завершения.
|
||||
|
||||
## Ревизии этапа
|
||||
|
||||
До начала этапа запишите полный Git commit `baseline_commit` и убедитесь, что
|
||||
`git status --short` пуст. Это проверка tracked, staged и обычных untracked
|
||||
изменений; игнорируемые локальные файлы не входят в Git baseline. Не записывайте
|
||||
`baseline + uncommitted worktree` как revision.
|
||||
|
||||
После изменений сохраните проверенный implementation revision отдельным полным
|
||||
commit hash. Проверки, которые подтверждают завершение этапа, должны относиться
|
||||
к этому commit при чистом worktree. Укажите использованные конфигурацию и
|
||||
класс окружения: одинаковый commit сам по себе не описывает их.
|
||||
|
||||
Если нужен RED до коммита, зафиксируйте его как промежуточное наблюдение: укажите
|
||||
`baseline_commit`, SHA-256 сохранённого diff/artifact, включающего изменения
|
||||
(в том числе untracked test files), команду и её фактический результат. Не
|
||||
представляйте baseline вместе с незакоммиченным diff как implementation revision.
|
||||
После RED повторите нужные проверки на отдельном чистом implementation revision.
|
||||
|
||||
## Запись completion evidence
|
||||
|
||||
Для текущего завершения используйте отдельный versioned index и sanitized
|
||||
evidence-файлы с устойчивыми repository-relative ссылками. Запись должна позволять
|
||||
повторно определить проверенное состояние и результат, не сохраняя секреты,
|
||||
локальные абсолютные пути или произвольные payloads. Для каждой проверки укажите:
|
||||
|
||||
- идентификатор этапа/запуска и полный `baseline_commit`;
|
||||
- полный `implementation_revision` проверенного commit;
|
||||
- конфигурацию/toolchain и класс окружения;
|
||||
- точную команду, exit code и фактические counts `passed`, `failed`, `skipped`
|
||||
(или эквивалентный summary для команды без тестового счётчика);
|
||||
- repository-relative путь к sanitised log/report и его SHA-256.
|
||||
|
||||
Если результаты не относятся к одной и той же ревизии, конфигурации или
|
||||
окружению, записывайте их раздельно. Не выводите PASS из exit code без проверки
|
||||
счётчиков и пропусков; сохраняйте fail, flaky, skipped, not-run и manual-only
|
||||
как наблюдались. Новое completion evidence не переписывает historical baseline
|
||||
или его manual failures.
|
||||
|
||||
Изменение canonical Capability Inventory status/evidence по-прежнему требует
|
||||
обновить versioned `docs/capability-baseline/manifest.json`, sanitized
|
||||
`docs/capability-baseline/results.json`, `baseline_version` и SHA-256 согласно
|
||||
его schema и проверкам. Отдельный completion index не ослабляет и не обходит
|
||||
этот gate.
|
||||
|
||||
Компактный шаблон записи:
|
||||
|
||||
```yaml
|
||||
id: <stage-or-run-id>
|
||||
baseline_commit: <full-git-commit>
|
||||
implementation_revision: <full-git-commit>
|
||||
environment:
|
||||
class: <environment-class>
|
||||
config: <tracked-config-or-versioned-reference>
|
||||
command: <exact-command>
|
||||
exit_code: <actual-integer>
|
||||
counts:
|
||||
passed: <actual-count>
|
||||
failed: <actual-count>
|
||||
skipped: <actual-count>
|
||||
evidence:
|
||||
path: <repository-relative-sanitized-report>
|
||||
sha256: <sha256-of-report>
|
||||
```
|
||||
|
||||
Для промежуточного RED вместо `implementation_revision` укажите
|
||||
`diff_sha256` и ссылку на сохранённый diff/artifact; не выдавайте его за
|
||||
проверенный implementation commit.
|
||||
@@ -0,0 +1,40 @@
|
||||
const assert = require('node:assert/strict');
|
||||
const { chromium } = require(process.env.CRANK_PROBE_PLAYWRIGHT || require('node:path').resolve(__dirname, '../../../apps/ui/node_modules/@playwright/test'));
|
||||
(async () => {
|
||||
const browser = await chromium.launch();
|
||||
try {
|
||||
const page = await browser.newPage();
|
||||
await page.goto('http://127.0.0.1:3300/login');
|
||||
await page.locator('#email').fill('owner@crank.local');
|
||||
await page.locator('#password').fill('change-me-admin-password');
|
||||
await page.locator('.btn-signin').click();
|
||||
await page.waitForURL('http://127.0.0.1:3300/');
|
||||
const result = await page.evaluate(async () => {
|
||||
const api = window.CrankApi;
|
||||
const session = await api.getSession();
|
||||
const csrf = await api.refreshSessionCsrf();
|
||||
session.csrf_token = csrf.csrf_token; window.CrankAuth.replaceSession(session);
|
||||
const ws = session.current_workspace_id || session.memberships[0].workspace.id;
|
||||
const agents = await api.listAgents(ws);
|
||||
const list = Array.isArray(agents) ? agents : (agents.agents || agents.items);
|
||||
const source = list.find(a => a.latest_published_version != null);
|
||||
if (!source) throw new Error('No published fixture Agent');
|
||||
const sid = source.agent_id || source.id;
|
||||
const version = await fetch('/api/admin/workspaces/'+ws+'/agents/'+sid+'/versions/'+source.latest_published_version).then(r=>r.json());
|
||||
const bindings = version.bindings.map(b => ({operation_id:b.operation_id,operation_version:b.operation_version,tool_name:b.tool_name,tool_title:b.tool_title,tool_description_override:b.tool_description_override,enabled:b.enabled}));
|
||||
const created = await api.createAgent(ws,{slug:'retro-probe-'+Date.now(),display_name:'Retro probe',description:'Synthetic regression probe',instructions:{},tool_selection_policy:{}});
|
||||
const id = created.agent_id || created.id;
|
||||
await api.saveAgentBindings(ws,id,bindings);
|
||||
await api.publishAgent(ws,id,{version:1});
|
||||
const before=await api.getAgent(ws,id);
|
||||
const publishedBefore=await fetch('/api/admin/workspaces/'+ws+'/agents/'+id+'/versions/1').then(r=>r.json());
|
||||
let errorCode=null; let saved=null;
|
||||
try { saved=await api.saveAgentBindings(ws,id,bindings); } catch(e) { errorCode=e.errorCode || e.code || e.message; }
|
||||
const after=await api.getAgent(ws,id);
|
||||
const publishedAfter=await fetch('/api/admin/workspaces/'+ws+'/agents/'+id+'/versions/1').then(r=>r.json());
|
||||
return {before_draft:before.current_draft_version,after_draft:after.current_draft_version,saved_version:saved && saved.version,published_unchanged:JSON.stringify(publishedBefore)===JSON.stringify(publishedAfter),error:errorCode};
|
||||
});
|
||||
console.log(JSON.stringify(result));
|
||||
assert.equal(result.error,null); assert.equal(result.before_draft,1); assert.equal(result.after_draft,2); assert.equal(result.saved_version,2); assert.equal(result.published_unchanged,true);
|
||||
} finally { await browser.close(); }
|
||||
})().catch(e=>{console.error(e.message);process.exitCode=1;});
|
||||
Reference in new issue
Block a user