Khung Quyết định Phát hành (Launch Gate) & Kịch bản Rollback
Gắn quyết định phát hành với chủ sở hữu và ngưỡng định lượng, diễn tập kịch bản hoàn tác (Rollback), soạn thảo bản đề xuất phát hành dựa trên bằng chứng.
Xác định chủ sở hữu, tiêu chí phát hành và rollback trước pilot
Gán các chủ sở hữu được nêu tên trước khi bản khuyến nghị phát hành được viết:
Gắn mỗi quyết định phát hành với một người, ngưỡng và thời gian phản ứng
Trong pilot sales agent, nhóm sản phẩm sở hữu nhóm người dùng nội bộ được hỗ trợ và ranh giới chỉ lập bản nháp; chủ sở hữu agent chịu trách nhiệm phiên bản prompt và phương án dự phòng; chủ sở hữu MCP chịu trách nhiệm tính sẵn sàng đọc và công tắc vô hiệu hoá khẩn cấp; an toàn chịu trách nhiệm chính sách email và PII; đánh giá chịu trách nhiệm ca đóng băng và hiệu chuẩn judge; vận hành chịu trách nhiệm cảnh báo, chi phí và diễn tập hoàn tác. Chỉ nêu tên team mà không có người trực on-call, quyền quyết định hoặc thời gian phản hồi vẫn khiến sự cố không có chủ sở hữu.
| Khu vực | Chủ sở hữu phải quyết định |
|---|---|
| Sản phẩm & Spec | Công việc được hỗ trợ, ranh giới tự chủ, tiêu chí nghiệm thu và nhóm người dùng |
| Agent & Prompt | Phiên bản agent, các thay đổi chỉ dẫn, phương án dự phòng và sự suy giảm chất lượng |
| Tool & MCP | Hợp đồng, tính sẵn sàng, phân quyền, truy cập dữ liệu và tắt khẩn cấp |
| An ninh & Chính sách | Các tầng rủi ro, quy tắc chính sách, các sự cố, thời hạn ngoại lệ và bằng chứng kiểm toán |
| Đánh giá | Tập dữ liệu, rubric, hiệu chuẩn judge, các ngưỡng và phân loại lỗi |
| Vận hành | Trực on-call, khả năng quan sát, ngân sách chi phí, kiểm soát triển khai và diễn tập hoàn tác |
Dùng bảng điểm phát hành có cổng cứng, thay vì điểm trung bình có thể che giấu lỗi nghiêm trọng. Tiêu chí pilot ví dụ: không hành động bị cấm nào thành công trong tập tấn công; 100% hành động cần phê duyệt có biên nhận; mọi kịch bản BDD trọng yếu đều vượt qua; điểm về mục tiêu và luồng gọi tool đạt khoảng lề baseline đã thống nhất; hoàn tác thành công trong diễn tập; độ trễ p95 và chi phí mỗi tác vụ trong ngân sách; mọi cảnh báo, tool, chính sách và tập dữ liệu đều có chủ sở hữu.
Hãy xác định trước tín hiệu hoàn tác: một hành động bên ngoài chưa được phân quyền đã được xác nhận, lộ dữ liệu nghiêm trọng, chất lượng liên tục dưới ngưỡng, circuit breaker kích hoạt lặp lại hoặc chi phí vượt guardrail. Kế hoạch hoàn tác phải vô hiệu hoá tool ghi, đưa sản phẩm về chỉ đọc hoặc chỉ lập bản nháp, thu hồi credential, lưu vết, thông báo chủ sở hữu và xác minh trạng thái mà người dùng nhìn thấy. Hãy diễn tập trước khi phát hành và ghi thời gian phục hồi; kế hoạch chưa kiểm thử chỉ là tài liệu trên giấy.
Diễn tập hoàn tác như một kịch bản sản phẩm hiển thị cho người dùng
Hãy chạy việc hoàn tác như một kịch bản sản phẩm trước đợt thử nghiệm. Tiêm vào một lỗi phiên bản chính sách có thể cho phép ghi trực tiếp vào CRM, xác nhận giám sát an toàn hoặc eval tấn công phát hiện ra nó, kích hoạt công tắc ngắt (kill switch), thu hồi credential ghi, giữ bản tóm tắt chỉ đọc hoạt động, giữ lại các bản ghi trace bị ảnh hưởng, và hiển thị cho người dùng thấy các hành động tạm thời chuyển về chỉ nháp. Buổi diễn tập chỉ vượt qua khi hệ thống đạt trạng thái an toàn trong thời gian mục tiêu và team có thể xác định được các phiên bản spec, chính sách, agent và nhóm người dùng nào đã bị ảnh hưởng.
Bước tiếp theo nên được ship là gì?
Sáu release scorecard. Hãy chọn recommendation mà evidence thực sự đủ sức bảo vệ.
Launch gate cố định
Hard gate - không có prohibited action nào thực thi thành công - mọi action cần approval đều có receipt đầy đủ - toàn bộ critical BDD scenario đều pass - intent score và trajectory score đạt baseline margin - rollback thành công trong rehearsal - latency và cost nằm trong budget - mọi alert, tool, policy và dataset đều có owner Không average nào bù được một critical safety failure.
Đề xuất release
Launch sales-research agent cho 25 account executive nội bộ, chỉ dùng approved read-only data và chỉ tạo draft CRM proposal.
Evidence trong scorecard
Mọi critical BDD case đều pass, adversarial set ghi nhận không có prohibited action nào, receipt coverage đạt 100%, rollback hoàn tất trong bốn phút, còn latency và cost vẫn trong budget.
Recommendation nào có thể bảo vệ được?
Average cao không bao giờ xóa được một critical failure. Recommendation phải bám đúng evidence, safe state và cohort đã test.