Quản trị Ngân sách Ngữ cảnh & Suy thoái Bộ nhớ

Suy thoái ngữ cảnh là một ràng buộc sản phẩm

Một cửa sổ ngữ cảnh (context window) lớn chỉ thể hiện dung lượng lưu trữ, không đảm bảo khả năng tập trung (Attention). Khi các thông tin không liên quan hoặc chỉ liên quan yếu tăng lên, model có thể kém hiệu quả từ lâu trước khi chạm tới giới hạn được quảng cáo.

Hai mô hình nghiên cứu giải thích cho sự cố này. Lạc giữa đám đông (Lost in the Middle) phát hiện hiệu ứng hình chữ U: thông tin có liên quan ở đầu hoặc cuối đầu vào dài được truy xuất ổn định hơn thông tin bị chôn ở giữa. Suy thoái ngữ cảnh (Context Rot) khi kiểm thử trên 18 model hàng đầu cho thấy hiệu năng giảm khi đầu vào tăng dù độ khó của tác vụ không đổi, đặc biệt khi nội dung có liên quan phải cạnh tranh với đầu ra của tool, thông tin truy xuất một phần và các yếu tố gây nhiễu. Do đó, dung lượng là chỉ số phát hành sai lầm: một cửa sổ 1M token vẫn có thể suy giảm đáng kể quanh mốc 50K token đang hoạt động.

Hãy hình dung chỉ dẫn hoàn tiền hoàn toàn đúng nhưng bị chôn giữa lịch sử 200 tin nhắn, mười lăm phần body của skill, nhiều câu trả lời lớn của tool và các chính sách trả hàng không liên quan. Không có gì vượt quá giới hạn cửa sổ ngữ cảnh, nhưng model vẫn có thể bỏ qua cổng phê duyệt hoặc chọn nhầm quy tắc thị trường. Đó chính là suy thoái ngữ cảnh: khả năng tập trung hiệu dụng (effective attention) suy giảm trước khi xảy ra tràn ngữ cảnh tuyệt đối. Quản trị ngữ cảnh ngăn điều này bằng cách chủ động định tuyến, truy xuất, nén và giải phóng thông tin một cách có tính toán; một cửa sổ lớn hơn không tự giải quyết được vấn đề.

Đối với PM, ngữ cảnh là một khoản ngân sách có chi phí mà người dùng cảm nhận được. Các chỉ dẫn không cần thiết có thể làm tăng độ trễ, giá thành, sự không nhất quán và số lượt phải sửa lỗi. Thêm nhiều tài liệu không tự động an toàn hơn nếu agent không thể tìm và áp dụng đúng phần có liên quan.

Cơ chế bóc tách tiệm tiến giữ một lượng nhỏ metadata định tuyến luôn sẵn sàng, trong khi lưu trữ phần lớn quy trình và tài liệu tham chiếu bên ngoài prompt đang hoạt động.

Biểu đồ so sánh một prompt lớn với một thư viện skill chỉ nạp phần body đang hoạt động. Cơ hội sản phẩm không đơn thuần là giảm tiêu tốn token. Đó là việc có thêm nhiều năng lực sẵn sàng mà không bắt model phải phân bổ Attention tới mọi quy trình trong mọi yêu cầu.

Hãy đưa hiệu quả kinh tế token vào kế hoạch năng lực. Trong ví dụ của tài liệu gốc, 50 quy trình nằm trong một system prompt tiêu tốn 15.000 token hoạt động ở mọi lượt thoại. Khi chuyển thành skill, khoảng 4.000 token mô tả + một body hoạt động 2.000 token = 6.000 token hoạt động, trong khi 49 body còn lại nằm trên đĩa. Một ví dụ chuyển đổi thực tế đã giảm context hoạt động từ khoảng 150.000 xuống 2.000 token, tức giảm hơn 98%. Đây là các ví dụ tham khảo, không phải lời hứa; thành phẩm bắt buộc là một ngân sách được đo lường cho metadata, body hoạt động, schema của tool, lịch sử, tài liệu truy xuất và dung lượng dự phòng cho câu trả lời trong runtime của team.

Sử dụng các tín hiệu phân tách sau:

• Một team chuyên môn khác sở hữu quy trình.
• Quy trình công việc có điểm kích hoạt và thành phẩm đầu ra riêng biệt.
• Nó sử dụng một tool hoặc ranh giới phân quyền cụ thể.
• Các ví dụ chi tiết của nó không liên quan tới phần lớn các yêu cầu khác.
• Team có thể viết một tập đánh giá tập trung cho nó.

Chuyển các ví dụ, chính sách dài, template và tài liệu nguồn sang các file được tham chiếu. Giữ quy trình chính đủ ngắn để người kiểm duyệt có thể hiểu luồng điều khiển và các ngoại lệ trong một lần đọc.