Context Window và vì sao AI "quên"

Context Window - khung nhìn giới hạn khiến AI có vẻ như "quên"

Ở Bài 5, ta đã biết mọi thứ model xử lý đều được đo bằng token. Context Window chính là ngân sách token cố định cho một lần gọi model - giới hạn này giải thích hiện tượng AI có vẻ "quên" thông tin trong các phiên chat dài.

1. Context Window là gì: Ngân sách token cố định cho một lần gọi

Context Window là tổng số token tối đa model có thể xử lý trong một lần gọi - bao gồm: System Prompt + Lịch sử hội thoại + Tin nhắn mới + Output chuẩn bị sinh ra.

Quy luật cốt lõi: Con số này cố định theo từng model (ví dụ 128k, 200k token) và không tự giãn ra theo nhu cầu, dù cuộc hội thoại kéo dài bao lâu.

2. Vì sao AI "quên": Do ứng dụng cắt bớt, không phải model mất trí nhớ

Khi hội thoại dài dần và vượt ngân sách token, ứng dụng (không phải model) bắt buộc phải cắt tỉa dữ liệu - giữ lại các tin nhắn gần nhất và loại bỏ (hoặc tóm tắt) tin nhắn cũ nhất:

• Model không "quên" theo nghĩa suy giảm trí nhớ sinh học - đơn giản là nó không còn được cung cấp phần dữ liệu đã bị cắt trong lần gọi đó.
• Ẩn dụ: Context Window như khung cửa sổ toa tàu đang chạy: bạn chỉ nhìn thấy cảnh vật lọt vào khung cửa lúc này, cảnh vật đã trôi qua sẽ mất hẳn khỏi tầm mắt dù vẫn tồn tại trong thực tế.

3. Phân biệt Context Window với tính năng "Memory" dài hạn

Trong một phiên chat đơn, thông tin bị đẩy ra ngoài Context Window sẽ mất hoàn toàn - trừ khi ứng dụng chủ động xây dựng cơ chế lưu trữ riêng (RAG hoặc Persistent Memory).

Nếu sản phẩm không có cơ chế này, model hoàn toàn không thể truy xuất lại dữ liệu cũ đã bị cắt bỏ.

4. Ứng dụng: Chatbot HR tự mâu thuẫn và chiến lược phòng tránh

Tình huống: Nhân viên HR chat hơn 60 tin nhắn với AI để xây quy trình onboarding. Ở tin nhắn #3 quy định "chỉ có 2 loại hợp đồng: chính thức và thử việc, không có thời vụ". Đến tin nhắn #58, HR yêu cầu "soạn checklist cho hợp đồng thời vụ 3 tháng", AI vẫn soạn bình thường vì tin nhắn #3 đã trượt khỏi khung nhìn!