Model tạo output từ input như thế nào
Cơ chế suy luận xác suất (Inference), sinh token từng mảnh (Token-by-token), nguyên nhân gây ảo giác (Hallucination) và thiết kế luồng Human-in-the-Loop kiểm soát rủi ro.
Cơ chế sinh output theo xác suất và hệ quả đối với trải nghiệm người dùng
Phần mềm truyền thống trả kết quả qua database query cố định. Mô hình ngôn ngữ thì khác: dự đoán phần tiếp theo có xác suất cao nhất dựa trên bối cảnh.
Ví dụ: EcoCart xây tính năng AI Auto-Reply Draft (soạn nháp phản hồi để nhân viên CSKH duyệt trước khi gửi). Để thiết kế UX và kiểm soát rủi ro, PM cần hiểu cơ chế suy luận (Inference) bên dưới.
1. Bản chất của suy luận (Inference): Dự đoán phần tiếp theo thay vì tra cứu cơ sở dữ liệu
Ở giai đoạn Inference, mô hình không tra cứu cơ sở dữ liệu - nó tính xác suất để dự đoán từ tiếp theo khớp với prompt và pattern đã học, tương tự auto-suggest bàn phím điện thoại nhưng mở rộng trên toàn bộ ngữ cảnh.
Ví dụ: Với input "Doanh thu EcoCart giảm quý này vì...", mô hình không tra báo cáo tài chính thật. Nó quét pattern văn bản kinh doanh và ghép phần tiếp theo có xác suất cao nhất ("...nhu cầu thị trường chững lại" hoặc "...chi phí nguyên vật liệu tăng cao"). Cả hai đều nghe hợp lý nhưng là suy luận xác suất, không phải sự thật khách quan.
Tra cứu Database vs. Suy luận xác suất
Phần mềm truyền thống lấy ra một đáp án có sẵn. Mô hình ngôn ngữ dự đoán ra một đáp án.
PHẦN MỀM TRUYỀN THỐNG
Cùng input → luôn cùng output
LANGUAGE MODEL
Suy luận xác suất pattern, không phải tra cứu sự thật
2. Quy trình sinh văn bản từng mảnh (Token-by-Token) và Streaming UI
Mô hình sinh văn bản từng token một (từ, cụm ký tự hoặc dấu câu) theo vòng lặp tuần tự. Cơ chế này dẫn tới 2 hệ quả thiết kế:
- Streaming UI: Tránh chờ sinh xong 500 từ gây cảm giác trễ; giao diện cần stream hiển thị từng token theo thời gian thực.
- Context Drift: Token sau phụ thuộc vào toàn bộ token trước. Nếu token đầu lệch hướng, toàn bộ câu trả lời phía sau sẽ bị lệch hướng (drift) theo chuỗi sai lệch đó mà không thể tự "undo".
Vòng lặp generation, tháo rời từng token một
Mỗi token mới sinh ra được nối vào context, rồi model đọc lại toàn bộ để chọn token tiếp theo.
Doanh thu EcoCart giảm quý này vì
- “nhu cầu”41%
- “chi phí”33%
- “thời vụ”12%
3. Nguyên nhân gây ra ảo giác (Hallucination) và sự tự tin của Model
Dự đoán theo xác suất giải thích nguồn gốc rủi ro lớn nhất: Hallucination (Ảo giác) - mô hình đưa ra thông tin sai lệch nhưng diễn đạt rất tự tin vì nó chỉ tối ưu độ mượt ngôn ngữ, không kiểm chứng sự thật.
Ví dụ: Khách hỏi "Chính sách đổi trả hàng điện tử EcoCart trong bao nhiêu ngày?" Nếu prompt thiếu dữ liệu, model có thể tự tin đáp "30 ngày" (dù thực tế là 7 ngày), đơn giản vì cụm "hàng điện tử" hay đi kèm pattern "30 ngày" trong dữ liệu huấn luyện.
Bài tập tư duy: Với prompt "Khách hàng phàn nàn vì...", mô hình có xu hướng chọn các pattern phổ biến trong e-commerce:
- Hướng 1 (Thời trang):
"...kích thước thực tế không đúng bảng quy đổi size." - Hướng 2 (Logistics):
"...giao hàng trễ hạn và bao bì bị móp méo." - Góc nhìn PM: Cả hai đều có xác suất cao vì chúng xuất hiện nhiều trong dữ liệu huấn luyện, giúp câu trả lời tự nhiên dù chưa biết chính xác vấn đề thực tế của khách hàng.
4. Quản lý tính không định hình (Non-determinism) trong thiết kế sản phẩm
Mô hình AI không định hình (non-deterministic): cùng một prompt, hai lần gọi có thể ra kết quả khác nhau. PM kiểm soát rủi ro bằng 3 chiến lược:
| Rủi ro UX do tính không định hình | Giải pháp thiết kế sản phẩm (PM Strategy) |
|---|---|
| Trả lời sai chính sách CSKH | Grounding Context (RAG): Đưa quy định chính xác vào prompt trước khi suy luận |
| Câu văn dài ngắn bất thường | Ràng buộc định dạng: Yêu cầu output dạng JSON hoặc áp dụng giới hạn max_tokens |
| Khách nhận phản hồi ảo giác | Human-in-the-Loop: Hiển thị dạng bản nháp để nhân viên duyệt trước khi gửi |