Giới hạn của AI - khi nào nên nghi ngờ
Bản chất ảo giác (Hallucination) không lộ ra qua giọng điệu, 4 tín hiệu kích hoạt kiểm chứng và quy trình đối chiếu nguồn độc lập.
Giới hạn của AI - biết khi nào nên nghi ngờ thay vì tin ngay
Ở Module 1, ta đã biết AI có thể ảo giác (hallucination) do bản chất chỉ dự đoán token tiếp theo mà không tự kiểm chứng sự thật. Bài này giúp PM trả lời câu hỏi cốt lõi: Làm sao nhận diện thời điểm cần dừng lại kiểm chứng thay vì tin ngay câu trả lời của AI?
1. Vì sao ảo giác nguy hiểm: Tự tin không đồng nghĩa với đúng
Hallucination nguy hiểm vì hoàn toàn không tự lộ diện qua giọng điệu. Model trình bày thông tin bịa đặt với sự tự tin y hệt như khi trả lời đúng - nó không phân biệt được giữa "tôi chắc chắn" và "tôi đang đoán".
Ẩn dụ: Model như một người bán hàng ăn nói cực kỳ lưu loát, dứt khoát - nhưng lưu loát không đồng nghĩa với am hiểu thực tế.
2. Bốn tín hiệu đáng ngờ kích hoạt kiểm chứng
Vì không thể dựa vào giọng điệu, PM cần nhận diện 4 vùng rủi ro cao:
- Chi tiết cụ thể, ít phổ biến: Ngày tháng chính xác, số liệu thống kê, tên riêng ít người biết, trích dẫn link.
- Sự kiện gần đây: Bất kỳ thông tin nào diễn ra sau mốc thời gian huấn luyện (Knowledge Cutoff).
- Hậu quả lớn nếu sai: Số liệu báo cáo tài chính, điều khoản pháp lý, liều lượng y tế.
- AI không có dữ liệu để biết: Bị hỏi về tài liệu nội bộ hoặc sự kiện chưa từng được cấp vào prompt.
Bốn tín hiệu đáng dừng lại kiểm chứng
Chọn một tín hiệu để xem nó xuất hiện ở đâu - nếu có - trong đoạn trả lời của ví dụ nhà báo.
“Làng gốm này được thành lập năm 1421 bởi nghệ nhân Trần Văn Tứ, người từng học nghề tại Trung Hoa dưới thời nhà Minh. Năm 1978, làng đạt giải Bàn tay vàng quốc gia.”
Chọn một tín hiệu ở trên để tô sáng nó trong đoạn văn.
3. Rủi ro sai sót tập trung vào các con số và thực thể cụ thể
Trong ví dụ về làng gốm trên, văn phong đoạn văn rất mượt mà, nhưng rủi ro ảo giác lại tập trung 100% vào các thực thể cứng: năm thành lập (1421), tên nghệ nhân (Trần Văn Tứ), và giải thưởng (Bàn tay vàng 1978).
Quy tắc PM: Văn phong mượt mà là thế mạnh của model; độ chính xác của từng con số và tên riêng là điểm mù cần kiểm soát.
4. Quy trình xử lý: Đối chiếu nguồn độc lập (không hỏi lại AI)
Khi phát hiện tín hiệu đáng ngờ, tuyệt đối không hỏi lại "Bạn có chắc không?" - model chỉ tiếp tục sinh văn bản xác nhận với cùng mức độ tự tin sai lệch.
Hỏi lại AI không giúp gì - đối chiếu nguồn độc lập mới có tác dụng
“Có chắc không?”
Vẫn giọng điệu tự tin y hệt, vẫn câu trả lời cũ - không có gì trong cách nó tạo câu trả lời đã thay đổi.
Đối chiếu nguồn độc lập
Tài liệu gốc, tìm kiếm, hoặc người có chuyên môn - thứ mà sự tự tin của model không thể thay thế.
Hành động chuẩn: Đối chiếu trực tiếp với Database nội bộ, tài liệu lưu trữ gốc hoặc chuyên gia con người trước khi đưa vào sản phẩm.
Thiết kế EcoCart AI Support & Policy Assistant - từ chi phí token đến tín hiệu đáng ngờ
Bài tập tổng hợp Module 2: Thiết kế trợ lý AI song ngữ (Việt/Anh) tra cứu chính sách cho EcoCart:
- Chi phí token (Bài 5): Quyết định ngôn ngữ System Prompt (Việt vs. Anh), phân tích đánh đổi giữa tiết kiệm chi phí (~35%) và rủi ro lệch sắc thái.
- Context Window (Bài 6): Phân loại thông tin bất biến (chính sách đổi trả, hạn bảo hành) đưa vào System Prompt cố định, tránh bị trôi khỏi bộ nhớ chat.
- Tín hiệu đáng ngờ (Bài 7): Xây dựng checklist 4 tín hiệu giúp nhân viên CSKH kiểm tra trước khi gửi câu trả lời AI cho khách hàng.
- Thử nghiệm đối kháng: Kiểm thử 3 trường hợp biên (prompt tốn token, hội thoại dài >50 lượt, câu hỏi dễ kích hoạt ảo giác) để đánh giá độ an toàn.