Chuẩn bị tài liệu và phân quyền cho trợ lý AI nội bộ
Trợ lý AI tra cứu nội bộ chỉ trả lời tốt khi tài liệu nguồn đầy đủ, có phiên bản rõ ràng và được cập nhật đúng hạn. Mỗi nguồn cần có người phụ trách, quyền truy cập được áp dụng ngay khi truy xuất, và một bộ câu hỏi thực tế để kiểm tra chất lượng trước khi mở cho nhân viên.
Trợ lý tra cứu nội bộ (RAG) dựa trên nguồn nào?
Trong kiến trúc RAG, hệ thống không “nhớ” toàn bộ thông tin của doanh nghiệp. Khi nhận câu hỏi, nó tìm các đoạn tài liệu liên quan trong kho dữ liệu đã lập chỉ mục, rồi dùng chúng làm căn cứ để soạn câu trả lời kèm trích dẫn. Chất lượng câu trả lời vì vậy phụ thuộc trực tiếp vào chất lượng tài liệu đưa vào.
Bước chuẩn bị tài liệu quan trọng hơn việc chọn mô hình. Nếu tài liệu mâu thuẫn, lỗi thời hoặc thiếu, trợ lý sẽ trả lời mâu thuẫn hoặc sai.
Nên thu thập những loại tài liệu nào trước?
Ưu tiên các tài liệu mà nhân viên hỏi thường xuyên và có chủ sở hữu rõ ràng. Với mỗi nguồn, xác định phạm vi áp dụng và ngày hiệu lực.
- Quy trình và hướng dẫn thao tác đã được phê duyệt.
- Chính sách nội bộ, biểu mẫu và mẫu đơn.
- Bảng câu hỏi thường gặp do bộ phận nghiệp vụ soạn.
- Tài liệu sản phẩm hoặc danh mục dịch vụ đang áp dụng.
- Loại trừ bản nháp, bản sao cũ và tệp không rõ người sở hữu.
Ai phụ trách tài liệu và cập nhật theo chu kỳ nào?
Mỗi nguồn cần một người phụ trách nội dung, không chỉ là đội kỹ thuật. Người này quyết định khi nào tài liệu được thay thế và đảm bảo bản đang lưu là bản đã được phê duyệt.
Thiết lập chu kỳ rà soát theo mức độ thay đổi của tài liệu. Mỗi bản cập nhật cần ghi rõ phiên bản, ngày hiệu lực và tài liệu cũ bị thay thế. Nếu không có quy trình này, trợ lý có thể trích dẫn chính sách đã hết hiệu lực.
Phân quyền cần được kiểm tra ở những lớp nào?
Quyền truy cập phải được áp dụng ở bước truy xuất tài liệu, không chỉ ẩn trên giao diện. Nếu nhân viên không có quyền xem tài liệu lương hoặc hồ sơ nhân sự, đoạn nội dung đó không được đưa vào ngữ cảnh câu trả lời cho người đó.
Kiểm tra gắn nhãn phân quyền khi lập chỉ mục, cơ chế đồng bộ khi quyền thay đổi và nhật ký truy vấn để truy vết khi cần. Tài liệu không cần thiết cho trợ lý nên được loại khỏi kho dữ liệu, thay vì chỉ nhắc mô hình không sử dụng.
- Phân quyền theo vai trò hoặc phòng ban, đồng bộ với hệ thống nhân sự.
- Nhật ký ghi lại câu hỏi, nguồn trích dẫn và người truy vấn.
Bộ câu hỏi đánh giá nên gồm những gì?
Lấy câu hỏi thật từ nhân viên, kênh hỗ trợ hoặc các buổi làm việc với bộ phận nghiệp vụ, không dùng câu hỏi tự nghĩ ra. Mỗi câu cần có đáp án chuẩn và nguồn tham chiếu do người phụ trách xác nhận.
Bộ đánh giá nên bao gồm bốn nhóm: câu hỏi có đáp án trong một tài liệu, câu hỏi cần kết hợp nhiều tài liệu, câu hỏi không có đáp án trong kho dữ liệu, và câu hỏi thuộc vùng dữ liệu mà người hỏi không được phép xem. Với hai nhóm sau, trợ lý phải từ chối hoặc chuyển người phụ trách thay vì tự suy đoán.
Đo tỷ lệ câu trả lời đúng theo chấm của người phụ trách, tỷ lệ trích dẫn đúng nguồn và số lần trợ lý trả lời khi lẽ ra phải từ chối. Chạy lại bộ đánh giá mỗi khi đổi tài liệu, mô hình hoặc cấu hình truy xuất.
Làm sao biết kho tri thức đã sẵn sàng để mở cho nhân viên?
Nên mở theo giai đoạn: bắt đầu với một bộ phận hoặc một nhóm tài liệu, thu thập phản hồi và sửa các câu trả lời sai. Chỉ mở rộng khi các chỉ số đánh giá ổn định và người phụ trách đã xử lý được các câu hỏi bị từ chối hoặc không có đáp án.
Câu hỏi thường gặp
Trợ lý AI có thay thế được tài liệu gốc không?
Không. Trợ lý chỉ là lớp tra cứu phía trên tài liệu gốc. Câu trả lời cần trích dẫn nguồn để người dùng mở tài liệu gốc và kiểm tra lại.
Có cần làm sạch toàn bộ dữ liệu doanh nghiệp trước khi bắt đầu không?
Không cần. Nên chọn một nhóm tài liệu có chủ sở hữu rõ ràng và chất lượng tốt để thí điểm, sau đó mở rộng dần theo nhu cầu thực tế.
Làm sao biết trợ lý đang trả lời sai?
Dùng bộ câu hỏi đánh giá đã được người phụ trách chấm, đồng thời cho phép nhân viên phản hồi trên từng câu trả lời. Nhật ký truy vấn giúp tìm nguyên nhân khi phát hiện lỗi.
