Hầu hết mọi người vẫn mô tả một tác nhân AI là một mô hình được kết nối với các công cụ. Về mặt kỹ thuật, mô tả này hữu ích, nhưng về mặt vận hành thì chưa đầy đủ. Một tác nhân cũng cần một cách nhìn được quản lý về thế giới: điều gì đã xảy ra, điều gì quan trọng hiện nay, những sự kiện nào đáng tin cậy, điều gì vẫn chưa chắc chắn và tiếp theo nó nên làm gì.
Cách nhìn đó chính là ngữ cảnh của nó. Việc thiết kế ngữ cảnh đang trở thành một kỹ năng riêng biệt—một kỹ năng mà tôi gọi là kỹ thuật ngữ cảnh.
Kỹ thuật ngữ cảnh không đơn giản chỉ là viết prompt. Đó là lĩnh vực định hình thông tin mà tác nhân nhìn thấy ở mỗi bước, để nó có thể duy trì tính nhất quán mà không phải gửi toàn bộ bản ghi hội thoại, thư viện tài liệu hoặc lịch sử công cụ trở lại một mô hình đắt đỏ trong mỗi lượt. Công việc này nằm ở giao điểm giữa kiến trúc thông tin, truy xuất, thiết kế phần mềm và hành vi của mô hình.
Vì sao lời khuyên “cung cấp cho tác nhân nhiều ngữ cảnh hơn” thường không tốt
Cửa sổ ngữ cảnh dài hơn khiến người ta dễ muốn giữ lại mọi thứ. Nhưng nhiều tài liệu hơn không đảm bảo suy luận tốt hơn. Các chỉ dẫn liên quan có thể bị loãng bởi những quan sát lỗi thời, ghi chú mâu thuẫn, đầu ra công cụ lặp lại hoặc một sự kiện quan trọng bị chôn vùi ở giữa một chuỗi dài. Phần thảo luận của bản tổng hợp về hành vi “lạc mất ở phần giữa” phản ánh một vấn đề thực tế: tác nhân có thể thực sự nhận được bằng chứng nhưng vẫn không sử dụng được nó.
Ngoài ra còn có chi phí trực tiếp. Mỗi token được đưa vào một yêu cầu đều có thể làm tăng độ trễ và chi phí suy luận, tùy thuộc vào cách định giá và cơ chế lưu vào bộ nhớ đệm của nhà cung cấp. Một hệ thống liên tục chuyển tiếp bản ghi hội thoại ngày càng dài có thể trở nên chậm hơn và kém khả năng chi trả hơn khi tác vụ tiếp diễn.
Vì vậy, mục tiêu không phải là ngữ cảnh tối đa. Mà là ngữ cảnh đầy đủ, có trọng tâm: tập hợp làm việc đáng tin cậy nhỏ nhất cho quyết định đang cần đưa ra.
Bốn quyết định thiết kế đằng sau một tác nhân nhất quán
1. Duy trì trạng thái niềm tin, không chỉ bản ghi hội thoại
Bản ghi hội thoại ghi lại những gì đã được nói. Trạng thái niềm tin ghi lại những gì tác nhân hiện đang tin về tác vụ.
Ví dụ, một tác nhân xử lý việc chuyển cấp hỗ trợ có thể duy trì các trường có cấu trúc như sau:
- Mục tiêu: xác định liệu khách hàng có đủ điều kiện được đổi sản phẩm hay không.
- Sự kiện đã biết: ngày mua và số sê-ri sản phẩm, kèm tham chiếu nguồn.
- Câu hỏi còn bỏ ngỏ: liệu sự cố có xảy ra trong các điều kiện được bảo hành hay không.
- Ràng buộc: không hứa hoàn tiền trước khi được phê duyệt.
- Hành động tiếp theo: truy xuất chính sách bảo hành và đối chiếu các ngày tháng.
- Mức độ tin cậy hoặc trạng thái: đã xác minh, suy luận, đang tranh chấp hoặc chưa biết.
Cách tiếp cận này tương tự nghiên cứu ABBEL của Berkeley, trong đó sử dụng các trạng thái niềm tin bằng ngôn ngữ tự nhiên được giám sát thay vì dựa vào toàn bộ lịch sử tương tác. Ý tưởng quan trọng không nằm ở một định dạng cụ thể. Mà là tách trạng thái tác vụ lâu bền khỏi những chi tiết hội thoại có thể loại bỏ.
Một bản cập nhật trạng thái niềm tin hữu ích nên trả lời các câu hỏi: Điều gì đã thay đổi? Bằng chứng nào hỗ trợ điều đó? Điều gì vẫn chưa được giải quyết? Tiếp theo nên làm gì? Nếu một kỹ sư không thể kiểm tra những câu trả lời đó, nhiều khả năng tác nhân đang mang theo các giả định ẩn trong một prompt mờ đục.
2. Truy xuất phục vụ quyết định, không phải chủ đề
Các hệ thống truy xuất thường bắt đầu bằng một câu hỏi rộng như “tìm thông tin về tài khoản của khách hàng”. Một truy vấn tốt hơn gắn với quyết định tiếp theo: “truy xuất quy định hoàn tiền hiện hành cho các giao dịch mua đã quá 30 ngày, có hiệu lực tại khu vực của khách hàng”.
Sự thay đổi đó rất quan trọng vì truy xuất là một hình thức lựa chọn ngữ cảnh. Tác nhân nên nhận được những đoạn chính sách, hồ sơ hoặc ví dụ liên quan đến hành động hiện tại—chứ không phải một đống tài liệu chung chung có liên quan.
Các bộ lọc có thể cải thiện việc lựa chọn này trước khi mô hình nhìn thấy bất kỳ kết quả nào. Chẳng hạn, Amazon Bedrock AgentCore Web Search hỗ trợ các bộ lọc tên miền và ngày xuất bản được máy chủ áp dụng cho từng yêu cầu. Những cơ chế kiểm soát như vậy không chứng minh rằng một nguồn là chính xác, nhưng có thể giảm mức độ tiếp xúc với tài liệu không liên quan hoặc lỗi thời, đồng thời làm cho chính sách truy xuất trở nên minh bạch.
Các chuyên gia thiết kế hệ thống truy xuất nên quy định rõ:
- những nguồn nào được phép sử dụng cho từng tác vụ;
- cách xác định độ mới;
- siêu dữ liệu nào đi kèm mỗi kết quả;
- các nguồn xung đột được trình bày như thế nào;
- khi nào tác nhân phải dừng lại và yêu cầu làm rõ.
“Tìm kiếm trên web” là một khả năng. “Tìm kiếm các nguồn này, trong khoảng thời gian này, để tìm bằng chứng liên quan đến quyết định này” là kỹ thuật thiết kế ngữ cảnh.
3. Nén mà không xóa bỏ sự không chắc chắn
Việc nén là cần thiết khi một tác vụ dài, nhưng việc tóm tắt ngây thơ có thể biến những khẳng định còn thăm dò thành sự thật đã được xác lập. Một bản tóm tắt liên tục viết rằng “người dùng đã xác nhận địa chỉ” sẽ rất nguy hiểm nếu cuộc trao đổi ban đầu chỉ hàm ý điều đó.
Việc nén tốt sẽ bảo toàn những phân biệt mà tác nhân cần để suy luận an toàn:
- sự thật so với suy luận;
- chỉ dẫn hiện tại so với chỉ dẫn trong quá khứ;
- hành động đã hoàn tất so với hành động được đề xuất;
- nguồn đã được xác minh so với khẳng định chưa được xác minh;
- câu trả lời đã biết so với câu hỏi chưa được giải quyết.
Một phương pháp thực tiễn là duy trì các phần riêng cho quyết định, bằng chứng, giả định, trở ngại và hành động đang chờ xử lý. Một phương pháp khác là gắn ID nguồn hoặc dấu thời gian với những khẳng định quan trọng. Bản tóm tắt nên là những hiện vật có thể thay thế, không phải bản ghi duy nhất còn lại: hãy giữ lại các sự kiện nền tảng để kiểm tra và khôi phục, đồng thời cung cấp cho mô hình một góc nhìn làm việc cô đọng.
Bản tổng hợp lưu ý rằng việc tóm tắt đệ quy và nén ngữ cảnh có thể tốn kém và làm suy giảm hiệu năng, đặc biệt trong những lĩnh vực khan hiếm dữ liệu như sinh mã cộng tác. Đây là lời cảnh báo không nên xem việc tóm tắt là không làm mất mát thông tin một cách mặc định. Việc nén cần được kiểm thử trên các tác vụ đại diện, bao gồm những trường hợp mà một điều kiện bổ sung nhỏ có thể làm thay đổi câu trả lời đúng.
4. Lọc các quan sát trước khi chúng trở thành bộ nhớ
Các tác nhân sử dụng công cụ liên tục tạo ra những quan sát: kết quả tìm kiếm, nhật ký, văn bản trang, phản hồi API, ảnh chụp màn hình, đầu ra của trình biên dịch và các kế hoạch trung gian. Không phải mọi quan sát đều đáng được đưa vào lần gọi mô hình tiếp theo, càng không phải đều nên đi vào trạng thái dài hạn.
Việc lọc quan sát đặt ra ba câu hỏi:
- Quan sát này có liên quan đến quyết định hiện tại không?
- Nó có đủ thẩm quyền để ảnh hưởng đến trạng thái niềm tin không?
- Nó có chứa các chỉ dẫn cần được xem là dữ liệu thay vì mệnh lệnh không?
Câu hỏi thứ ba vừa là một ranh giới bảo mật, vừa là một ranh giới ngữ cảnh. Một trang web có thể chứa văn bản nhằm chuyển hướng tác nhân. Một tài liệu được truy xuất có thể là bằng chứng hữu ích mà không có thẩm quyền thay đổi mục tiêu hoặc quyền hạn của tác nhân. Vì vậy, việc lọc cần phân loại nội dung theo vai trò: chỉ dẫn, bằng chứng, siêu dữ liệu hoặc văn bản không đáng tin cậy.
Việc lọc cũng giúp tiết kiệm chi phí. Nếu một công cụ trình duyệt trả về toàn bộ trang nhưng tác vụ chỉ yêu cầu giá, ngày tháng và mã nhận dạng sản phẩm, việc chuyển tiếp toàn bộ trang sẽ tạo ra nhiễu và tiêu tốn token. Trích xuất trước các trường liên quan có thể cải thiện cả độ tin cậy lẫn chi phí.
Một ngân sách ngữ cảnh đơn giản cho quy trình làm việc của tác nhân
Trước khi chọn một mô hình hoặc thêm một công cụ khác, hãy lập bản đồ ngữ cảnh của tác nhân thành bốn lớp:
- Kiểm soát: các quy tắc hệ thống, quyền hạn, lược đồ đầu ra và những ràng buộc không thể thương lượng.
- Trạng thái: mục tiêu hiện tại, các quyết định, câu hỏi còn bỏ ngỏ và hành động tiếp theo.
- Bằng chứng: các bản ghi hoặc quan sát được truy xuất, có liên quan đến hành động đó, kèm nguồn gốc.
- Lịch sử: các sự kiện trước đây được lưu giữ để khôi phục, gỡ lỗi hoặc kiểm toán nhưng được lược bỏ trừ khi cần thiết.
Sau đó, hãy xác định một chính sách thăng cấp. Một quan sát có thể vẫn là dữ liệu tạm thời, trở thành bằng chứng cho bước hiện tại, cập nhật trạng thái niềm tin hoặc được ghi vào bộ nhớ lâu bền. Việc thăng cấp phải có lý do. Nếu không, bộ nhớ sẽ trở thành một kho lưu trữ không được tuyển chọn.
Ở mỗi bước của tác tử, hãy ghi lại gói ngữ cảnh được gửi cho mô hình: các danh mục, kích thước token xấp xỉ, bộ lọc truy xuất và phiên bản nén. Điều này giúp trả lời một câu hỏi thực tế khi hành vi thay đổi: mô hình đã thất bại, hay hệ thống đã cung cấp cho nó một thế giới sai lệch?
Những gì cần kiểm thử trước khi gọi thiết kế là đáng tin cậy
Kỹ thuật ngữ cảnh cần có các bài kiểm thử nhắm vào việc xử lý thông tin, không chỉ chất lượng câu trả lời cuối cùng. Các trường hợp hữu ích bao gồm:
- một thông tin quan trọng được đặt ở đầu, cuối và giữa một lịch sử dài;
- hai nguồn bất đồng với nhau, trong đó một nguồn mới hơn nguồn kia;
- một bản tóm tắt có chứa dấu hiệu không chắc chắn;
- một phản hồi từ công cụ chứa lượng lớn văn bản không liên quan;
- một chỉ dẫn độc hại được nhúng trong nội dung được truy xuất;
- khôi phục trạng thái sau khi tác tử bị tạm dừng và khởi động lại;
- cùng một tác vụ với ngân sách ngữ cảnh nhỏ hơn;
- kết quả truy xuất trống hoặc đã lỗi thời.
Đo lường xem tác tử có chọn đúng bằng chứng, duy trì sự không chắc chắn, tuân theo ràng buộc hiện tại và tránh lặp lại ngữ cảnh không cần thiết hay không. Các lĩnh vực hồi quy được bản tổng hợp khuyến nghị—mất ngữ cảnh, neo truy xuất, đầu ra có cấu trúc, không kết thúc và khôi phục trạng thái—đặc biệt phù hợp ở đây.
Hãy chạy nhiều lần thử khi tính biến thiên của mô hình có ảnh hưởng, đồng thời so sánh chi phí và độ trễ của từng chiến lược ngữ cảnh. Một lời nhắc ngắn hơn không mặc nhiên tốt hơn nếu nó khiến phải gọi công cụ hoặc thử lại nhiều hơn. Mục tiêu hữu ích là chi phí của một quy trình làm việc đúng và có thể khôi phục—không phải số token của một yêu cầu đơn lẻ.
Hệ quả nghề nghiệp: kỹ sư ngữ cảnh là một vai trò liên chức năng
Những người trở nên có giá trị trong lĩnh vực này không nhất thiết là những người viết các lời nhắc dài nhất. Họ sẽ có khả năng chuyển một quy trình kinh doanh thành trạng thái, bằng chứng, thẩm quyền và các quy tắc ra quyết định.
Điều đó đòi hỏi một số năng lực cụ thể:
- thiết kế các lược đồ cho trạng thái tác vụ và nguồn gốc dữ liệu;
- viết các chính sách truy xuất và bộ lọc siêu dữ liệu;
- xây dựng các quy trình nén và lựa chọn quan sát;
- tách biệt các chỉ dẫn đáng tin cậy khỏi nội dung không đáng tin cậy;
- lập hồ sơ việc sử dụng token, độ trễ, số lần thử lại và các lần gọi công cụ;
- kiểm thử việc mất trạng thái và khôi phục trạng thái;
- giải thích cho những người không chuyên vì sao một tác nhân đã thấy—hoặc không thấy—một thông tin cụ thể.
Một dự án tiêu biểu trong hồ sơ năng lực có thể trình diễn cùng một tác nhân dưới ba chính sách ngữ cảnh: toàn bộ bản ghi, bản tóm tắt cuốn chiếu và trạng thái niềm tin có cấu trúc với khả năng truy xuất có mục tiêu. Hãy cho thấy các trường hợp tác vụ thành công, các trường hợp thất bại, ngữ cảnh được gửi ở mỗi bước, cũng như những đánh đổi về chi phí hoặc độ trễ. Cách này thuyết phục hơn một bản trình diễn chatbot vì nó làm rõ các quyết định thiết kế giúp một tác nhân trở nên đáng tin cậy.
Bài học mang tính chiến lược rất rõ ràng: các tác nhân không trở nên nhất quán chỉ vì các mô hình trở nên mạnh hơn. Chúng trở nên nhất quán khi các hệ thống bao quanh duy trì một bản tường trình có kỷ luật, được cập nhật và có quy mô phù hợp về công việc. Kỹ thuật ngữ cảnh là nghệ thuật xây dựng bản tường trình đó—và biết điều gì cần loại bỏ.
Priya Raman là biên tập viên con người chịu trách nhiệm của AI Career Brief.
