“Nên gọi mô hình nào?” trước đây thường được xem là một câu hỏi về API. Tại ngày càng nhiều tổ chức, câu hỏi này gần với câu hỏi về mua sắm, kỹ thuật hiệu năng và kiến trúc hơn.
Sự thay đổi đó bắt nguồn từ một diễn biến đơn giản: hiện nay có nhiều mô hình, được cung cấp qua nhiều nhà cung cấp, với thế mạnh, mức giá, đặc tính độ trễ, tùy chọn triển khai và điều khoản hợp đồng khác nhau đáng kể. Thỏa thuận mà Stripe công bố về việc mua lại OpenRouter là một tín hiệu đáng chú ý. API duy nhất của OpenRouter bao phủ hơn 400 mô hình từ hơn 80 nhà cung cấp, với các tiêu chí định tuyến bao gồm độ phức tạp của tác vụ, giá, tốc độ, độ tin cậy, độ trễ, thông lượng và chi phí riêng của từng nhà cung cấp.
Công việc mới nổi này không nhất thiết đi kèm một chức danh mới. Nó có thể nằm giữa kỹ thuật nền tảng AI, kiến trúc, mua sắm, vận hành suy luận hoặc kỹ thuật sản phẩm. Nhưng trách nhiệm của nó đang dần trở nên rõ ràng: quyết định mô hình nào nên xử lý công việc nào, trong những ràng buộc nào, với phương án dự phòng ra sao và dựa trên bằng chứng nào.
Định tuyến là một quyết định về chính sách được ngụy trang dưới dạng hạ tầng
Một bộ định tuyến ngây thơ sẽ hỏi: “Mô hình nào rẻ nhất?” Một bộ định tuyến hữu ích sẽ hỏi một câu cụ thể hơn: “Mô hình nào có chi phí thấp nhất nhưng vẫn đáp ứng các yêu cầu về chất lượng, độ trễ, độ tin cậy, quyền riêng tư và vận hành của yêu cầu này?”
Các yêu cầu đó thay đổi theo từng tác vụ. Một bộ phân loại yêu cầu hỗ trợ khách hàng có thể cần đầu ra có cấu trúc ổn định và độ trễ thấp. Một tác vụ lập trình khó có thể xứng đáng với một mô hình chậm hơn nhưng có năng lực cao hơn. Một quy trình tóm tắt khối lượng lớn có thể ưu tiên một mô hình nhỏ hơn, đặc biệt nếu chất lượng của nó đạt yêu cầu sau khi kiểm thử. Một quy trình chịu sự quản lý chặt chẽ có thể yêu cầu một khu vực cụ thể, chính sách lưu giữ dữ liệu hoặc thỏa thuận với nhà cung cấp cụ thể, bất kể giá token.
Đó là lý do định tuyến cần được đưa vào các buổi đánh giá kiến trúc, chứ không chỉ nằm trong mã ứng dụng. Tuyến được chọn quyết định nhiều hơn một hóa đơn. Nó có thể ảnh hưởng đến nơi lưu trú dữ liệu, mức độ phơi nhiễm trước sự cố ngừng hoạt động, khả năng quan sát, tính nhất quán của phản hồi, hành vi sử dụng công cụ và lượng rà soát của con người cần thiết ở các bước sau.
Bốn lĩnh vực đứng sau một chức năng định tuyến nghiêm túc
1. Mua sắm: so sánh toàn bộ dịch vụ, không chỉ giá token được quảng bá
Giá mô hình rất dễ bị so sánh sai. Token đầu vào và đầu ra có thể có các mức giá khác nhau. Bộ nhớ đệm đầu vào, xử lý theo lô, dịch vụ ưu tiên và các yêu cầu ngữ cảnh dài có thể làm thay đổi phép tính. Mức giá danh nghĩa của một nhà cung cấp cũng cho biết rất ít về việc thử lại, giới hạn tốc độ, hỗ trợ, cam kết tối thiểu, phí truyền dữ liệu ra ngoài hoặc chi phí kỹ thuật khi chuyển đổi.
Người phụ trách định tuyến nên duy trì một danh mục mô hình và nhà cung cấp với các trường như:
- giá đầu vào, đầu ra, dữ liệu được lưu trong bộ nhớ đệm và xử lý theo lô;
- giới hạn ngữ cảnh và đầu ra;
- giới hạn tốc độ được ghi nhận và thông lượng quan sát được;
- phân bố độ trễ, không chỉ độ trễ trung bình;
- tính khả dụng và hành vi khi hết thời gian chờ;
- các điều khoản về việc sử dụng dữ liệu, lưu giữ, nơi lưu trú và hợp đồng;
- các khả năng được hỗ trợ, bao gồm gọi công cụ, đầu ra có cấu trúc, hình ảnh và truyền phát;
- các tùy chọn dự phòng và di chuyển.
Kết quả này gần với một bảng kê vật tư công nghệ hơn là một danh sách tên mô hình. Nó cần được xem xét khi giá cả, chính sách, phiên bản mô hình hoặc khối lượng kinh doanh thay đổi.
2. Kỹ thuật hiệu năng: đo lường tác vụ, không phải bảng xếp hạng
Các tiêu chuẩn tổng quát có thể giúp định hướng, nhưng quyết định định tuyến cần các bài kiểm thử theo từng khối lượng công việc. Một mô hình hoạt động tốt trên một tiêu chuẩn lập trình công khai có thể không phải là lựa chọn tốt nhất cho các kho mã nội bộ, quy ước đặt tên, lược đồ công cụ hoặc cơ chế kiểm soát bảo mật của một tổ chức.
Hãy xây dựng một tập đánh giá có tính đại diện từ các yêu cầu thực tế, loại bỏ hoặc kiểm soát tài liệu nhạy cảm. Gắn nhãn các kết quả quan trọng: tính đúng đắn về факт, JSON hợp lệ, lựa chọn công cụ thành công, kiểm thử mã thành công, hành vi từ chối, nhu cầu chuyển cấp và phong cách chấp nhận được. Sau đó ghi nhận chi phí, thời gian đến token đầu tiên, tổng độ trễ, tỷ lệ hết thời gian chờ, tỷ lệ thử lại và độ dài hoàn tất.
Đừng quá sớm gộp kết quả thành một điểm số duy nhất. Điểm số có trọng số có thể che giấu một chế độ lỗi nghiêm trọng. Ví dụ, một mô hình có chất lượng trung bình xuất sắc nhưng thường xuyên tạo lời gọi công cụ sai định dạng có thể không phù hợp với một quy trình tự động. Một mô hình chậm hơn có thể có lợi hơn về kinh tế nếu câu trả lời của nó làm giảm hoạt động rà soát tốn kém của con người.
Hãy sử dụng quy trình mô hình dẫn đầu và mô hình thách thức: duy trì một tuyến hiện đang được phê duyệt, kiểm thử các phương án thay thế trên cùng một tập dữ liệu, và chỉ đưa mô hình thách thức lên thay thế khi nó vượt qua các ngưỡng chất lượng và vận hành được xác định rõ ràng. Các tuyên bố do nhà cung cấp đưa ra nên được xem là đầu vào cho một kế hoạch kiểm thử, không phải bằng chứng rằng mô hình sẽ hoạt động tương tự trong môi trường của bạn.
3. Kiến trúc: làm cho việc lựa chọn mô hình có thể thay thế
Việc định tuyến trở nên tốn kém khi các giả định phụ thuộc vào mô hình rò rỉ xuyên suốt ứng dụng. Một thiết kế có khả năng chống chịu tách biệt tác vụ nghiệp vụ khỏi lệnh gọi đến nhà cung cấp.
Hãy định nghĩa một hợp đồng năng lực nội bộ. Hợp đồng này có thể quy định rằng một thao tác “phân loại” trả về một lược đồ cố định, các trường độ tin cậy hoặc từ chối trả lời, mã định danh mô hình và mã định danh dấu vết. Một thao tác “soạn thảo phản hồi” có thể quy định các ràng buộc về giọng điệu, yêu cầu trích dẫn và ngân sách độ trễ tối đa. Sau đó, các bộ chuyển đổi của nhà cung cấp sẽ chuyển hợp đồng đó thành các API riêng lẻ.
Hãy quản lý phiên bản cho lời nhắc, lược đồ, định nghĩa công cụ, quy tắc an toàn và chính sách định tuyến. Ghi lại ảnh chụp mô hình nào và nhà cung cấp nào đã phục vụ từng yêu cầu. Lưu giữ đủ thông tin để tái tạo một quyết định mà không cần lưu giữ không cần thiết nội dung nhạy cảm của người dùng.
Hãy thiết kế các phương án dự phòng một cách có chủ đích. Phương án dự phòng có thể là một nhà cung cấp khác, một mô hình nhỏ hơn, một quy trình được xếp hàng hoặc một bước chuyển sang con người xem xét. Phương án đó không được âm thầm thay đổi ý nghĩa của tác vụ. Nếu đầu ra có cấu trúc là bắt buộc, phương án dự phòng phải hỗ trợ cùng một hợp đồng hoặc kích hoạt quy trình chuyển cấp có kiểm soát.
4. Quản trị: quyết định khi nào không định tuyến tự động
Một số yêu cầu không nên được gửi đến mô hình có chi phí thấp nhất hiện có—or đến bất kỳ mô hình bên ngoài nào. Chính sách định tuyến cần có các quy tắc loại trừ đối với dữ liệu mật, các quyết định có tác động lớn, ngôn ngữ không được hỗ trợ, ngữ cảnh dài bất thường hoặc các hành động cần bước phê duyệt của con người.
Các nhóm cũng nên phân biệt giữa việc một mô hình về mặt kỹ thuật có sẵn và việc mô hình đó được phê duyệt cho một mục đích sử dụng cụ thể. Các yêu cầu về mua sắm và pháp lý có thể khác nhau theo từng đơn vị kinh doanh. Một mô hình có thể xuất sắc trong một cuộc đánh giá nhưng vẫn không thể sử dụng cho một quy trình có các điều khoản xử lý dữ liệu không phù hợp với tổ chức.
Bảng định tuyến thực tiễn
Một chính sách khởi đầu có thể đơn giản và rõ ràng:
| Loại tác vụ | Mục tiêu chính | Tuyến khả dĩ | Điều kiện chuyển cấp |
|---|---|---|---|
| Trích xuất khối lượng lớn | Lược đồ hợp lệ và chi phí trên mỗi đơn vị thấp | Mô hình nhỏ hoặc trung bình với bước kiểm tra đầu ra nghiêm ngặt | Lỗi lược đồ hoặc độ tin cậy thấp |
| Phân tích phức tạp | Chất lượng và xử lý bằng chứng | Mô hình có năng lực cao hơn với ngân sách độ trễ lớn hơn | Thiếu bằng chứng, mơ hồ hoặc bị gắn cờ theo chính sách |
| Hỗ trợ tương tác | Tốc độ phản hồi cảm nhận được | Mô hình có độ trễ thấp, có thể tiếp sau đó là bước tinh chỉnh | Mức độ tin cậy thấp hoặc người dùng yêu cầu chiều sâu |
| Quy trình nhạy cảm | Xử lý dữ liệu được phê duyệt và khả năng kiểm toán | Nhà cung cấp được phê duyệt theo hợp đồng hoặc triển khai có kiểm soát | Dữ liệu, hành động hoặc phạm vi quyền hạn chưa được phê duyệt |
Bảng chính xác sẽ khác nhau tùy từng tổ chức. Điểm quan trọng là các quy tắc định tuyến phải dễ đọc đối với các bên liên quan thuộc bộ phận sản phẩm, bảo mật, tài chính và kỹ thuật—không bị chôn trong một câu lệnh điều kiện.
Điều này có ý nghĩa gì đối với những người xây dựng sự nghiệp
Những ứng viên sáng giá nhất cho công việc này sẽ kết hợp nhiều dạng năng lực thành thạo. Họ sẽ hiểu đủ về học máy để suy luận về năng lực và mức suy giảm; đủ về kỹ thuật hệ thống để quản lý độ trễ, việc thử lại, giới hạn tốc độ và các dạng thức thất bại; đủ về tài chính để lập mô hình tổng chi phí; và đủ về mua sắm cùng quản trị để đánh giá các cam kết và hạn chế của nhà cung cấp.
Họ cũng sẽ thấy thoải mái khi viết các bản ghi quyết định. Một bản ghi hữu ích giải thích vì sao một tuyến được lựa chọn, bằng chứng nào hỗ trợ lựa chọn đó, những rủi ro nào còn tồn tại và sự kiện nào sẽ là tín hiệu cần đánh giá lại. Điều này có giá trị hơn việc ghi nhớ tên các mô hình mới nhất, vì tên mô hình và giá cả sẽ tiếp tục thay đổi.
Một dự án danh mục đầu tư gọn nhẹ có thể thể hiện kỹ năng này mà không cần một hệ thống sản xuất quy mô lớn. Hãy chọn một khối lượng công việc, tạo một bộ đánh giá đã loại bỏ thông tin nhạy cảm, kết nối ba nhà cung cấp mô hình hoặc mô hình cục bộ thông qua một giao diện chung, rồi so sánh chất lượng, tính hợp lệ của lược đồ, các phân vị độ trễ, tỷ lệ thất bại và chi phí hàng tháng ước tính ở một số mức khối lượng khác nhau. Thêm các quy tắc chính sách cho đầu vào nhạy cảm và một đường dẫn dự phòng. Công bố phương pháp kiểm thử và các hạn chế.
Hãy nói chính xác về điều mà dự án chứng minh. Nó không chứng minh rằng một mô hình nào đó luôn tốt nhất. Nó chứng minh rằng bạn có thể biến một bài toán lựa chọn mô hình còn mơ hồ thành một chính sách vận hành có thể đo lường.
Tín hiệu nghề nghiệp
Định tuyến mô hình đang trở nên quan trọng về mặt chiến lược vì năng lực thông minh không còn là một phần phụ thuộc cố định duy nhất. Đó là một danh mục các dịch vụ với những đánh đổi khác nhau và nền kinh tế luôn thay đổi. Những nhóm coi danh mục đó như hạ tầng có thể thay thế lẫn nhau có thể giảm chi phí, nhưng cũng có thể tạo ra các vấn đề tiềm ẩn về chất lượng, tuân thủ và độ tin cậy. Những nhóm coi đó là một cam kết vĩnh viễn với một mô hình duy nhất có thể bỏ lỡ các lựa chọn tốt hơn.
Kỷ luật mới nổi này nằm giữa hai thái cực đó: đủ trừu tượng để thay đổi nhà cung cấp, đủ cụ thể để duy trì chất lượng nhiệm vụ và đủ dựa trên bằng chứng để biện minh cho lựa chọn. Đó là cơ hội nghề nghiệp trong lĩnh vực định tuyến mô hình—không phải chỉ chọn một API một lần, mà là xây dựng hệ thống ra quyết định liên tục đưa ra những lựa chọn đúng đắn.
Tom Whitfield là biên tập viên con người chịu trách nhiệm chính của AI Career Brief, chuyên đưa tin về các kỹ năng, vai trò và những bước đi sáng suốt để làm việc trong thời đại AI.
