Το «Ποιο μοντέλο πρέπει να καλέσουμε;» συνήθως ακουγόταν σαν ερώτηση για API. Σε έναν αυξανόμενο αριθμό οργανισμών, πλέον πλησιάζει περισσότερο σε ερώτηση προμηθειών, μηχανικής επιδόσεων και αρχιτεκτονικής.
Αυτή η αλλαγή ακολουθεί μια απλή εξέλιξη: πλέον υπάρχουν πολλά μοντέλα, που προσφέρονται από πολλούς παρόχους, με ουσιαστικά διαφορετικά πλεονεκτήματα, τιμές, προφίλ καθυστέρησης, επιλογές ανάπτυξης και συμβατικούς όρους. Η ανακοινωθείσα συμφωνία της Stripe για την εξαγορά της OpenRouter αποτελεί χρήσιμη ένδειξη. Το ενιαίο API της OpenRouter καλύπτει περισσότερα από 400 μοντέλα από περισσότερους από 80 παρόχους, με κριτήρια δρομολόγησης που περιλαμβάνουν την πολυπλοκότητα της εργασίας, την τιμή, την ταχύτητα, την αξιοπιστία, την καθυστέρηση, τη διεκπεραιωτική ικανότητα και το κόστος ανά πάροχο.
Ο αναδυόμενος ρόλος δεν είναι κατ’ ανάγκη ένας νέος τίτλος. Μπορεί να βρίσκεται ανάμεσα στη μηχανική πλατφορμών AI, την αρχιτεκτονική, τις προμήθειες, τις λειτουργίες συμπερασμού ή τη μηχανική προϊόντος. Η ευθύνη του, όμως, γίνεται αναγνωρίσιμη: να αποφασίζει ποιο μοντέλο πρέπει να αναλαμβάνει ποια εργασία, υπό ποιους περιορισμούς, με ποια εναλλακτική λύση και βάσει ποιων στοιχείων.
Η δρομολόγηση είναι απόφαση πολιτικής μεταμφιεσμένη σε υποδομή
Ένας αφελής δρομολογητής ρωτά: «Ποιο μοντέλο είναι το φθηνότερο;» Ένας χρήσιμος δρομολογητής θέτει μια πιο συγκεκριμένη ερώτηση: «Ποιο είναι το λιγότερο ακριβό μοντέλο που ικανοποιεί τις απαιτήσεις ποιότητας, καθυστέρησης, αξιοπιστίας, ιδιωτικότητας και λειτουργίας του συγκεκριμένου αιτήματος;»
Οι απαιτήσεις αυτές διαφέρουν ανά εργασία. Ένας ταξινομητής αιτημάτων υποστήριξης πελατών μπορεί να χρειάζεται προβλέψιμη δομημένη έξοδο και χαμηλή καθυστέρηση. Μια δύσκολη εργασία προγραμματισμού μπορεί να δικαιολογεί ένα πιο αργό αλλά ικανότερο μοντέλο. Ένας αγωγός περίληψης μεγάλου όγκου μπορεί να προτιμά ένα μικρότερο μοντέλο, ιδίως αν η ποιότητά του είναι επαρκής μετά τις δοκιμές. Μια ρυθμιζόμενη ροή εργασίας μπορεί να απαιτεί συγκεκριμένη περιοχή, πολιτική διατήρησης ή συμφωνία με πάροχο, ανεξάρτητα από την τιμή των tokens.
Γι’ αυτό η δρομολόγηση ανήκει στις αρχιτεκτονικές αναθεωρήσεις και όχι μόνο στον κώδικα της εφαρμογής. Η διαδρομή καθορίζει περισσότερα από ένα τιμολόγιο. Μπορεί να επηρεάσει την τοπικότητα των δεδομένων, την έκθεση σε διακοπές λειτουργίας, την παρατηρησιμότητα, τη συνέπεια των αποκρίσεων, τη συμπεριφορά χρήσης εργαλείων και τον βαθμό ανθρώπινου ελέγχου που απαιτείται στη συνέχεια.
Οι τέσσερις κλάδοι πίσω από μια σοβαρή λειτουργία δρομολόγησης
1. Προμήθειες: σύγκρινε ολόκληρη την υπηρεσία, όχι την εντυπωσιακή τιμή ανά token
Οι τιμές των μοντέλων συγκρίνονται εύκολα με λανθασμένο τρόπο. Τα tokens εισόδου και εξόδου μπορεί να έχουν διαφορετικές χρεώσεις. Η αποθηκευμένη είσοδος, η ομαδική επεξεργασία, η υπηρεσία προτεραιότητας και τα αιτήματα μεγάλου περιβάλλοντος μπορούν να αλλάξουν τον υπολογισμό. Η ονομαστική τιμή ενός παρόχου επίσης λέει ελάχιστα για τις επαναλήψεις, τα όρια ρυθμού, την υποστήριξη, τις ελάχιστες δεσμεύσεις, την έξοδο δεδομένων ή το μηχανικό κόστος της αλλαγής.
Ο υπεύθυνος δρομολόγησης θα πρέπει να διατηρεί ένα μητρώο μοντέλων και παρόχων με πεδία όπως:
- τιμολόγηση εισόδου, εξόδου, αποθηκευμένης εισόδου και ομαδικής επεξεργασίας·
- όρια περιβάλλοντος και εξόδου·
- τεκμηριωμένα όρια ρυθμού και παρατηρούμενη διεκπεραιωτική ικανότητα·
- κατανομές καθυστέρησης, όχι απλώς μέση καθυστέρηση·
- διαθεσιμότητα και συμπεριφορά σε περίπτωση χρονικού ορίου·
- όροι χρήσης δεδομένων, διατήρησης, τοπικότητας και σύμβασης·
- υποστηριζόμενες δυνατότητες, όπως κλήσεις εργαλείων, δομημένη έξοδος, όραση και ροή·
- επιλογές εναλλακτικής διαδρομής και μετάβασης.
Το αποτέλεσμα μοιάζει περισσότερο με κατάλογο υλικών τεχνολογίας παρά με κατάλογο ονομάτων μοντέλων. Θα πρέπει να επανεξετάζεται όταν αλλάζουν οι τιμές, οι πολιτικές, οι εκδόσεις μοντέλων ή ο επιχειρηματικός όγκος.
2. Μηχανική επιδόσεων: μέτρα την εργασία, όχι τον πίνακα κατάταξης
Τα γενικά benchmarks μπορούν να βοηθήσουν στον προσανατολισμό, όμως οι αποφάσεις δρομολόγησης χρειάζονται δοκιμές ειδικές για τον φόρτο εργασίας. Ένα μοντέλο που αποδίδει καλά σε ένα δημόσιο benchmark προγραμματισμού μπορεί να μην είναι η καλύτερη επιλογή για τα εσωτερικά αποθετήρια, τις συμβάσεις ονοματοδοσίας, τα σχήματα εργαλείων ή τους ελέγχους ασφαλείας ενός οργανισμού.
Δημιούργησε ένα αντιπροσωπευτικό σύνολο αξιολόγησης από πραγματικά αιτήματα, αφαιρώντας ή ελέγχοντας το ευαίσθητο υλικό. Σημείωσε τα αποτελέσματα που έχουν σημασία: πραγματολογική ορθότητα, έγκυρο JSON, επιτυχή επιλογή εργαλείου, επιτυχία των δοκιμών κώδικα, συμπεριφορά άρνησης, ανάγκη κλιμάκωσης και αποδεκτό ύφος. Στη συνέχεια κατέγραψε το κόστος, τον χρόνο έως το πρώτο token, τη συνολική καθυστέρηση, το ποσοστό χρονικών ορίων, το ποσοστό επαναλήψεων και το μήκος ολοκλήρωσης.
Μην συμπυκνώνεις το αποτέλεσμα σε μία μόνο βαθμολογία πολύ νωρίς. Μια σταθμισμένη βαθμολογία μπορεί να κρύψει έναν σοβαρό τρόπο αποτυχίας. Για παράδειγμα, ένα μοντέλο με εξαιρετική μέση ποιότητα αλλά συχνά κακοσχηματισμένες κλήσεις εργαλείων μπορεί να είναι ακατάλληλο για μια αυτοματοποιημένη ροή εργασίας. Ένα πιο αργό μοντέλο μπορεί να είναι οικονομικά προτιμότερο, αν οι απαντήσεις του μειώνουν τον δαπανηρό ανθρώπινο έλεγχο.
Χρησιμοποίησε μια διαδικασία «πρωταθλητή και διεκδικητή»: διατήρησε μια τρέχουσα εγκεκριμένη διαδρομή, δοκίμασε τις εναλλακτικές στο ίδιο σώμα δεδομένων και προώθησε έναν διεκδικητή μόνο όταν ξεπερνά ρητά όρια ποιότητας και λειτουργίας. Οι ισχυρισμοί που αναφέρουν οι πάροχοι θα πρέπει να αντιμετωπίζονται ως εισροές σε ένα σχέδιο δοκιμών και όχι ως απόδειξη ότι ένα μοντέλο θα αποδώσει παρόμοια στο δικό σου περιβάλλον.
3. Αρχιτεκτονική: κάντε την επιλογή μοντέλου αντικαταστάσιμη
Η δρομολόγηση γίνεται δαπανηρή όταν παραδοχές που αφορούν συγκεκριμένα μοντέλα διαχέονται σε ολόκληρη την εφαρμογή. Ένας ανθεκτικός σχεδιασμός διαχωρίζει την επιχειρησιακή εργασία από την κλήση προς τον πάροχο.
Ορίστε ένα εσωτερικό συμβόλαιο δυνατοτήτων. Θα μπορούσε να ορίζει ότι μια λειτουργία «ταξινόμησης» επιστρέφει ένα σταθερό σχήμα, πεδία για την εμπιστοσύνη ή την αποχή από απάντηση, ένα αναγνωριστικό μοντέλου και ένα αναγνωριστικό ανίχνευσης. Μια λειτουργία «σύνταξης απάντησης» θα μπορούσε να ορίζει περιορισμούς ύφους, απαιτήσεις παραπομπών και έναν μέγιστο προϋπολογισμό καθυστέρησης. Στη συνέχεια, οι προσαρμογείς παρόχων μεταφράζουν αυτό το συμβόλαιο στα επιμέρους API.
Διατηρείτε σε εκδόσεις τις προτροπές, τα σχήματα, τους ορισμούς εργαλείων, τους κανόνες ασφάλειας και τις πολιτικές δρομολόγησης. Καταγράφετε ποιο στιγμιότυπο μοντέλου και ποιος πάροχος εξυπηρέτησαν κάθε αίτημα. Διατηρείτε αρκετές πληροφορίες ώστε να αναπαράγετε μια απόφαση, χωρίς να διατηρείτε άσκοπα ευαίσθητο περιεχόμενο χρηστών.
Σχεδιάστε σκόπιμα τις εναλλακτικές διαδρομές. Μια εναλλακτική διαδρομή μπορεί να είναι ένας άλλος πάροχος, ένα μικρότερο μοντέλο, μια ροή εργασίας σε ουρά ή μια διαδρομή ανθρώπινης αξιολόγησης. Δεν θα πρέπει να αλλάζει σιωπηρά το νόημα της εργασίας. Αν η δομημένη έξοδος είναι υποχρεωτική, η εναλλακτική διαδρομή πρέπει να υποστηρίζει το ίδιο συμβόλαιο ή να ενεργοποιεί μια ελεγχόμενη κλιμάκωση.
4. Διακυβέρνηση: αποφασίστε πότε να μη γίνεται αυτόματη δρομολόγηση
Ορισμένα αιτήματα δεν θα πρέπει να αποστέλλονται στο φθηνότερο διαθέσιμο μοντέλο — ούτε σε οποιοδήποτε εξωτερικό μοντέλο. Η πολιτική δρομολόγησης χρειάζεται κανόνες εξαίρεσης για εμπιστευτικά δεδομένα, αποφάσεις υψηλού αντίκτυπου, μη υποστηριζόμενες γλώσσες, ασυνήθιστα μεγάλο περιβάλλον συμφραζομένων ή ενέργειες που απαιτούν στάδιο έγκρισης από άνθρωπο.
Οι ομάδες θα πρέπει επίσης να διακρίνουν μεταξύ ενός μοντέλου που είναι τεχνικά διαθέσιμο και ενός μοντέλου που έχει εγκριθεί για συγκεκριμένη χρήση. Οι απαιτήσεις προμηθειών και νομικής συμμόρφωσης μπορεί να διαφέρουν ανά επιχειρησιακή μονάδα. Ένα μοντέλο μπορεί να είναι εξαιρετικό σε μια αξιολόγηση και παρ’ όλα αυτά να μην μπορεί να χρησιμοποιηθεί σε μια ροή εργασίας της οποίας οι όροι διαχείρισης δεδομένων δεν ταιριάζουν στον οργανισμό.
Ένας πρακτικός πίνακας δρομολόγησης
Μια αρχική πολιτική μπορεί να είναι απλή και σαφής:
| Κατηγορία εργασίας | Κύριος στόχος | Πιθανή διαδρομή | Έναυσμα κλιμάκωσης |
|---|---|---|---|
| Εξαγωγή μεγάλου όγκου | Έγκυρο σχήμα και χαμηλό κόστος ανά μονάδα | Μικρό ή μεσαίου μεγέθους μοντέλο με αυστηρή επικύρωση εξόδου | Αποτυχία σχήματος ή χαμηλή εμπιστοσύνη |
| Σύνθετη ανάλυση | Ποιότητα και διαχείριση τεκμηρίων | Ικανότερο μοντέλο με μεγαλύτερο προϋπολογισμό καθυστέρησης | Απουσία τεκμηρίων, αμφισημία ή επισήμανση πολιτικής |
| Διαδραστική υποβοήθηση | Γρήγορη αντιλαμβανόμενη απόκριση | Μοντέλο χαμηλής καθυστέρησης, ενδεχομένως με επακόλουθη βελτίωση | Χαμηλή βεβαιότητα ή αίτημα του χρήστη για περισσότερες λεπτομέρειες |
| Ευαίσθητη ροή εργασίας | Εγκεκριμένος χειρισμός δεδομένων και δυνατότητα ελέγχου | Πάροχος εγκεκριμένος από τη σύμβαση ή ελεγχόμενη ανάπτυξη | Μη εγκεκριμένα δεδομένα, ενέργεια ή δικαιοδοσία |
Ο ακριβής πίνακας θα διαφέρει ανά οργανισμό. Το σημαντικό είναι οι κανόνες δρομολόγησης να είναι κατανοητοί από τα ενδιαφερόμενα μέρη των ομάδων προϊόντος, ασφάλειας, οικονομικών και μηχανικής — όχι θαμμένοι μέσα σε μια δήλωση υπό συνθήκη.
Τι σημαίνει αυτό για όσους χτίζουν καριέρα
Οι ισχυρότεροι υποψήφιοι για αυτή την εργασία θα συνδυάζουν διάφορα είδη εξοικείωσης. Θα κατανοούν αρκετά τη μηχανική μάθηση ώστε να αξιολογούν τις δυνατότητες και την υποβάθμιση· αρκετά τη μηχανική συστημάτων ώστε να διαχειρίζονται την καθυστέρηση, τις επαναλήψεις, τα όρια ρυθμού και τις λειτουργίες αστοχίας· αρκετά τα οικονομικά ώστε να μοντελοποιούν το συνολικό κόστος· και αρκετά τις προμήθειες και τη διακυβέρνηση ώστε να αξιολογούν τις δεσμεύσεις και τους περιορισμούς των παρόχων.
Θα αισθάνονται επίσης άνετα να συντάσσουν αρχεία αποφάσεων. Ένα χρήσιμο αρχείο εξηγεί γιατί επιλέχθηκε μια διαδρομή, ποια στοιχεία τη στηρίζουν, ποιοι κίνδυνοι παραμένουν και ποιο γεγονός θα πρέπει να ενεργοποιήσει την επανεκτίμηση. Αυτό είναι πιο πολύτιμο από την απομνημόνευση των πιο πρόσφατων ονομάτων μοντέλων, επειδή τα ονόματα των μοντέλων και οι τιμές θα συνεχίσουν να αλλάζουν.
Ένα μικρό έργο για το χαρτοφυλάκιό σας θα μπορούσε να αποδείξει αυτή την ικανότητα χωρίς να απαιτεί ένα μεγάλο παραγωγικό σύστημα. Επιλέξτε έναν φόρτο εργασίας, δημιουργήστε ένα σύνολο αξιολόγησης με απαλειμμένα ευαίσθητα στοιχεία, συνδέστε τρεις παρόχους μοντέλων ή τοπικά μοντέλα μέσω μιας κοινής διεπαφής και συγκρίνετε την ποιότητα, την εγκυρότητα του σχήματος, τα εκατοστημόρια καθυστέρησης, τα ποσοστά αστοχίας και το εκτιμώμενο μηνιαίο κόστος σε διάφορους όγκους. Προσθέστε κανόνες πολιτικής για ευαίσθητες εισόδους και μια εναλλακτική διαδρομή. Δημοσιεύστε τη μεθοδολογία δοκιμών και τους περιορισμούς.
Να είστε ακριβείς σχετικά με το τι αποδεικνύει το έργο. Δεν αποδεικνύει ότι ένα μοντέλο είναι καθολικά το καλύτερο. Αποδεικνύει ότι μπορείτε να μετατρέψετε ένα ασαφές πρόβλημα επιλογής μοντέλου σε μια μετρήσιμη επιχειρησιακή πολιτική.
Το σήμα καριέρας
Η δρομολόγηση μοντέλων αποκτά στρατηγική σημασία, επειδή η νοημοσύνη δεν αποτελεί πλέον μία και μοναδική, σταθερή εξάρτηση. Είναι ένα χαρτοφυλάκιο υπηρεσιών με διαφορετικούς συμβιβασμούς και μεταβαλλόμενα οικονομικά δεδομένα. Οι ομάδες που αντιμετωπίζουν αυτό το χαρτοφυλάκιο ως ανταλλάξιμη υποδομή μπορεί να μειώσουν το κόστος, αλλά μπορούν επίσης να δημιουργήσουν κρυφά προβλήματα ποιότητας, συμμόρφωσης και αξιοπιστίας. Οι ομάδες που το αντιμετωπίζουν ως μόνιμη δέσμευση σε ένα μόνο μοντέλο μπορεί να χάσουν καλύτερες επιλογές.
Η αναδυόμενη πειθαρχία βρίσκεται ανάμεσα σε αυτά τα δύο άκρα: αρκετά αφηρημένη ώστε να επιτρέπει την αλλαγή παρόχων, αρκετά συγκεκριμένη ώστε να διατηρεί την ποιότητα της εργασίας και αρκετά τεκμηριωμένη ώστε να δικαιολογεί την επιλογή. Αυτή είναι η ευκαιρία καριέρας στη δρομολόγηση μοντέλων — όχι να επιλέξετε μία φορά ένα API, αλλά να δημιουργήσετε το σύστημα αποφάσεων που συνεχίζει να επιλέγει σωστά.
Ο Tom Whitfield είναι ο υπεύθυνος ανθρώπινος συντάκτης του AI Career Brief, που καλύπτει δεξιότητες, ρόλους και έξυπνες κινήσεις για την εργασία στην εποχή της τεχνητής νοημοσύνης.
