Η επόμενη σημαντική ανάπτυξη τεχνητής νοημοσύνης μπορεί να μη运行εί σε ένα τεράστιο υπολογιστικό σύμπλεγμα στο cloud. Μπορεί να运行εί μέσα σε μια κάμερα, ένα εργοστασιακό ρομπότ, ένα όχημα, μια ιατρική συσκευή ή ένα τερματικό λιανικής, όπου το εύρος ζώνης, η ισχύς, η καθυστέρηση, η ιδιωτικότητα και το λειτουργικό κόστος έχουν μεγαλύτερη σημασία από την ύπαρξη του μεγαλύτερου δυνατού μοντέλου.

Αυτή η μετατόπιση δημιουργεί ένα διαφορετικό είδος εργασίας στην τεχνητή νοημοσύνη. Οι ομάδες εξακολουθούν να χρειάζονται κατασκευαστές μοντέλων, αλλά χρειάζονται επίσης ανθρώπους που μπορούν να προσαρμόζουν τα μοντέλα σε πραγματικό υλικό, να μετρούν την ποιότητα υπό περιορισμούς, να ενσωματώνουν εγγενείς χρόνους εκτέλεσης συμπερασμού και να αποφασίζουν πότε ένα μικρότερο μοντέλο είναι αρκετά καλό για μια εργασία.

Αυτό είναι το λιγότερο λαμπερό μισό της κούρσας των μοντέλων: όχι μόνο η βελτίωση της νοημοσύνης, αλλά και η δυνατότητα ανάπτυξης της νοημοσύνης.

Γιατί τα μικρότερα μοντέλα αλλάζουν το ζήτημα της ανάπτυξης

Ένα μοντέλο στο cloud μπορεί συχνά να χρησιμοποιήσει περισσότερους υπολογιστικούς πόρους για να απαντήσει σε ένα αίτημα. Ένα ενσωματωμένο σύστημα δεν μπορεί να θεωρεί δεδομένη μια αξιόπιστη σύνδεση δικτύου, απεριόριστη μπαταρία ή ένα γενναιόδωρο κόστος ανά κλήση. Ένα ρομπότ που περιμένει αρκετές εκατοντάδες χιλιοστά του δευτερολέπτου για κάθε απόφαση αντίληψης ή ελέγχου μπορεί να είναι μη ασφαλές ή αναποτελεσματικό. Ένα προϊόν που στέλνει κάθε εικόνα ή δείγμα ήχου σε ένα API μπορεί να δημιουργεί απαράδεκτο κόστος ιδιωτικότητας και μεταφοράς δεδομένων.

Αυτοί οι περιορισμοί αλλάζουν τον μηχανικό στόχο. Το ερώτημα γίνεται: ποιο είναι το μικρότερο μοντέλο που επιτυγχάνει τους απαιτούμενους στόχους ακρίβειας, καθυστέρησης, μνήμης, ενέργειας και αξιοπιστίας στην πραγματική συσκευή;

Το ερώτημα αυτό ισχύει πολύ πέρα από τα καταναλωτικά gadgets. Έχει σημασία για κατασκευαστές που επιθεωρούν εξαρτήματα σε μια γραμμή παραγωγής, εταιρείες logistics που παρακολουθούν εξοπλισμό, νοσοκομεία που επεξεργάζονται ευαίσθητα σήματα και προμηθευτές λογισμικού που προσπαθούν να προσφέρουν λειτουργίες τεχνητής νοημοσύνης χωρίς να μετατρέψουν τους λογαριασμούς συμπερασμού στο μεγαλύτερο μεταβλητό τους κόστος.

Τρεις τεχνικές πίσω από τη μετατόπιση

Η κβαντοποίηση αναπαριστά τα βάρη του μοντέλου και, μερικές φορές, τις ενεργοποιήσεις, με αριθμούς χαμηλότερης ακρίβειας. Η μετάβαση από μορφές όπως BF16 ή FP16 σε αναπαραστάσεις 8 ή 4 bit μπορεί να μειώσει τις απαιτήσεις μνήμης και ενδέχεται να βελτιώσει τη διεκπεραιωτική ικανότητα, ανάλογα με το υλικό και την υλοποίηση. Το αντιστάθμισμα είναι ότι η χαμηλότερη ακρίβεια μπορεί να μειώσει την ποιότητα ή να δημιουργήσει αριθμητικά προβλήματα, επομένως αυτό πρέπει να ελέγχεται και όχι να θεωρείται ακίνδυνο.

Η απόσταξη εκπαιδεύει ένα μικρότερο μοντέλο-μαθητή ώστε να αναπαράγει χρήσιμη συμπεριφορά από ένα μεγαλύτερο μοντέλο-διδάσκαλο. Ο μαθητής μπορεί να μαθαίνει από τις εξόδους του διδασκάλου, ενδιάμεσα σήματα ή παραδείγματα ειδικά για την εκάστοτε εργασία. Δεν χρειάζεται να αναπαράγει κάθε ικανότητα του μεγαλύτερου μοντέλου· χρειάζεται να εκτελεί την επιδιωκόμενη εργασία αρκετά καλά.

Ο βελτιστοποιημένος συμπερασμός προσαρμόζει την εκτέλεση σε έναν συγκεκριμένο χρόνο εκτέλεσης και επεξεργαστή. Αυτό μπορεί να περιλαμβάνει επιλογή kernels, μεταγλώττιση γράφων, ομαδοποίηση, σχεδιασμό μνήμης, προσωρινή αποθήκευση και επιτάχυνση ειδικά για το υλικό. Το TensorRT Model Connect της NVIDIA, που ανακοινώθηκε σε δημόσια προεπισκόπηση, είναι ένα παράδειγμα εργαλείου που προορίζεται να μετατρέπει υποστηριζόμενα checkpoints του Hugging Face ή τοπικά checkpoints σε συμπερασμό TensorRT από άκρο σε άκρο, χωρίς ενδιάμεση εξαγωγή ONNX. Ο δηλωμένος στόχος του περιλαμβάνει φόρτους εργασίας ρομποτικής, συσκευών και πλατφορμών.

Αυτές οι τεχνικές ενισχύουν η μία την άλλη. Η απόσταξη μπορεί να παράγει ένα συμπαγές μοντέλο· η κβαντοποίηση μπορεί να μειώσει ακόμη περισσότερο το αποτύπωμά του· ένας βελτιστοποιημένος χρόνος εκτέλεσης μπορεί να καθορίσει αν το μοντέλο που προκύπτει είναι πράγματι γρήγορο στο προβλεπόμενο chip.

Ένα χρήσιμο αποτέλεσμα δεν είναι το ίδιο με ένα μικρότερο αρχείο

Η συμπίεση μοντέλων θα πρέπει να αντιμετωπίζεται ως άσκηση προϊόντος και συστημάτων, όχι ως τέχνασμα για πίνακες κατάταξης. Ένα μοντέλο που είναι 40 τοις εκατό μικρότερο αλλά δεν εντοπίζει κρίσιμα αντικείμενα σε χαμηλό φωτισμό μπορεί να είναι χειρότερο για ένα ρομπότ αποθήκης. Ένα γλωσσικό μοντέλο που είναι φθηνό ανά token αλλά παράγει κακοσχηματισμένη δομημένη έξοδο μπορεί να αυξήσει την επακόλουθη εργασία επιδιόρθωσης. Ένα μοντέλο που αποδίδει καλά σε ένα benchmark μπορεί να αποτύχει όταν εμφανιστούν θερμικός περιορισμός, θόρυβος κάμερας, διακοπτόμενη συνδεσιμότητα ή ασυνήθιστες εισόδους χρηστών.

Η αναφορά της Liquid AI σχετικά με την απόσταξη με επίγνωση της κβαντοποίησης για τα μικρά μοντέλα LFM2.5 αποτελεί χρήσιμη απεικόνιση του στόχου. Η εταιρεία ανέφερε ότι διατήρησε από 96.5% έως 97.4% της απόδοσης BF16, διατηρώντας παράλληλα τη χρήση μνήμης και τη διεκπεραιωτική ικανότητα του Q4_0. Αυτά τα στοιχεία αναφέρθηκαν από την εταιρεία και αφορούν συγκεκριμένα μοντέλα· δεν θα πρέπει να γενικεύονται σε κάθε αρχιτεκτονική. Δείχνουν όμως το είδος της σύγκρισης που θα πρέπει να αναζητούν οι επαγγελματίες: διατήρηση της ποιότητας μετρημένη παράλληλα με τη μνήμη και την ταχύτητα, και όχι μόνο έναν λόγο συμπίεσης.

Για μια ανάπτυξη, η δοκιμή αποδοχής θα πρέπει να περιλαμβάνει τουλάχιστον:

  • ποιότητα της εργασίας σε αντιπροσωπευτικά, δύσκολα παραδείγματα·
  • απαιτήσεις αιχμής σε μνήμη και αποθηκευτικό χώρο·
  • καθυστέρηση πρώτης απόκρισης και σταθερής κατάστασης·
  • διεκπεραιωτική ικανότητα υπό ρεαλιστική ταυτόχρονη χρήση·
  • κατανάλωση ενέργειας ή θερμική συμπεριφορά, όπου είναι σχετικό·
  • συμπεριφορά σε περίπτωση αποτυχίας όταν οι είσοδοι λείπουν, περιέχουν θόρυβο ή βρίσκονται εκτός κατανομής·
  • το κόστος και το λειτουργικό βάρος της ενημέρωσης του μοντέλου.

Οι ακριβείς μετρικές διαφέρουν ανά προϊόν. Μια κάμερα μπορεί να ενδιαφέρεται για καρέ ανά δευτερόλεπτο και ψευδώς αρνητικά. Μια φωνητική διεπαφή μπορεί να ενδιαφέρεται για τον χρόνο απόκρισης από άκρο σε άκρο. Ένα ρομπότ μπορεί να ενδιαφέρεται για τις προθεσμίες του βρόχου ελέγχου και την ασφαλή συμπεριφορά εφεδρείας. Το ζητούμενο είναι να συνδεθεί η αξιολόγηση του μοντέλου με τις φυσικές ή οικονομικές συνέπειες της αποτυχίας.

Πού εμφανίζεται η νέα εργασία

Η διευρυνόμενη ευκαιρία δεν περιορίζεται σε όσους σχεδιάζουν αρχιτεκτονικές. Περιλαμβάνει αρκετούς πρακτικούς ρόλους:

  • Μηχανικοί inference καταρτίζουν προφίλ απόδοσης μοντέλων σε επιταχυντές-στόχους, επιλέγουν περιβάλλοντα εκτέλεσης, βελτιστοποιούν γραφήματα και διαγιγνώσκουν σημεία συμφόρησης στην καθυστέρηση ή στη μνήμη.
  • Μηχανικοί συμπίεσης μοντέλων σχεδιάζουν αγωγούς κβαντοποίησης και απόσταξης, επιλέγουν δεδομένα βαθμονόμησης και μετρούν την απώλεια ποιότητας ανά εργασία και τμήμα.
  • Μηχανικοί Edge ML προετοιμάζουν μοντέλα για περιβάλλοντα κινητών συσκευών, ενσωματωμένων συστημάτων, βιομηχανικών εφαρμογών ή αυτοκινήτων και διαχειρίζονται ενημερώσεις υπό περιορισμένη συνδεσιμότητα.
  • Μηχανικοί λογισμικού ρομποτικής συνδέουν μοντέλα αντίληψης με αισθητήρες, συστήματα σχεδιασμού και περιορισμούς ασφαλείας, όπου ο χρόνος έχει σημασία.
  • Μηχανικοί προϊόντων με επίγνωση του υλικού αποφασίζουν αν ένας φόρτος εργασίας ανήκει σε μια συσκευή, στην περιφέρεια ή στο cloud — και σχεδιάζουν ομαλές μεταβάσεις μεταξύ τους.
  • Ειδικοί ανάπτυξης και επικύρωσης δημιουργούν σουίτες δοκιμών που περιλαμβάνουν θερμικές συνθήκες, κατανάλωση ισχύος, δίκτυο και πραγματικές περιβαλλοντικές συνθήκες.

Υπάρχει επίσης δουλειά για τους προγραμματιστές εφαρμογών. Μια ομάδα προϊόντος μπορεί να μην εκπαιδεύει ένα μοντέλο, πρέπει όμως και πάλι να επιλέξει μορφότυπο μοντέλου, να ενσωματώσει μια βιβλιοθήκη inference, να χειριστεί μη υποστηριζόμενους τελεστές, να εκθέσει τη συμπεριφορά ως προς την εμπιστοσύνη ή την αποχή από πρόβλεψη και να κάνει τις αναβαθμίσεις αναστρέψιμες.

Ο διαχωρισμός cloud-edge γίνεται σχεδιαστική δεξιότητα

Τα μικρά μοντέλα δεν εξαλείφουν τα μοντέλα cloud. Κάνουν τα υβριδικά συστήματα πιο ελκυστικά. Μια συσκευή μπορεί να χρησιμοποιεί ένα συμπαγές μοντέλο για άμεση ανίχνευση και στη συνέχεια να στέλνει επιλεγμένα συμβάντα σε ένα μεγαλύτερο μοντέλο για εξήγηση ή βαθύτερη ανάλυση. Ένα ρομπότ μπορεί να διατηρεί την αντίληψη που είναι κρίσιμη για την ασφάλεια τοπικά, ενώ χρησιμοποιεί το cloud για μάθηση σε επίπεδο στόλου. Ένα προϊόν υποστήριξης πελατών μπορεί να δρομολογεί τη συνηθισμένη ταξινόμηση σε ένα μικρό μοντέλο και να κλιμακώνει τις αμφίσημες περιπτώσεις σε ένα πιο ικανό.

Αυτή η αρχιτεκτονική μπορεί να μειώσει το εύρος ζώνης και την καθυστέρηση, αλλά εισάγει αποφάσεις που χρειάζονται σαφή ανάθεση ευθύνης. Ποιες πληροφορίες αποστέλλονται εκτός συσκευής; Τι συμβαίνει χωρίς συνδεσιμότητα; Ποια έκδοση μοντέλου παρήγαγε μια ενέργεια; Μπορεί η συσκευή να επιστρέψει με ασφάλεια σε προηγούμενη έκδοση; Πώς παρακολουθείται η απόδοση όταν κάθε διαμόρφωση υλικού συμπεριφέρεται διαφορετικά;

Αυτά είναι ερωτήματα ανάπτυξης, όχι απλώς ερωτήματα μοντέλων. Ευνοούν τους επαγγελματίες που κατανοούν τις διεπαφές μεταξύ μηχανικής μάθησης, ενσωματωμένων συστημάτων, δικτύωσης, απαιτήσεων προϊόντος και λειτουργιών.

Μια πρακτική πορεία μάθησης

Αν θέλετε να στραφείτε προς αυτή την εργασία, υλοποιήστε μία μικρή αλλά μετρήσιμη ανάπτυξη αντί να συγκεντρώνετε μόνο πιστοποιήσεις μοντέλων. Ξεκινήστε με μια εργασία που έχει σαφή στόχο, όπως ταξινόμηση εικόνων, ανίχνευση λέξεων-κλειδιών, κατηγοριοποίηση εγγράφων ή έναν συμπαγή τοπικό βοηθό.

  1. Καθιερώστε μια γραμμή βάσης. Καταγράψτε την ποιότητα, το μέγεθος του μοντέλου, τη χρήση μνήμης, την καθυστέρηση και τη διαμεταγωγή χρησιμοποιώντας ένα αναπαραγώγιμο σύνολο δοκιμών.
  2. Κβαντοποιήστε το. Συγκρίνετε τουλάχιστον μία έκδοση χαμηλότερης ακρίβειας με τη γραμμή βάσης. Καταγράψτε ποια παραδείγματα αλλάζουν και αν τα σφάλματα συγκεντρώνονται σε μια σημαντική κατηγορία.
  3. Δοκιμάστε απόσταξη ή προσαρμογή ακριβείας ειδικά για την εργασία. Μετρήστε αν ένα μικρότερο μοντέλο μπορεί να διατηρήσει τη συμπεριφορά που χρειάζεται πραγματικά το προϊόν.
  4. Εκτελέστε το σε υλικό-στόχο. Ένα benchmark σε επιτραπέζιο υπολογιστή δεν αποτελεί ένδειξη για τη συμπεριφορά σε τηλέφωνο, μικροϋπολογιστή, GPU, επιταχυντή ή υπολογιστή ρομπότ.
  5. Πακετάρετε την ανάπτυξη. Συμπεριλάβετε προεπεξεργασία, μετεπεξεργασία, μεταδεδομένα έκδοσης, ελέγχους καλής λειτουργίας και μια εναλλακτική διαδρομή.
  6. Συντάξτε την αναφορά συμβιβασμών. Εξηγήστε γιατί το επιλεγμένο μοντέλο υπερέχει ως προς την ποιότητα, την καθυστέρηση, τη μνήμη, την ενέργεια, το απόρρητο και το κόστος — όχι απλώς γιατί έχει την καλύτερη βαθμολογία.

Τα χρήσιμα εργαλεία εξαρτώνται από τη στοίβα-στόχο, αλλά οι μεταφέρσιμες δεξιότητες παραμένουν σταθερές: δημιουργία προφίλ απόδοσης, αριθμητική σκέψη, επιλογή δεδομένων, σχεδιασμός δοκιμών, αποσφαλμάτωση και σαφής επικοινωνία των συμβιβασμών. Μάθετε να διαβάζετε ένα γράφημα μοντέλου, να ελέγχετε την υποστήριξη τελεστών, να εντοπίζετε τη μετακίνηση δεδομένων στη μνήμη ως σημείο συμφόρησης και να διακρίνετε τον θεωρητικό υπολογισμό από τη μετρημένη καθυστέρηση από άκρο σε άκρο.

Το επαγγελματικό σήμα

Η σημαντική επαγγελματική μετατόπιση είναι από το ερώτημα «Ποιο μοντέλο είναι εξυπνότερο;» στο ερώτημα «Ποιο σύστημα παρέχει το απαιτούμενο αποτέλεσμα υπό τους πραγματικούς περιορισμούς;» Τα μεγάλα μοντέλα θα παραμείνουν πολύτιμα, ιδιαίτερα για ανοιχτού τύπου συλλογισμό και σύνθετη παραγωγή. Ωστόσο, πολλές εμπορικές εφαρμογές και εργασίες στον φυσικό κόσμο είναι αρκετά περιορισμένες, ώστε ένα συμπαγές, γρήγορο και ιδιωτικό μοντέλο να αποτελεί καλύτερο προϊόν.

Αυτό δημιουργεί χώρο για επαγγελματίες που μπορούν να γεφυρώσουν την έρευνα και την ανάπτυξη. Οι νικητές δεν θα είναι πάντα οι ομάδες με το μεγαλύτερο μοντέλο. Μπορεί να είναι οι ομάδες που κατανοούν τον φόρτο εργασίας, συμπιέζουν με ευφυή τρόπο, αξιολογούν με ειλικρίνεια και διαθέτουν ένα αξιόπιστο σύστημα στο διαθέσιμο υλικό.

Για μια καριέρα στην ΤΝ, αυτό είναι ένα διαχρονικό μάθημα: η νοημοσύνη είναι μόνο ένα μέρος του παραδοτέου. Το άλλο μέρος είναι να την κάνεις να ταιριάζει.