Από τις Sara Vispoel, Brad Bolender, Charles Foster, Jesse Hamer, Sierra Magnotta και Safat Siddiqui

Εισαγωγή

Τους τελευταίους μήνες, γίναμε μάρτυρες μιας έκρηξης ενδιαφέροντος για μεγάλα γλωσσικά μοντέλα (LLM) όπως το GPT-4 και για το πώς η Finetune αξιοποιεί την τεχνολογία. Όλοι είναι σε επιφυλακή: καθιερωμένες ομάδες που θέλουν να δοκιμάσουν αναδυόμενες τεχνολογίες, ανερχόμενες νεοφυείς επιχειρήσεις που θέλουν να μετατρέψουν την έρευνα σε προϊόντα μετασχηματισμού και χειριστές που θέλουν να κερδίσουν γρήγορα χρήματα σε αυτόν τον πυρετό του χρυσού. Ωστόσο, με αυτή την έκρηξη ενδιαφέροντος, βλέπουμε και μια έκρηξη σύγχυσης. Οι άνθρωποι ρωτούν: «Πώς μπορώ να πλοηγηθώ σε αυτό το νέο έδαφος;», «Τι πρέπει να προσέχω;», «Πώς μπορώ να αποκτήσω πραγματική αξία από αυτήν την τεχνολογική αλλαγή παραδείγματος;»

Έχοντας εργαστεί με LLM πολύ πριν από τη διαφημιστική εκστρατεία, θα θέλαμε να προσφέρουμε κάποια σαφήνεια. Είδαμε πόσο ισχυρά εργαλεία μπορούν να είναι τα οποία ενσωματώνουν αυτήν την τεχνολογία. Μέσω της προεκπαίδευσης σε εκατομμύρια σελίδες κειμένου για την εκμάθηση πολύπλοκων εννοιολογικών συσχετισμών, καθώς και πρόσθετης, πιο αναλυτικής καθοδήγησης (μέσω μεθόδων όπως "λεπτή ρύθμιση", "ενίσχυση μάθησης στην ανθρώπινη ανάδραση" και "πρόχειρη μηχανική"), τα μοντέλα μετασχηματιστών μπορούν να γίνει χρήσιμο για κάθε είδους εργασίες. Αλλά αυτό που συχνά αποτελεί έκπληξη για τους νεοεισερχόμενους στον χώρο είναι ότι δεν είναι εύκολο να γίνουν τα LLM χρήσιμα για την πραγματοποίηση πραγματικής εργασίας, ειδικά σε τομείς όπου η ποιότητα μετράει .

Μια προσέγγιση αρχών

Στη Finetune, για αρκετά χρόνια αξιοποιούμε τα LLM για να αυξήσουμε τις ροές εργασιών δημιουργίας περιεχομένου και προσθήκης ετικετών των συνεργατών μας. Μέσα από αυτές τις συνεργασίες και μέσα από τα σκληρά μαθήματα που συνοδεύουν την εμπειρία του πραγματικού κόσμου, ανακαλύψαμε ότι η τεχνολογία είναι πιο επιδραστική όταν συνδυάζεται με ένα πλαίσιο αρχών. Το να το κάνεις σωστά , αντί να το κάνεις απλώς γρήγορα είναι αυτό που έχει σημασία.

Γιατί να μην το κάνουμε με τον εύκολο τρόπο; Λοιπόν, ας πούμε ότι απλώς ζητάτε από το GPT-4 να συνθέσει ένα νέο «Σαιξπηρικό» σονέτο ή να γράψει μια δοκιμαστική ερώτηση για ένα συγκεκριμένο θέμα. Με την πρώτη ματιά, το αποτέλεσμα θα φαίνεται συχνά αποδεκτό. Αλλά θυμηθείτε: αυτά τα μοντέλα λειτουργούν σαν επιδέξιοι μιμητές. Κοιτάξτε πέρα από την επιφάνεια αυτού του σονέτου και θα δείτε έναν κοίλο πυρήνα: οι περισσότερες από τις υποκείμενες πεποιθήσεις, η διάνοια και η στάση του Σαίξπηρ έχουν παραλειφθεί εντελώς. Ομοίως, επιθεωρήστε αυτήν την ερώτηση δοκιμής και θα δείτε σημαντικά ζητήματα: δεν δίνεται προσοχή σε καμία υποκείμενη κατασκευή , ή στον τρόπο με τον οποίο θα μπορούσε κανείς να δειγματίσει βέλτιστα τον τομέα για να υποστηρίξει συμπεράσματα επάρκειας ή σε οποιονδήποτε σκοπό που οδηγεί στο τεστ. Εν ολίγοις, στερείται ψυχομετρικής εγκυρότητας!

Για να αποκτήσουμε εγκυρότητα και οτιδήποτε άλλο θέλουν οι επαγγελματίες του κλάδου μας, πρέπει να προχωρήσουμε πέρα από το μοντέλο της ακατέργαστης γλώσσας μέσω μιας σύνθεσης μεταξύ επιστήμης μέτρησης και εκμάθησης, ψυχομετρίας και τεχνητής νοημοσύνης .

Ακολουθούν ορισμένες βασικές αρχές για το πώς φαίνεται αυτή η σύνθεση:

1. Σχεδιασμός για τη ροή εργασίας, όχι για το AI
2. Κεντράρετε τον άνθρωπο στον βρόχο
3. Χτίστε την αξιοπιστία μέσω της διαφάνειας

Σχεδιασμός για τη ροή εργασίας, όχι για το AI

Το να έχετε απλώς ένα LLM ενσωματωμένο σε μια εφαρμογή δεν αρκεί: η εστίαση πρέπει να είναι να δοθούν στον χρήστη τα εργαλεία τεχνητής νοημοσύνης που υποστηρίζουν καλύτερα τη δουλειά του. Να είστε προσεκτικοί με τους παρόχους που διαθέτουν ενσωμάτωση με ένα συγκεκριμένο μοντέλο και αναζητήστε αυτούς που συμβαδίζουν με την πρόοδο της τεχνητής νοημοσύνης, ειδικά με το να είναι αγνωστικιστές στο LLM . Εξάλλου, συγκεκριμένα μοντέλα έρχονται και παρέρχονται: το GPT-3 είχε τη μέρα του στον ήλιο και μετά ήταν παλιό καπέλο. Σήμερα υπάρχει πληθώρα επιλογών, τόσο γνωστές, όπως το GPT-4 και ο Claude, όσο και λιγότερο γνωστές όπως τα GPT-NeoX , FLAN και βελτιωμένα μοντέλα.

Αυτή η επιθυμία να επικεντρωθούμε στη ροή εργασίας είναι ο λόγος που στη Finetune σχεδιάζουμε μοντέλα τεχνητής νοημοσύνης για να ταιριάζουν στην εργασία που πρέπει να υποστηρίξουν. Μόλις αρχίσουμε να εργαζόμαστε με έναν πελάτη, η ομάδα μετρήσεων μας συλλέγει βασικά τεχνουργήματα για να περιγράψει, να οργανώσει και να ιεραρχήσει τις βασικές κατασκευές για τις αξιολογήσεις τους και τα μοτίβα σχεδιασμού που απαιτούνται για τη μέτρησή τους. Αυτό οδηγεί σε ένα δομημένο σύνολο προδιαγραφών δοκιμών και αντικειμένων, επιτρέποντας στους επιστήμονές μας AI να το ενσωματώσουν στη διαδικασία ανάπτυξης μοντέλων. Πριν από την κυκλοφορία, οι ομάδες μέτρησης και τεχνητής νοημοσύνης περνούν από πολλές επαναλήψεις διασφάλισης ποιότητας για να επιβεβαιώσουν ότι τα αποτελέσματα του μοντέλου δοκιμάζουν τις σωστές κατασκευές στα κατάλληλα επίπεδα γνωστικής πολυπλοκότητας και ότι τα στοιχεία συμμορφώνονται τόσο με τις οδηγίες γραπτής δοκιμής όσο και με τις βέλτιστες πρακτικές αξιολόγησης .

Κεντράρετε τον άνθρωπο στον βρόχο

Ενώ πολλοί ανταποκρίνονται στην αξία των εισροών των χρηστών, λίγοι το ζουν πραγματικά. Οι ειδικοί στο αντικείμενο (ΜΜΕ) θα πρέπει να είναι ισότιμοι εταίροι στην ανάπτυξη μοντέλων, παράλληλα με τους επιστήμονες δεδομένων και άλλους ενδιαφερόμενους φορείς. Επίσης, η επικύρωση δεν πρέπει να σταματά στην ανάπτυξη. Τα LLM όπως το GPT-4 σταματούν να μαθαίνουν μετά την αρχική τους εκπαίδευση, επομένως οι προγραμματιστές εφαρμογών πρέπει να αναπτύξουν τρόπους για να δίνουν τον έλεγχο στον χρήστη και να συμβαδίζουν με τις ανάγκες των χρηστών τους. Ακόμη και στο πεδίο, τα μοντέλα τεχνητής νοημοσύνης θα πρέπει να βελτιώνονται συνεχώς, ώστε να διασφαλίζεται ότι ο χρήστης βρίσκεται πάντα στη θέση του οδηγού.

Για παράδειγμα, τα σχόλια από τις ΜΜΕ μας βοηθούν να προσδιορίσουμε ποιες δομές πρέπει να μετρώνται με περιεχόμενο που δημιουργείται από την τεχνητή νοημοσύνη, ποια μέρη του περιεχομένου χρειάζονται περισσότερο βοήθεια, τι συνιστά υψηλή ποιότητα και πώς το μοντέλο βελτιώνεται με την πάροδο του χρόνου. Συναντιόμαστε τακτικά με πελάτες σε όλη την κατασκευή μοντέλων για να συζητήσουμε την πρόοδο και τους τομείς προς βελτίωση και να ζητήσουμε σχόλια από τις ΜΜΕ. Επίσης, με μια δυνατότητα που ονομάζουμε Learn , οι ΜΜΕ είναι σε θέση να επισημαίνουν τα καλύτερα στοιχεία που δημιουργούνται από την τεχνητή νοημοσύνη, τροφοδοτώντας τα πίσω στον σφόνδυλο αυτοβελτίωσης της τεχνητής νοημοσύνης. Αντί να μπαγιατεύουν, μέσω των σχολίων για τις ΜΜΕ τα μοντέλα σας μπορούν να γίνουν καλύτερα με την πάροδο του χρόνου.

Χτίστε την αξιοπιστία μέσω της διαφάνειας

Χωρίς διαφάνεια, πώς μπορείτε να εμπιστευτείτε το αποτέλεσμα ενός LLM; Αυτά τα μοντέλα είναι συχνά αδιαφανή και επιρρεπή στο να κάνουν σίγουρες ψευδείς δηλώσεις. Οποιοδήποτε εργαλείο που υποστηρίζεται από LLM θα πρέπει να έχει ενσωματωμένες δυνατότητες για την ανίχνευση των εξόδων του μοντέλου σε μια αξιόπιστη πηγή. Επιπλέον, η ανάγκη για εμπιστοσύνη υπερβαίνει την εμπιστοσύνη στο σύστημα τεχνητής νοημοσύνης, περιλαμβάνοντας την εμπιστοσύνη στην ασφάλεια των δεδομένων και το απόρρητο.

Αυτή η εμπιστοσύνη ήταν πολύ σημαντική για εμάς. Για το Generate, μας παρακίνησε να δημιουργήσουμε λειτουργίες όπως η αναζήτηση αναφοράς με τη βοήθεια AI και τη δυνατότητα παραγωγής απευθείας από υλικά αναφοράς. Ομοίως, στο προϊόν μας για την προσθήκη ετικετών τεχνητής νοημοσύνης, τον Κατάλογο, έπρεπε να αναπτύξουμε μεθόδους ώστε τα συστήματα τεχνητής νοημοσύνης μας να λαμβάνουν συστηματικά και με επεξηγήσεις αποφάσεις για την προσθήκη ετικετών, συμπεριλαμβανομένης της ανάλυσης της αιτιολογίας και της βαθμολογίας καταλόγου. Ακριβώς όπως μια αξιόπιστη ανθρώπινη ΜΜΕ που εκχωρεί μια ετικέτα θα πρέπει να είναι σε θέση να εξηγήσει τη διαδικασία σκέψης πίσω από την απόφαση, έτσι και ένα αξιόπιστο σύστημα AI. Όσον αφορά την ασφάλεια των δεδομένων και το απόρρητο, τα μοντέλα που αναπτύσσουμε είναι απομονωμένα σε βάση ανά πελάτη και συντονίζονται μόνο στα δεδομένα από αυτόν τον πελάτη. Με αυτόν τον τρόπο, τα μοντέλα μπορούν να μάθουν τις λεπτομέρειες για το πώς ένας συγκεκριμένος πελάτης κάνει τη δουλειά του, χωρίς φόβο διαρροής.

Σύναψη

Εκτός από τις αξιοσημείωτες ποιοτικές βελτιώσεις που έχουν απολαύσει οι LLM τους τελευταίους μήνες, οι βελτιώσεις στην προσβασιμότητα ήταν εξίσου εκπληκτικές. Έχουμε εισέλθει σε μια εποχή όπου η τεχνογνωσία της τεχνητής νοημοσύνης δεν αποτελεί πλέον εμπόδιο εισόδου για την αλληλεπίδραση με τους LLMs. Τούτου λεχθέντος, η διαφορά μεταξύ της αλληλεπίδρασης με ένα LLM και της δημιουργίας ενός ποιοτικού προϊόντος με ένα LLM είναι τόσο έντονη όσο και η διαφορά μεταξύ της κατοχής ενός τηγανιού και της παροχής μιας γευστικής εμπειρίας 5 αστέρων σε κλίμακα: το τελευταίο είναι δυνατό μόνο με μια ομάδα αφοσιωμένων εμπειρογνώμονες που εφαρμόζουν ένα σχέδιο βασισμένο σε αρχές που επικεντρώνεται στην εμπειρία του χρήστη.

Στη Finetune, συνιστούμε τρεις απλές - αλλά πιστεύουμε ότι είναι απαραίτητες - αρχές τις οποίες θα πρέπει να τηρούν όλα τα προϊόντα - όχι απλώς Δημιουργία ή Κατάλογος - εάν θέλουν να αξιοποιήσουν αποτελεσματικά τη δύναμη των LLM. Σχεδιάζοντας για τη ροή εργασιών, αντί για την τεχνητή νοημοσύνη , διασφαλίζεται ότι η ποιότητα της εμπειρίας χρήστη έχει προτεραιότητα πάνω από την εμπορευσιμότητα οποιουδήποτε LLM τυχαίνει να έχει διαφημιστική εκστρατεία τη συγκεκριμένη ημέρα. Επικεντρώνοντας τον άνθρωπο στον βρόχο , αναγνωρίζει κανείς ότι ανεξάρτητα από τη δύναμη του συγκεκριμένου LLM, η τεχνογνωσία της ΜΜΕ απαιτείται πάντα για τη μόχλευση των LLM σε κλίμακα. Χτίζοντας την αξιοπιστία μέσω της διαφάνειας , επιδεικνύεται σεβασμό για τον πελάτη δίνοντας έμφαση στη διαφάνεια τόσο στη λήψη αποφάσεων για το LLM όσο και στην ασφάλεια των δεδομένων. Κάτω από καθεμία από αυτές τις αρχές υπάρχει ένα κεντρικό θέμα: ότι ένα LLM—όπως κάθε μοντέλο τεχνητής νοημοσύνης—είναι ένα εργαλείο. Στη Finetune, είμαστε περήφανοι όχι μόνο για την τεχνογνωσία μας στην τεχνητή νοημοσύνη και τη μέτρηση, αλλά και για την σχεδόν τριετή εμπειρία μας στη μόχλευση αυτών των ισχυρών εργαλείων τεχνητής νοημοσύνης προκειμένου να προσφέρουμε μια εμπειρία χρήστη υψηλής ποιότητας: μια εμπειρία που έχει σχεδιαστεί για να ενισχύει , αντί να αντικαθιστά, την τεχνογνωσία των πελατών μας.