Door Charles Foster

Bij Finetune bouwen we AI-oplossingen om enkele van de meest uitdagende problemen in onderwijstechnologie aan te pakken, waaronder geautomatiseerde contentgeneratie en AI-gestuurde classificatie en aanbevelingen voor leermiddelen. Omdat de onderwerpen die onze tools moeten behandelen variëren van K-12 tot ontwikkeling van de beroepsbevolking, investeren we fors in methoden waarmee we de breedte en diepte van wat onze modellen bestrijken, kunnen opschalen. Belangrijke onderdelen van deze aanpak zijn flexibele methoden om gespecialiseerde neurale netwerken te trainen in domeinen waar algemene modellen niet toereikend zijn. In deze blogpost wil ik graag een beetje vertellen over onze reis waarin we deze methoden verkennen.

Fijnafstemming

Typische fine-tuning van neurale taalmodellen omvat het gelijktijdig optimaliseren van al hun trainbare parameters, wat kan oplopen tot vele miljarden voor netwerken zoals GPT-J. Op schaalgroottes als deze zijn zowel de fine-tuning als de inferentieprocessen niet triviaal, wat de wijdverbreide implementatie hiervan moeilijk maakt. In onze eigen onderzoeken leken een paar belangrijke kwesties het grootst op te duiken:

• Alleen al het uitvoeren van deze transformermodellen brengt de grenzen van het GPU-geheugen (VRAM) in gevaar. Tijdens het finetunen is er een direct verband tussen het aantal parameters dat wordt geoptimaliseerd en de hoeveelheid extra geheugen dat wordt verbruikt.
• Door alle parameters in het netwerk te wijzigen, kan de informatiestroom die tijdens de pre-training is geleerd, worden verstoord. Dit kan leiden tot vergeten en verlies van mogelijkheden voor weinige schoten.
• Het aanbieden van een aangepast multi-gigabyte-model voor elk gebruiksscenario zou onaanvaardbare latentie en kosten met zich meebrengen.

Deze gecombineerde zorgen motiveerden ons om andere methoden uit de recente literatuur te verkennen om onze neurale taalmodellen af te stemmen. Gelukkig heeft de onderzoekssfeer van natuurlijke taalverwerking het afgelopen jaar een heleboel methoden ontwikkeld om de kosten van het aanpassen van het gedrag van vooraf getrainde taalmodellen te verlagen.

Snelle afstemming

De oorspronkelijke aanpak die we nastreefden, heet Prompt Tuning of Soft Prompting (Lester et al. 2021). Bij deze methode worden de parameters van het netwerk van de pre-training bevroren gehouden. In plaats daarvan voegen we een klein aantal leerbare embeddingvectoren (meestal 10 tot 20) toe vóór de invoerprompttokens en stemmen we deze embeddings af met het gebruikelijke taalmodelleringsdoel op een fine-tuning-dataset. Deze embeddings vertegenwoordigen geen taaltokens; we kunnen ze in plaats daarvan zien als een dichte opslag van context waarop het netwerk kan conditioneren - via het aandachtsmechanisme - terwijl het voorspellingen doet over de tokens in de sequentie.

Prompt tuning voegt slechts een kleine runtimekost toe aan het model, aangezien de soft prompts in het kilobytebereik liggen en parallel via het netwerk kunnen worden uitgevoerd. Deze functies maken ze aantrekkelijk voor het bedienen van veel gelijktijdige gebruikers, zoals recente implementaties van de techniek in AI storytelling hebben aangetoond. Het integreren van soft prompts in populaire frameworks zoals HuggingFace's transformers is echter complex, aangezien de interfaces grotendeels zijn ontworpen om te werken op sequenties van tokenindices in plaats van dichte vectoren. Bovendien, naarmate er meer context wordt toegevoegd tussen de soft prompt en de generatie, beginnen we onevenwichtigheden te zien tussen de sterkte van de conditionering op de soft prompt en op de tokencontext. Het behouden van de mogelijkheid om flexibel honderden tokens van context toe te voegen tijdens runtime was belangrijk voor ons, omdat het extra fijnmazige hefbomen van controleerbaarheid biedt in het item-authoringproces. Als we het model willen begeleiden om zich te concentreren op inhoud van een bepaalde pagina van een leerboek, of om een leesbegripitem te schrijven, of om enkele voorbeelden te geven, is lange contextualisatie van belang.

Laag rang adapters (LoRA)

Later stapten we over op een methode genaamd LoRA of Low Rank Adapters (Hu et al. 2021). Deze techniek werd ontwikkeld door onderzoekers bij Microsoft die werkten aan GPT-3-modellen en bouwt voort op eerdere adapterbenaderingen. Als we een transformator zien als een transformator die zijn token latente toestanden progressief verfijnt met elke resterende laag, is het concept van een adapter om een kleine, input-afhankelijke delta (geïnitialiseerd tot een no-op) toe te voegen aan die latenten op een bepaalde laag. Deze zachte duw is vervolgens in staat om zijn gedrag stroomafwaarts te moduleren door bijvoorbeeld de nadruk te leggen op de delen van de input die relevant zijn voor de taak.

Low rank adapters zijn een soort adapter die gericht is op een low rank subspace, wat het aantal nieuwe parameters dat we moeten trainen vermindert (van D ² naar 2 × D × r, waarbij D in de duizenden staat). Net als bij soft prompting houden we de originele parameters van het netwerk bevroren om alle kennis die ze bevatten van pre-training te behouden, en passen we alleen deze nieuwe adapterparameters aan. In onze interne tests hebben we goede indicatoren van LoRA gezien. Naast het feit dat we grote modellen op kleine hardwarebudgetten kunnen afstemmen, behouden modellen met adapterlagen ertussen ook veel van hun oorspronkelijke few-shot-vermogen terwijl ze zich nog steeds aanpassen aan het doeldomein. Het integreren van low-rank adapters in andere frameworks is met name eenvoudig, omdat we bestaande lineaire lagen eenvoudig kunnen verwisselen met lineaire + adapterlagen indien nodig.

Vooruitgaan

Om een idee te geven van het soort verbeteringen dat we hebben gezien in onze verkenningen, delen we hieronder een kleine selectie van generaties van modellen die zijn getraind met verschillende afstemmingsbenaderingen. Deze items zijn allemaal gegenereerd met behulp van dezelfde drie invoerprompts met betrekking tot de levering van verpleegkundige zorg: de eerste was gericht op het prioriteren van de behoeften van meerdere cliënten en de tweede op het ondernemen van actie in een teamomgeving.

We kunnen zien dat, hoewel de beste items uit het basismodel grotendeels vloeiend en logisch coherent zijn, ze de neiging hebben om onderbeperkt te zijn (zoals in #1) of om heel weinig kennis van het verpleegkundig domein te vragen (zoals in #3). In vergelijking met de basisitems bevatten items uit de prompt tuning en low-rank adapter modellen meer details in hun stimuli, stammen en opties. Het onderwerp is relevant voor het domein en vraagt om specifieke kennis in het management van verpleegkundige zorg in plaats van alleen te vertrouwen op achtergrondkennis. Bovendien hebben de items uit het low-rank adapter model een consistentere vorm. De items verwijzen bijvoorbeeld consistent naar de "cliënt" in tegenstelling tot de "patiënt", in overeenstemming met de taal die waarschijnlijk in beoordelingen zou voorkomen (vergelijk #5 met #1 en #3). Het volgt ook succesvol verwijzingen naar meerdere personen binnen een scenario (vergelijk #6 met #4).

Verbeteringen in domeindekking, stilistische consistentie en logische coherentie kunnen leiden tot aanzienlijke verbeteringen in het nut van neurale taalmodellen. Dit is nog maar het begin: naarmate de technologie rijper wordt, zullen er nog meer methoden worden ontdekt om op maat gemaakte, controleerbare natuurlijke taalmodellen op schaal te creëren. En naarmate die methoden worden ontdekt, zullen we het beste uit de academische wereld, de industrie en onafhankelijk onderzoek blijven integreren in Finetune-producten.

Hartelijk dank aan Nick Koprowicz, Jesse Hamer, Saad Khan en Ogden Morse voor hun vriendelijke en nuttige feedback bij het schrijven van dit blogbericht.