Gan Charles Foster a Jesse Hamer

Rhagymadrodd

Ers 2021, yn Finetune rydym wedi gweld potensial Modelau Iaith Mawr (LLMs) ar gyfer trawsnewid y ffordd y mae gweithwyr proffesiynol mewn addysg ac asesu yn gweithio. Mae cyflymder dramatig y cynnydd yn y gofod hwn wedi golygu y gall cysyniadau fynd o degan ymchwil un wythnos, i gynnyrch firaol yr wythnos nesaf.

Nid oedd yn syndod wedyn i weld pa mor gyffrous oedd yr ymateb i ChatGPT: mewn un demo, roedd pawb yn deall ein bod yn sefyll ar drothwy rhywbeth gwych. O ystyried y cyffro a'r ansicrwydd presennol, efallai y bydd rhywun yn meddwl tybed: sut mae Finetune Generate yn ffitio i'r dirwedd hon? Pe bawn i'n gallu gofyn i chatbot generig wneud fy ysgrifennu i mi, pam y byddai angen unrhyw beth arall arnaf?

Rydym yn hoffi meddwl am Fodelau Iaith Mawr fel modelau sylfaen : systemau AI y mae eu hyfforddiant helaeth ac amrywiol yn caniatáu iddynt weithredu fel sylfaen ar gyfer ystod eang o achosion defnydd. Mae rhai sefydliadau gan gynnwys Anthropic, EleutherAI, ac OpenAI (datblygwr ChatGPT) yn hyfforddi'r modelau anferth hyn ac yn sicrhau eu bod ar gael i eraill eu defnyddio. Ond dim ond yr haen sylfaen yw'r modelau eu hunain: mae ganddyn nhw lawer mwy o botensial o'u plethu i mewn i system fwy, wedi'i theilwra ar gyfer cais penodol. Yn union fel technolegau pwrpas cyffredinol eraill fel y We, efallai y bydd angen cenhedlaeth gyfan o ymchwilwyr ac entrepreneuriaid yn adeiladu systemau ar ei ben, iddo wireddu ei botensial. Mewn cyfweliad ag Ezra Klein, mynegodd Prif Swyddog Gweithredol OpenAI Sam Altman deimlad tebyg:

Yr hyn rwy’n meddwl nad ni yw’r gorau yn y byd, ac nad ydym am ddargyfeirio ein sylw [oddi] mewn gwirionedd, yw’r holl gynhyrchion gwych a fydd yn cael eu hadeiladu ar ben [modelau iaith mawr]. Ac felly rydyn ni'n meddwl am ein rôl o ran darganfod sut i adeiladu'r systemau AI mwyaf galluog yn y byd ac yna eu gwneud ar gael i unrhyw un sy'n dilyn ein rheolau i adeiladu'r holl systemau hyn ar eu pennau.

Altman, 2023

Trwy gyfuno LLMs â thechnolegau mwy traddodiadol fel seiliau gwybodaeth a rhyngwynebau dynol-yn-y-dolen, gallwn greu staciau technoleg aeddfed, neu gymwysiadau cynhyrchiol , sy'n ein galluogi i ryddhau galluoedd LLMs i greu offer craff ym mhob math o feysydd cymhwysiad. . Mae Generate a ChatGPT yn ddwy enghraifft gynnar o'r rhain.

Gyda'r fframwaith hwn mewn golwg, gadewch i ni gymharu ChatGPT a Finetune Generate fel cymwysiadau cynhyrchiol sydd wedi'u hadeiladu ar GPT-3, o safbwynt datblygu eitemau.

Nodau Dylunio

Bwriad ChatGPT a Finetune Generate yw darparu rhyngwyneb mwy greddfol i ddefnyddwyr ryngweithio â modelau cynhyrchiol fel GPT-3. Y tu hwnt i hynny, mae'r ddau gais yn dra gwahanol. Mae gan OpenAI genhadaeth i adeiladu systemau AI diogel, pwrpas cyffredinol i bawb, ac adeiladodd ChatGPT i roi blas i'r cyhoedd yn gyffredinol o'r hyn y gall modelau iaith ei wneud gydag iaith naturiol, ac i wasanaethu fel blwch tywod i adeiladwyr roi prawf ar waith newydd. syniadau.

Yn Finetune, er ein bod yn ymgysylltu â’r gymuned ymchwil ehangach ynghylch arloesiadau model iaith (gweler ein cydweithrediad ag OpenAI ar welliannau i chwilio semantig), nid adeiladu systemau pwrpas cyffredinol newydd oedd ein nod gyda Generate yn bennaf, ond yn hytrach adeiladu’r systemau gorau. offeryn posibl ar gyfer ysgrifennu eitemau gyda chymorth AI. Dyna pam mae Generate wedi'i adeiladu'n benodol gydag ysgrifenwyr eitemau mewn golwg, o amgylch eu harferion gorau, iaith, a llifoedd gwaith. Roedd ein holl gyfyngiadau dylunio yn seiliedig ar ymgysylltu ag amrywiaeth eang o fabwysiadwyr cynnar. Mae pob model Generate yr ydym yn ei adeiladu wedi'i gynllunio i adlewyrchu strwythur unigryw pob asesiad, ac mae'n rhoi'r rheolaethau penodol sydd eu hangen ar y defnyddiwr ar gyfer eu tasg. Ar ben hynny, gall timau cyfan o ysgrifenwyr eitemau gydweithio ar ddatblygu eitemau gan ddefnyddio Generate, gyda swyddogaethau adeiledig i ganiatáu rheoli caniatâd ac allforio strwythuredig i fformatau fel QTI.

Penodoldeb

Mae modelau iaith mawr yn mynd trwy gyfnod hyfforddi cychwynnol o'r enw pretraining , lle mewn un sesiwn hir maent yn dysgu o filiynau o dudalennau o'r we, llyfrau, a ffynonellau eraill. Oherwydd pa mor ddrud yw cyfrifo dysgu o'r mewnbynnau hynny, mae eu gwybodaeth fel arfer yn sefydlog yn ei lle wedyn. Gan ei fod yn ddeunydd lapio deialog tenau ar ben GPT-3, yn yr un modd mae gan ChatGPT sylfaen wybodaeth sefydlog na ellir ei diwygio. Pe bai technegydd, dyweder, eisiau cymorth ynghylch rhyw system berchnogol, mae'n debyg na fyddai model o'r fath yn ddefnyddiol iddynt, oherwydd nid oes gan y model unrhyw ffordd o ddysgu pwnc newydd.

Mae partneriaid Finetune yn rhedeg y gamut o K-12 i addysg uwch i drwyddedu ac ardystio, ac yn rhychwantu amrywiaeth eang o feysydd.

O'r herwydd, mae'n hollbwysig i ni fod yn rhaid i'r modelau rydyn ni'n eu hadeiladu ar eu cyfer ddysgu o'u cynnwys unigryw - hyd yn oed os yw'r cynnwys hwnnw'n hynod arbenigol neu'n newydd - a bod yn rhaid ei ddiweddaru gyda deunyddiau newydd wrth iddynt ddod ar gael .

I wneud hyn yn bosibl, mae ein tîm Ymchwil a Datblygu AI wedi mireinio ein dulliau ein hunain i ymgorffori gwybodaeth newydd yn effeithlon mewn modelau iaith a'u targedu at ganllawiau penodol asesiad. Ar ben hynny, mae Generate yn dysgu'n ddeinamig dros amser i dargedu eitemau'n well i gynnwys ac arddull penodol tasgau pob cwsmer. Drwy gydol y flwyddyn rydym yn bwriadu cyflwyno sawl nodwedd arall a fydd yn parhau i wella rheolaeth ac addasrwydd ein modelau, o dargedu ymadroddion allweddol i reolaeth fanwl dros gymhlethdod gwybyddol a thu hwnt.

Diogelwch

Fel demo arbrofol, mae ChatGPT i fod i gael adborth ar sut mae pobl yn rhyngweithio â modelau iaith, fel y gall OpenAI wella'r dechnoleg sylfaenol sy'n cefnogi ei APIs. Oherwydd hyn, pan fydd defnyddwyr yn siarad â ChatGPT, mae'r rhyngweithiadau hynny'n cael eu storio a gallant wneud eu ffordd i mewn i setiau data hyfforddi yn y dyfodol, i helpu i hyfforddi'r genhedlaeth nesaf o fodelau. Mae hynny'n golygu, os byddwch chi'n datblygu eitem asesu gyda ChatGPT, efallai y bydd modelau'r dyfodol yn gwybod amdano neu wedi ei gofio, gan ddatgelu eich eitemau a'ch arddull eitem mewn ffyrdd nad oeddech chi'n bwriadu eu gwneud, gan beryglu eu diogelwch.

Mae diogelwch yn bryder allweddol wrth ddatblygu eitemau.

Mae Generate yn cadw eitemau'n ddiogel, wedi'u cau i ffwrdd, gyda phob cwsmer yn cyrchu eu modelau yn unig .

Hyd yn oed o fewn un cwsmer, gellir cyfyngu defnyddwyr i gael mynediad at eitemau penodol a gynhyrchir yn unig. Gyda Generate, mae cwsmeriaid bob amser yn berchen ar ba bynnag eitemau y maent yn eu cynhyrchu, ni waeth a ydynt yn rhoi cynnig ar fodel cychwynnol neu wedi mabwysiadu'r offeryn ar raddfa fawr.

Ymddiriedolaeth a Chefnogaeth

Mae llawer o'r hyn sy'n gwneud defnyddio LLM yn gynhyrchiol yn anodd ei fod yn sylfaenol ar hap : gofynnwch yr un cwestiwn iddo ddwywaith a bydd yn rhoi dau ateb gwahanol i chi. Mae hyn yn groes i'r hyn yr ydym fel arfer yn ei ddisgwyl gan ein hoffer: rydym yn dibynnu arnynt i fod yn ddibynadwy. Mae hyn yn arwain at un o'r problemau mwyaf parhaus gyda ChatGPT ac offer LLM eraill, sef ei bod yn anodd ymddiried yn eu hallbynnau pan nad ydych yn gwybod pam y dewiswyd yr allbynnau hynny. A oedd yn seiliedig ar ffeithiau y mae'r model yn eu dwyn i gof, neu'n anwireddau'r model a luniwyd, neu hyd yn oed wedi'i lên-ladrata o ryw ffynhonnell nas gwelwyd?

Mae'r safonau ar gyfer ymddiriedaeth o fewn addysg ac asesu yn uchel, yn llawer uwch nag ar gyfer chatbots achlysurol. Mae cwsmeriaid eisiau gwybod bod yr eitemau y maent yn eu cynhyrchu trwy Generate yn wirioneddol newydd, yn seiliedig ar eu deunyddiau eu hunain, ac yn ddilys.

Mae ein timau Ymchwil a Datblygu Mesur ac AI yn gweithio gyda phob cwsmer i greu modelau wedi'u teilwra i'w hanghenion, ac i ymgorffori eu hadborth mewn gwelliannau model parhaus .

Rydym hefyd yn cynnal gwiriadau llaw ac awtomataidd i wirio bod yr awgrymiadau y mae Generate yn eu gwneud yn cyd-fynd â manylebau'r cwsmer. Cyn bo hir byddwn yn cyflwyno nodwedd newydd a fydd yn galluogi defnyddwyr i groesgyfeirio eitemau a gynhyrchir yn hawdd â deunyddiau cyfeirio, fel y gallant gael sicrwydd ar unwaith bod yr eitemau y maent yn eu cynhyrchu wedi'u seilio mewn gwirionedd.

Casgliad

Mae hwn yn gyfnod cyffrous lle bydd cannoedd o gymwysiadau cynhyrchiol yn cael eu hadeiladu allan, i gyd yn mynd ar drywydd achosion defnydd posibl gwahanol ar gyfer LLMs. Wrth i chi eu harchwilio fel rhywun sy'n poeni'n fawr am ansawdd yr asesu mewn addysg, ardystio a thrwyddedu, rydym yn argymell cadw'r cwestiynau canlynol mewn cof bob amser:

• Ar gyfer pwy mae'r cais hwn wedi'i gynllunio?
• A yw'r model y mae'r rhaglen hon yn ei ddefnyddio wedi'i hyfforddi'n benodol ar gyfer yr hyn sydd ei angen ar fy sefydliad, gan gynnwys ein hanghenion diogelwch?
• Sut bydd y data a ddarparaf yn cael ei ddefnyddio?
• A ydw i eisiau buddsoddi'r amser a'r arian i wneud model pwrpas cyffredinol amrwd y gellir ei ddefnyddio (ee yr UI priodol) ac y mae ein Harbenigwyr Mater Pwnc (BBaChau) yn ymddiried ynddo i'w integreiddio i'n llif gwaith a'n hachos defnydd uchel o betiau?

Rydym yn dal i fod yn nyddiau cynnar y dechnoleg hynod drawiadol hon, ond eisoes mae maint y galluoedd y bydd cymwysiadau cynhyrchiol yn eu galluogi ar draws diwydiannau lluosog yn dod yn amlwg. Felly hefyd y lleisiau rhybudd a fynegwyd gan Gary Marcus o NYU ac eraill.

Yn Finetune rydym yn gyffrous iawn i barhau i arddangos mwy o nodweddion yn ein trydedd flwyddyn a fydd yn gwneud Generate hyd yn oed yn fwy perfformiwr, hyd yn oed yn fwy dibynadwy, a hyd yn oed yn fwy defnyddiol ar draws yr holl dirwedd dysgu ac asesu .