Le Teàrlach Foster agus Jesse Hamer
Ro-ràdh
Bho 2021, aig Finetune tha sinn air comas Modalan Cànain Mòr (LLMn) fhaicinn airson cruth-atharrachadh a thoirt air an dòigh sa bheil proifeiseantaich ann am foghlam & measadh ag obair. Tha astar mòr an adhartais san raon seo air ciallachadh gum faod bun-bheachdan a dhol bho dhèideag rannsachaidh aon seachdain, gu toradh viral an ath rud.
Cha robh e na iongnadh an uairsin a bhith a’ faicinn cho togarrach sa bha am freagairt do ChatGPT: ann an aon demo, thuig a h-uile duine gu bheil sinn nar seasamh air stairsneach rudeigin sgoinneil. Leis an othail agus an mì-chinnt a th’ ann an-dràsta, dh’ fhaodadh neach a bhith iongantach: ciamar a tha Finetune Generate a’ freagairt air an t-sealladh-tìre seo? Nam b’ urrainn dhomh dìreach iarraidh air chatbot gnèitheach mo sgrìobhadh a dhèanamh dhòmhsa, carson a bhiodh feum agam air dad sam bith eile?
Is toil leinn a bhith a’ smaoineachadh air Modalan Cànain Mòra mar mhodalan bunaiteach : siostaman AI leis an trèanadh farsaing agus eadar-mheasgte aca a’ leigeil leotha a bhith mar bhunait airson raon farsaing de chùisean cleachdaidh. Bidh beagan bhuidhnean a’ gabhail a-steach Anthropic, EleutherAI, agus OpenAI (leasaiche ChatGPT) a’ trèanadh nam modalan mòra sin agus gan dèanamh rim faighinn airson daoine eile a chleachdadh. Ach chan eil anns na modailean fhèin ach an ìre bhunaiteach: tha comas fada nas motha aca nuair a tha iad air am fighe a-steach do shiostam nas motha, air a dhealbhadh airson tagradh sònraichte. Dìreach mar theicneòlasan coitcheann eile leithid an Lìon, dh’ fhaodadh gun toir e ginealach slàn de luchd-rannsachaidh agus luchd-tionnsgain a’ togail shiostaman air a’ cheann thall, gus an coilean e a chomas. Ann an agallamh le Ezra Klein, chuir Ceannard OpenAI Sam Altman an cèill faireachdainn coltach ris:
Is e an rud a tha mi a’ smaoineachadh nach e sinne an fheadhainn as fheàrr san t-saoghal aig, agus nach eil sinn airson ar n-aire a tharraing air falbh [bho], na toraidhean iongantach uile a thèid a thogail a bharrachd air [modalan cànain mòra]. Agus mar sin bidh sinn a’ smaoineachadh air ar dleastanas a thaobh faighinn a-mach mar a thogas sinn na siostaman AI as comasaiche san t-saoghal agus an uairsin gan toirt seachad do dhuine sam bith a leanas ar riaghailtean gus na siostaman sin uile a thogail air an ceann.
Altman, 2023
Le bhith a’ cothlamadh LLMn le teicneòlasan nas traidiseanta leithid bunaitean eòlais agus eadar-aghaidh daonna-an-lùb, is urrainn dhuinn cruachan teicneòlais aibidh, no tagraidhean gineadh , a chruthachadh a leigeas leinn comasan LLMn a sgaoileadh gus innealan snasail a chruthachadh anns gach seòrsa raon tagraidh. . Tha Generate agus ChatGPT nan dà eisimpleir thràth dhiubh sin.
Leis an fhrèam seo san amharc, dèanamaid coimeas eadar ChatGPT agus Finetune Generate mar thagraidhean ginealach le chèile air an togail air GPT-3, bho thaobh leasachadh nithean.
Amasan Dealbhaidh
Tha an dà chuid ChatGPT agus Finetune Generate an dùil eadar-aghaidh nas intuitive a thoirt do luchd-cleachdaidh gus eadar-obrachadh le modalan ginealach mar GPT-3. A bharrachd air an sin, tha an dà iarrtas gu math eadar-dhealaichte. Tha rùn aig OpenAI siostaman AI sàbhailte, coitcheann a thogail dha na h-uile, agus thog e ChatGPT gus blasad a thoirt don mhòr-shluagh air dè as urrainn do mhodalan cànain a dhèanamh le cànan nàdarrach, agus a bhith na bhogsa gainmhich airson luchd-togail ùr fheuchainn. smuaintean.
Aig Finetune, ged a bhios sinn a’ conaltradh leis a’ choimhearsnachd rannsachaidh nas fharsainge a thaobh innleachdan modail cànain (faic ar co-obrachadh le OpenAI air leasachaidhean ann an rannsachadh semantach), cha b’ e ar n-amas le Generate siostaman ùra coitcheann a thogail gu sònraichte, ach an fheadhainn as fheàrr a thogail. inneal comasach airson sgrìobhadh nithean le taic AI. Sin as coireach gu bheil Generate air a thogail gu sònraichte le sgrìobhadairean nithean san amharc, timcheall air na cleachdaidhean as fheàrr, cànan agus sruthan-obrach. Bha na cuingeadan dealbhaidh againn uile stèidhichte air conaltradh le measgachadh farsaing de luchd-uchd-mhacachd tràth. Tha gach modal Generate a thogas sinn air a dhealbhadh gus structar sònraichte gach measaidh a nochdadh, agus a’ toirt don neach-cleachdaidh na smachdan sònraichte a tha a dhìth airson an obair. A bharrachd air an sin, faodaidh sgiobaidhean iomlan de sgrìobhadairean stuthan co-obrachadh gus stuthan a leasachadh a’ cleachdadh Generate, le comas-gnìomh togte gus riaghladh cead agus às-mhalairt structarail a cheadachadh gu cruthan leithid QTI.
Sònrachadh
Bidh modalan cànain mòra a’ dol tro ìre trèanaidh tùsail ris an canar pretraining , far am bi iad ag ionnsachadh ann an aon seisean fada bho mhilleanan de dhuilleagan bhon lìon, leabhraichean, agus stòran eile. Air sgàth cho daor sa tha àireamhachadh ionnsachadh bho na cuir a-steach sin, mar as trice bidh an eòlas aca stèidhichte às deidh sin. Leis gur e còmhdach còmhraidh tana a th’ ann a bharrachd air GPT-3, tha bunait eòlais stèidhichte aig ChatGPT nach gabh atharrachadh. Nam biodh, can, teicneòlaiche ag iarraidh cuideachadh a thaobh siostam seilbh air choireigin, is dòcha nach biodh modal mar sin na chuideachadh dhaibh, leis nach eil dòigh aig a’ mhodail air cuspair ùr ionnsachadh.
Bidh com-pàirtichean Finetune a’ ruith an gamut bho K-12 gu foghlam àrd-ìre gu ceadachd & teisteanas, agus a’ spangachadh raon farsaing de raointean.
Mar sin, tha e deatamach dhuinne gum feum na modailean a thogas sinn dhaibh ionnsachadh bhon t-susbaint shònraichte aca - eadhon ged a tha an susbaint sin gu math sònraichte no ùr-nodha - agus gum feumar ùrachadh le stuthan ùra mar a bhios iad rim faighinn .
Gus seo a dhèanamh comasach, tha an sgioba AI R&D againn air na dòighean againn fhèin ùrachadh gus eòlas ùr a thoirt a-steach gu h-èifeachdach ann am modalan cànain agus gus an cuimseachadh air stiùiridhean sònraichte measaidh. A bharrachd air an sin, bidh Generate ag ionnsachadh gu dinamach thar ùine gus nithean a chuimseachadh nas fheàrr air susbaint sònraichte agus stoidhle gnìomhan gach teachdaiche. Tron bhliadhna seo tha sinn an dùil grunn fheartan eile a sgaoileadh a chumas oirnn ag adhartachadh smachd agus sùbailteachd ar modalan, bho phrìomh abairt ag amas gu smachd mionaideach air iom-fhillteachd inntinneil agus nas fhaide air falbh.
Tèarainteachd
Mar demo deuchainneach, tha ChatGPT an dùil fios air ais fhaighinn air mar a bhios daoine ag eadar-obrachadh le modalan cànain, gus an urrainn do OpenAI an teicneòlas bunaiteach a tha a’ toirt taic dha na APIan aige a leasachadh. Air sgàth seo, nuair a bhios luchd-cleachdaidh a’ bruidhinn ri ChatGPT, tha na h-eadar-obrachaidhean sin air an stòradh agus faodaidh iad an slighe a-steach gu stòran-dàta trèanaidh san àm ri teachd, gus cuideachadh le bhith a’ trèanadh an ath ghinealach de mhodalan. Tha sin a’ ciallachadh ma leasaicheas tu nì measaidh le ChatGPT, is dòcha gum bi fios aig modalan san àm ri teachd mu dheidhinn no gu bheil iad air a chuimhneachadh, a dh’ fhaodadh na stuthan agus an stoidhle nì agad a nochdadh ann an dòighean nach robh thu an dùil, a ’cur an tèarainteachd ann an cunnart.
Tha tèarainteachd na phrìomh dhragh ann an leasachadh nithean.
Bidh Generate a’ cumail nithean tèarainte, dùinte, le gach neach-ceannach a’ faighinn cothrom air na modalan aca a-mhàin .
Fiù ‘s taobh a-staigh aon neach-ceannach, faodaidh luchd-cleachdaidh a bhith air an cuingealachadh gus faighinn gu dìreach stuthan gineadh sònraichte. Le Generate, tha luchd-ceannach an-còmhnaidh nan sealbhadairean air ge bith dè na stuthan a bhios iad a’ dèanamh, ge bith a bheil iad dìreach a ’feuchainn modal tùsail no a bheil iad air gabhail ris an inneal aig sgèile.
Urras & Taic
Is e mòran de na tha ga dhèanamh duilich a bhith a’ cleachdadh LLM gu cinneasach gu bheil e gu bunaiteach air thuaiream : faighnich an aon cheist dà uair agus bheir e dhut dà fhreagairt eadar-dhealaichte. Tha seo a’ dol an aghaidh na tha sinn mar as trice a’ dùileachadh bho na h-innealan againn: bidh sinn a’ cunntadh orra a bhith earbsach. Tha seo a’ leantainn gu aon de na duilgheadasan as seasmhaiche le ChatGPT agus le innealan LLM eile, is e sin gu bheil e duilich earbsa a bhith anns na toraidhean aca nuair nach eil fios agad carson a chaidh na toraidhean sin a thaghadh. An robh e stèidhichte air fìrinnean a tha am modail a’ cuimhneachadh, no breugan a’ mhodail a chaidh a dhèanamh suas, no eadhon mèirle-sgrìobhaidh bho thùs neo-fhaicsinneach?
Tha na h-ìrean earbsa taobh a-staigh foghlam & measadh àrd, mòran nas àirde na airson chatbots cas. Tha luchd-ceannach ag iarraidh faighinn a-mach gu bheil na stuthan a bhios iad a’ dèanamh tro Generate dha-rìribh ùr, stèidhichte air na stuthan aca fhèin, agus gu bheil iad dligheach.
Bidh na sgiobaidhean Tomhais agus AI R&D againn ag obair le gach neach-ceannach gus modalan a chruthachadh a tha freagarrach dha na feumalachdan aca, agus gus am fios air ais a thoirt a-steach do leasachaidhean modail leantainneach .
Bidh sinn cuideachd a’ dèanamh sgrùdaidhean làimhe & fèin-ghluasadach gus dearbhadh gu bheil na molaidhean Generate a’ dèanamh a rèir mion-chomharrachadh an neach-ceannach. Bidh sinn a’ sgaoileadh feart ùr a dh’ aithghearr a leigeas le luchd-cleachdaidh tar-iomradh a dhèanamh air stuthan a chaidh a chruthachadh le stuthan fiosrachaidh, gus am faigh iad fois-inntinn sa bhad gu bheil na stuthan a bhios iad a’ dèanamh stèidhichte gu fìrinneach.
Co-dhùnadh
Is e àm brosnachail a tha seo far an tèid na ceudan de thagraidhean ginealach a thogail a-mach, iad uile a’ leantainn diofar chùisean cleachdaidh a dh’ fhaodadh a bhith ann airson LLMn. Mar a bhios tu gan sgrùdadh mar chuideigin aig a bheil fìor chùram mu chàileachd measaidh ann am foghlam, teisteanas agus ceadachd, tha sinn a’ moladh an-còmhnaidh na ceistean a leanas a chumail nad inntinn:
- Cò dha a tha an tagradh seo air a dhealbhadh?
- A bheil am modail a bhios an aplacaid seo a’ cleachdadh air a thrèanadh gu sònraichte airson na tha a dhìth air a’ bhuidheann agam, a’ toirt a-steach ar feumalachdan tèarainteachd?
- Ciamar a thèid an dàta a bheir mi seachad a chleachdadh?
- A bheil mi airson an ùine agus an airgead a thasgadh gus modal adhbhar coitcheann amh a dhèanamh a ghabhas cleachdadh (me an UI iomchaidh) agus a tha earbsach leis na h-eòlaichean cuspair cuspair (SMEn) againn a bhith air am filleadh a-steach don t-sruth-obrach againn agus cùis cleachdaidh àrd-gheallaidhean?
Tha sinn fhathast anns na làithean tràtha den teicneòlas fìor dhrùidhteach seo, ach mar-thà tha an ìre de chomasan a bheir comas do thagraidhean ginealach thar iomadh gnìomhachas a’ nochdadh. Mar sin cuideachd tha na guthan rabhadh a chuir Gary Marcus bho NYU agus feadhainn eile an cèill.
Aig Finetune tha sinn air leth toilichte cumail oirnn a’ taisbeanadh barrachd fheartan san treas bliadhna againn a nì Generate eadhon nas gnìomhaiche, eadhon nas earbsaiche, agus eadhon nas cuideachail thairis air an t-sealladh ionnsachaidh is measaidh gu lèir .