Oleh Charles Foster

Di Finetune, kami membangun solusi AI untuk mengatasi beberapa masalah paling menantang dalam teknologi pendidikan, termasuk pembuatan konten otomatis dan klasifikasi serta rekomendasi sumber belajar bertenaga AI. Karena materi pelajaran yang harus ditangani oleh alat kami mencakup mulai dari K-12 hingga pengembangan tenaga kerja, kami berinvestasi besar dalam metode yang memungkinkan kami untuk meningkatkan cakupan dan kedalaman cakupan model kami. Komponen utama dari pendekatan ini adalah metode fleksibel untuk melatih jaringan saraf khusus dalam domain yang model serbagunanya tidak memadai. Dalam posting blog ini, saya ingin berbagi sedikit perjalanan kami dalam mengeksplorasi metode ini.

Penyetelan halus

Penyetelan halus model bahasa neural yang umum melibatkan pengoptimalan semua parameter yang dapat dilatih secara bersamaan, yang dapat mencapai miliaran untuk jaringan seperti GPT-J. Pada skala seperti ini, proses penyetelian halus dan inferensi tidak mudah, sehingga sulit untuk diterapkan secara luas. Dalam penyelidikan kami sendiri, beberapa masalah utama tampak paling menonjol:

• Menjalankan model transformator ini saja sudah menekan batas memori GPU (VRAM), dan selama penyempurnaan ada hubungan langsung antara jumlah parameter yang dioptimalkan dan jumlah memori tambahan yang dipakai.
• Dengan memodifikasi semua parameter dalam jaringan, aliran informasi yang dipelajari selama pra-pelatihan dapat terganggu, sehingga menyebabkan lupa dan hilangnya kemampuan beberapa kali tembakan.
• Melayani model multi-gigabyte yang disesuaikan untuk setiap kasus penggunaan akan menciptakan latensi dan beban biaya yang tidak dapat diterima.

Kekhawatiran gabungan ini memotivasi kami untuk mengeksplorasi metode lain dari literatur terkini untuk menyempurnakan model bahasa neural kami. Untungnya, dalam setahun terakhir bidang penelitian pemrosesan bahasa alami telah mengembangkan sejumlah metode untuk memangkas biaya penyesuaian perilaku model bahasa yang telah dilatih sebelumnya.

Penyetelan Cepat

Pendekatan asli yang kami gunakan disebut Prompt Tuning atau Soft Prompting (Lester et al. 2021). Dalam metode ini, parameter jaringan dari pra-pelatihan dibekukan. Sebagai gantinya, kami menambahkan sejumlah kecil vektor penyematan yang dapat dipelajari (biasanya 10 hingga 20) di depan token perintah input, dan menyetel penyematan ini dengan tujuan pemodelan bahasa yang biasa pada kumpulan data penyetelan halus. Penyematan ini tidak mewakili token bahasa; kami dapat menganggapnya sebagai penyimpanan konteks yang padat yang dapat dikondisikan oleh jaringan—melalui mekanisme perhatian —saat membuat prediksi tentang token dalam urutan tersebut.

Penyetelan prompt hanya menambahkan sedikit biaya waktu proses ke model, karena soft prompt berada dalam kisaran kilobyte dan dapat dijalankan melalui jaringan secara paralel. Fitur-fitur ini membuatnya menarik untuk melayani banyak pengguna bersamaan, seperti yang ditunjukkan oleh penerapan teknik baru-baru ini dalam penceritaan AI . Namun, mengintegrasikan soft prompt ke dalam kerangka kerja populer seperti transformer HuggingFace itu rumit, karena antarmuka sebagian besar dirancang untuk beroperasi pada urutan indeks token daripada vektor padat. Selain itu, karena lebih banyak konteks ditambahkan antara soft prompt dan pembuatan, kami mulai melihat ketidakseimbangan antara kekuatan pengondisian pada soft prompt dan pada konteks token. Mempertahankan kemampuan untuk secara fleksibel menambahkan ratusan token konteks saat runtime penting bagi kami, karena menyediakan tuas kontrol yang lebih rinci dalam proses penulisan item. Jika kami ingin memandu model untuk fokus pada konten dari halaman tertentu buku teks, atau untuk menulis item pemahaman bacaan, atau untuk memberikan contoh beberapa contoh, kontekstualisasi bentuk panjang penting.

Adaptor Peringkat Rendah (LoRA)

Kami kemudian beralih ke metode yang disebut LoRA atau Low Rank Adapters (Hu et al. 2021). Teknik ini dikembangkan oleh para peneliti di Microsoft yang mengerjakan model berukuran GPT-3, dan dibangun berdasarkan pendekatan adapter sebelumnya. Jika kita menganggap transformer sebagai penyempurnaan progresif status laten tokennya dengan setiap lapisan residual, konsep adapter adalah menambahkan delta kecil yang bergantung pada input (diinisialisasi ke no-op) ke laten tersebut pada lapisan tertentu. Dorongan halus ini kemudian dapat memodulasi perilakunya di hilir dengan, misalnya, menekankan bagian input yang relevan dengan tugas.

Adaptor peringkat rendah adalah jenis adaptor yang menargetkan subruang peringkat rendah, yang mengurangi jumlah parameter baru yang perlu kita latih (dari D ² hingga 2 × D × r, di mana D dalam ribuan). Seperti halnya soft prompting, kami menahan parameter asli jaringan dalam keadaan beku untuk mempertahankan pengetahuan apa pun yang dikandungnya dari pra-pelatihan, dan hanya menyesuaikan parameter adaptor baru ini. Dalam pengujian internal kami, kami telah melihat indikator yang baik dari LoRA. Selain memungkinkan kami untuk menyetel model besar pada anggaran perangkat keras kecil, model dengan lapisan adaptor yang disisipkan juga mempertahankan banyak kemampuan beberapa bidikan aslinya sambil tetap beradaptasi dengan domain target. Khususnya, mengintegrasikan adaptor peringkat rendah ke dalam kerangka kerja lain sangatlah mudah, karena kami dapat dengan mudah menukar lapisan linier yang ada dengan lapisan linier + adaptor sesuai kebutuhan.

Bergerak Maju

Untuk memberikan gambaran tentang jenis peningkatan yang telah kami lihat dalam eksplorasi kami, di bawah ini kami bagikan beberapa pilihan generasi dari model yang dilatih dengan pendekatan penyetelan yang berbeda. Semua item ini dibuat menggunakan tiga perintah masukan yang sama yang berkaitan dengan pemberian perawatan keperawatan: yang pertama difokuskan pada memprioritaskan kebutuhan banyak klien dan yang kedua pada mengambil tindakan dalam pengaturan tim.

Kita dapat mengamati bahwa, sementara item terbaik dari model dasar sebagian besar lancar dan koheren secara logis, item tersebut cenderung kurang dibatasi (seperti pada #1) atau memerlukan sedikit pengetahuan tentang domain keperawatan (seperti pada #3). Dibandingkan dengan item dasar, item dari model penyetelan cepat dan adaptor peringkat rendah mengandung detail yang lebih besar dalam stimulus, batang, dan opsinya. Pokok bahasan relevan dengan domain, yang memerlukan pengetahuan khusus dalam manajemen perawatan keperawatan daripada hanya mengandalkan pengetahuan latar belakang saja. Selain itu, item dari model adaptor peringkat rendah memiliki bentuk yang lebih konsisten. Misalnya, item secara konsisten merujuk pada "klien" dan bukan "pasien", sesuai dengan bahasa yang mungkin muncul dalam penilaian (bandingkan #5 dengan #1 dan #3). Model ini juga berhasil melacak referensi ke beberapa individu dalam satu skenario (bandingkan #6 dengan #4).

Peningkatan cakupan domain, konsistensi gaya, dan koherensi logis dapat menghasilkan peningkatan signifikan dalam kegunaan model bahasa neural. Ini baru permulaan: seiring dengan semakin matangnya teknologi, lebih banyak metode akan ditemukan untuk menciptakan model bahasa alami yang dapat disesuaikan dan terkendali dalam skala besar. Dan seiring ditemukannya metode tersebut, kami akan terus menggabungkan yang terbaik dari akademisi, industri, dan penelitian independen ke dalam produk Finetune.

Terima kasih yang tulus kepada Nick Koprowicz, Jesse Hamer, Saad Khan, dan Ogden Morse karena telah memberikan masukan yang baik dan bermanfaat dalam pengembangan postingan blog ini.