Kiat Rantai Pikiran Google untuk Meningkatkan Algoritma Terbaik Saat Ini

3 min read

Kiat Rantai Pikiran Google untuk Meningkatkan Algoritma Terbaik Saat Ini

Google telah mengumumkan sebuah studi terobosan dalam pemrosesan bahasa alami yang disebut “Petunjuk Rantai Pikiran,” yang meningkatkan keadaan seni dalam teknologi canggih seperti PaLM dan LaMDA menjadi apa yang menurut para peneliti luar biasa.

Fakta bahwa rantai pikiran mengisyaratkan bahwa PaLM dan LaMDA dapat ditingkatkan pada tingkat yang dramatis adalah masalah besar.

LaMDA dan PaLM

Penelitian melakukan eksperimen dengan menggunakan dua model bahasa, yaitu Dialogue Applied Language Model (LaMDA) dan Pathway Language Model (PaLM).

LaMDA adalah model yang berfokus pada percakapan, seperti chatbot, tetapi juga dapat digunakan di banyak aplikasi lain yang memerlukan percakapan, percakapan.

PaLM adalah model yang mengikuti apa yang disebut arsitektur Pathways AI Google, di mana model bahasa dilatih untuk mempelajari cara memecahkan masalah.

Sebelumnya model pembelajaran mesin dilatih untuk memecahkan satu jenis masalah, dan mereka pada dasarnya santai untuk melakukan satu hal dengan baik. Tetapi untuk melakukan hal lain, Google harus melatih model baru.

Arsitektur Pathways AI adalah cara untuk membuat model yang memecahkan masalah yang belum tentu terlihat sebelumnya.

Seperti dikutip dalam penerjemah Google PaLM:

“…Kami ingin melatih model yang tidak hanya dapat menangani banyak tugas individu, tetapi juga dapat memanfaatkan dan menggabungkan keterampilan yang ada untuk mempelajari tugas baru dengan lebih cepat dan lebih efisien.”

apa yang bisa dilakukannya

Makalah penelitian mencantumkan tiga terobosan penting dalam penalaran rantai pemikiran:

  1. Ini memungkinkan model bahasa untuk menguraikan masalah multi-langkah yang kompleks menjadi serangkaian langkah
  2. Rantai proses pemikiran memberi para insinyur mengintip ke dalam proses, dan ketika ada yang tidak beres, ini memungkinkan mereka untuk mengidentifikasi di mana masalahnya dan memperbaikinya
  3. Masalah kata matematis dapat dipecahkan, penalaran akal sehat dapat dilakukan, dan menurut makalah penelitian dapat (pada prinsipnya) dipecahkan setiap masalah berbasis kata yang dapat dipecahkan oleh manusia.

tugas penalaran multi-langkah

Studi ini memberikan contoh tugas inferensi multi-langkah untuk menguji model bahasa:

T: Kantin itu memiliki 23 apel. Jika mereka menggunakan 20 untuk makan siang dan membeli 6 lagi, berapa banyak apel yang mereka miliki?

A: Dulu ada 23 apel di kafetaria. Mereka menggunakan 20 untuk makan siang. Jadi mereka memiliki 23 – 20 = 3. Mereka membeli 6 apel lagi, jadi mereka memiliki 3 + 6 = 9. Jawabannya adalah 9. “

PaLM adalah model bahasa tercanggih dan merupakan bagian dari arsitektur Pathways AI. Ini sangat canggih, itu bisa menjelaskan mengapa lelucon itu lucu.

Namun, sejauh PaLM, para peneliti mengklaim bahwa rantai isyarat pemikiran secara signifikan meningkatkan model ini, yang membuat studi baru ini sangat penting.
Google menjelaskannya seperti ini:

“Penalaran rantai pikiran memungkinkan model untuk menguraikan masalah kompleks menjadi langkah-langkah menengah yang diselesaikan secara individual.

Lebih jauh, sifat rantai pikiran yang berbasis bahasa membuatnya dapat diterapkan pada tugas apa pun yang dapat diselesaikan orang melalui bahasa. “

Makalah penelitian selanjutnya menunjukkan bahwa isyarat standar tidak benar-benar meningkat ketika ukuran model meningkat.

Namun, dengan pendekatan baru ini, skala memiliki efek positif yang signifikan dan signifikan terhadap seberapa baik kinerja model.

hasil

Isyarat rantai pikiran diuji pada LaMDA dan PaLM menggunakan dua kumpulan data masalah kata matematika.

Para peneliti menggunakan kumpulan data ini untuk membandingkan hasil pada masalah serupa di berbagai model bahasa.

Di bawah ini adalah gambar grafik yang menunjukkan hasil penggunaan prompt rantai ide di LaMDA.

Hasil penskalaan LaMDA pada dataset MultiArith menunjukkan bahwa itu menghasilkan sedikit peningkatan. Namun, skor LaMDA secara signifikan lebih tinggi saat diperbesar menggunakan isyarat rantai pikiran.

Hasil pada dataset GSM8K menunjukkan peningkatan sederhana.

Model bahasa PaLM adalah cerita lain.

Tips Rantai Pikiran dan PaLM

Seperti dapat dilihat dari grafik di atas, manfaat penskalaan PaLM dengan Chain of Thought Prompting sangat besar, dan sangat besar untuk kedua kumpulan data (MultiArith dan GSM8K).

Para peneliti menyebut hasil ini signifikan dan seni baru:

“Pada dataset GSM8K untuk masalah kata matematika, PaLM menunjukkan kinerja yang sangat baik saat diskalakan ke parameter 540B.

…menggabungkan isyarat Rantai Pikiran dengan model PaLM parametrik 540B mencapai kinerja mutakhir baru sebesar 58%, melampaui 55% canggih yang dicapai dengan fine-tuning GPT-3 175B dalam skala besar pelatihan divalidasi oleh terlatih khusus Penulis menyiapkan solusi potensial dan kemudian memberi peringkat pada mereka.

Selanjutnya, pekerjaan tindak lanjut pada konsistensi diri menunjukkan bahwa kinerja permintaan rantai pikiran dapat lebih ditingkatkan dengan memperoleh suara mayoritas di serangkaian kesimpulan yang dihasilkan, yang mengarah ke akurasi 74% pada GSM8K. “

Kesimpulannya

Kesimpulan dari sebuah makalah penelitian adalah salah satu bagian terpenting untuk memeriksa apakah penelitian telah maju atau merupakan jalan buntu atau diperlukan lebih banyak penelitian.

Bagian kesimpulan makalah penelitian Google memiliki catatan yang sangat positif.

Ini menyatakan:

“Kami telah menjelajahi rantai pemikiran sebagai metode yang sederhana dan dapat diterapkan secara luas untuk meningkatkan penalaran dalam model bahasa.

Melalui eksperimen dengan penalaran aritmatika, simbolis, dan akal sehat, kami menemukan bahwa pemrosesan rantai pemikiran adalah properti yang muncul dari penskalaan model yang memungkinkan model bahasa yang cukup besar untuk melakukan tugas inferensi yang seharusnya memiliki kurva penskalaan datar.

Memperluas jangkauan tugas penalaran yang dapat dilakukan oleh model bahasa diharapkan dapat menginspirasi penelitian lebih lanjut dalam metode penalaran berbasis bahasa. “

Ini berarti bahwa petunjuk rantai pikiran berpotensi memberi Google kemampuan untuk secara signifikan meningkatkan berbagai model bahasanya, yang pada gilirannya dapat mengarah pada peningkatan yang signifikan dalam hal-hal yang dapat dilakukan Google.

Kutipan

Baca artikel Google AI

Model bahasa beralasan melalui rantai pemikiran

Unduh dan baca makalah penelitian

Isyarat rantai pikiran memicu inferensi dalam model bahasa besar (PDF)

Leave a Reply

Your email address will not be published. Required fields are marked *