Geoffrey Hinton, profesor di Universiti Toronto dan felo kejuruteraan di Otak Google, baru-baru ini menerbitkan kertas kerja mengenai Maju-Maju algoritma (FF), teknik untuk melatih rangkaian saraf yang menggunakan dua hantaran ke hadapan data melalui rangkaian, bukannya perambatan balik, untuk mengemas kini berat model.

Motivasi Hinton untuk algoritma adalah untuk menangani beberapa kelemahan latihan perambatan belakang standard yang memerlukan pengetahuan penuh tentang pengiraan dalam pas hadapan untuk mengira derivatif dan menyimpan nilai pengaktifan semasa latihan. Wawasan Hinton ialah menggunakan dua pas ke hadapan bagi data input—satu positif dan satu negatif—yang mempunyai fungsi objektif yang bertentangan untuk dioptimumkan. Hinton menunjukkan bahawa rangkaian yang dilatih dengan FF boleh melaksanakan tugas penglihatan komputer (CV) serta mereka yang dilatih menggunakan rambatan belakang. Menurut Hinton,

Algoritma Hadapan-Hadapan (FF) adalah setanding dalam kelajuan dengan rambatan belakang tetapi mempunyai kelebihan ia boleh digunakan apabila butiran tepat pengiraan hadapan tidak diketahui. Ia juga mempunyai kelebihan bahawa ia boleh belajar semasa menyalurkan data berurutan melalui rangkaian saraf tanpa menyimpan aktiviti saraf atau berhenti untuk menyebarkan derivatif ralat….Dua kawasan di mana algoritma ke hadapan ke hadapan mungkin lebih baik daripada perambatan belakang adalah sebagai model pembelajaran dalam korteks dan sebagai cara menggunakan perkakasan analog berkuasa rendah tanpa menggunakan pembelajaran pengukuhan.

Walaupun rangkaian neural buatan (ANN) adalah berdasarkan a model matematik otak, algoritma perambatan balik standard yang digunakan untuk melatih rangkaian ini tidak berdasarkan sebarang proses biologi yang diketahui. Selain tidak munasabah secara biologi, perambatan belakang juga mempunyai beberapa kelemahan pengiraan seperti yang dinyatakan di atas. Hinton menegaskan bahawa ANN boleh dilatih menggunakan pembelajaran tetulang (RL) tanpa perambatan belakang, tetapi teknik ini "berskala teruk...untuk rangkaian besar yang mengandungi berjuta-juta atau berbilion-bilion parameter." Pada tahun 2021, InfoQ merangkumi alternatif yang munasabah secara biologi kepada penyebaran balik yang dipanggil pembelajaran inferens sifar-capah (Z-IL) yang betul-betul boleh menghasilkan semula hasil rambatan balik.

Algoritma FF Hinton menggantikan hantaran ke hadapan ke belakang latihan rambatan dengan dua hantaran ke hadapan yang "beroperasi dengan cara yang sama antara satu sama lain." Hantaran hadapan pertama beroperasi pada data positif daripada set latihan dan pemberat rangkaian dilaraskan untuk menyebabkan input ini meningkatkan lapisan terbaik nilai. Dalam hantaran hadapan kedua, rangkaian diberikan contoh negatif yang dijana yang tidak diambil daripada set data. Berat rangkaian dilaraskan supaya input ini mengurangkan kebaikan lapisan.

Hinton menggunakan FF untuk melatih beberapa rangkaian saraf untuk melaksanakan tugas CV pada MNIST and CIFAR set data. Rangkaian itu agak kecil, mengandungi dua atau tiga lapisan konvolusi tersembunyi, dan dilatih selama kurang daripada 100 zaman. Apabila dinilai pada set data ujian, rangkaian terlatih FF menunjukkan prestasi "hanya lebih teruk sedikit" daripada yang dilatih menggunakan perambatan belakang.

Diego Fiori, CTO di Nebuly, melaksanakan algoritma FF Hinton dan membincangkan keputusannya di Twitter:

Kertas kerja Hinton mencadangkan 2 algoritma Maju-Maju yang berbeza, yang saya panggil Base dan Recurrent. Mari kita lihat mengapa, walaupun namanya, Base sebenarnya adalah algoritma yang paling berprestasi….algoritma Base FF boleh menjadi lebih cekap memori daripada backprop klasik, dengan penjimatan memori sehingga 45% untuk rangkaian dalam.