Pertarungan Seratus Model di Bidang AI: Masalah Teknik atau Tantangan Penelitian?

Bulan lalu, industri AI mengalami "Perang Hewan".

Di satu sisi adalah Llama yang diluncurkan oleh Meta, yang sangat disukai oleh komunitas pengembang karena sifat open-source-nya. Di sisi lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan dan menduduki puncak "daftar peringkat LLM open-source".

Daftar ini dibuat oleh komunitas model sumber terbuka, menyediakan seperangkat standar untuk mengukur kemampuan LLM dan melakukan peringkat. Peringkat pada dasarnya adalah Llama dan Falcon yang bergantian menduduki peringkat. Setelah peluncuran Llama 2, keluarga Llama berhasil meraih kembali posisi; pada awal September, Falcon meluncurkan versi 180B, dan mendapatkan peringkat yang lebih tinggi.

Menariknya, pengembang "Falcon" adalah Institut Penelitian Inovasi Teknologi yang terletak di ibu kota Uni Emirat Arab, Abu Dhabi. Pejabat pemerintah menyatakan, "Kami terlibat dalam permainan ini untuk mengguncang para pemain inti."

Hari kedua setelah peluncuran versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab, Omar, terpilih dalam daftar "100 Orang Paling Berpengaruh di Bidang AI" yang disusun oleh Majalah Time.

Saat ini, bidang AI telah memasuki tahap "persaingan sengit": negara dan perusahaan yang memiliki kekuatan finansial, semuanya memiliki rencana untuk menciptakan versi ChatGPT mereka sendiri. Hanya dalam lingkaran negara-negara Teluk, sudah ada lebih dari satu pemain — pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 H100 untuk pelatihan LLM di universitas domestik.

Juzhao Hu dari Jinsha River Venture pernah mengeluh: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada batasan: Pertarungan seratus grup, pertarungan seratus mobil, pertarungan seratus penyiar; tidak menyangka bahwa startup model besar teknologi keras, tetap saja adalah pertarungan seratus model..."

Dijanjikan teknologi keras dengan tingkat kesulitan tinggi, kenapa malah jadi satu negara satu pola dengan hasil panen sepuluh ribu jins per mu?

Transformer Menghancurkan Dunia

Perusahaan rintisan Amerika, raksasa teknologi China, dan taipan minyak Timur Tengah dapat mengejar impian model besar berkat makalah terkenal itu: "Attention Is All You Need."

Pada tahun 2017, delapan ilmuwan komputer dari Google mempublikasikan algoritma Transformer dalam makalah ini kepada seluruh dunia. Makalah ini saat ini merupakan makalah yang paling banyak dikutip ketiga dalam sejarah kecerdasan buatan, dan munculnya Transformer telah memicu gelombang antusiasme kecerdasan buatan ini.

Apapun kewarganegaraan model besar saat ini, termasuk seri GPT yang menggemparkan dunia, semuanya berdiri di atas bahu Transformer.

Sebelum ini, "mengajarkan mesin membaca" adalah masalah akademis yang diakui. Berbeda dengan pengenalan gambar, manusia saat membaca teks tidak hanya memperhatikan kata-kata yang terlihat saat ini, tetapi juga menghubungkannya dengan konteks untuk memahaminya.

Di tahun-tahun awal, input jaringan saraf saling independen dan tidak memiliki kemampuan untuk memahami satu paragraf panjang, bahkan seluruh artikel, sehingga muncul masalah menerjemahkan "开水间" menjadi "open water room".

Hingga tahun 2014, ilmuwan komputer Ilya yang bekerja di Google dan kemudian pindah ke OpenAI pertama kali menghasilkan hasil. Dia menggunakan jaringan saraf berulang (RNN) untuk memproses bahasa alami, sehingga kinerja platform penerjemahan tertentu dengan cepat menjauh dari pesaing.

RNN mengusulkan "desain berulang", yang memungkinkan setiap neuron menerima informasi input saat ini serta informasi input dari waktu sebelumnya, sehingga jaringan saraf memiliki kemampuan "menggabungkan konteks".

Munculnya RNN membangkitkan semangat penelitian di kalangan akademis, dan penulis makalah Transformer, Sha Zhe'er, juga sempat terpesona di dalamnya. Namun, para pengembang segera menyadari bahwa RNN memiliki satu kekurangan serius:

Algoritma ini menggunakan perhitungan berurutan, yang memang dapat menyelesaikan masalah konteks, tetapi efisiensinya tidak tinggi dan sulit untuk menangani banyak parameter.

Desain RNN yang rumit dengan cepat membuat Shazer merasa bosan. Oleh karena itu, sejak tahun 2015, Shazer dan 7 orang yang seide mulai mengembangkan alternatif untuk RNN, yang hasilnya adalah Transformer.

Dibandingkan dengan RNN, ada dua perubahan besar pada Transformer:

Pertama, metode pengkodean posisi menggantikan desain siklik RNN, sehingga memungkinkan komputasi paralel—perubahan ini secara signifikan meningkatkan efisiensi pelatihan Transformer, sehingga dapat menangani data besar dan membawa AI ke era model besar; kedua, kemampuan konteks semakin diperkuat.

Dengan Transformer yang secara langsung menyelesaikan berbagai kekurangan, ia perlahan-lahan berkembang menjadi satu-satunya solusi untuk NLP (Natural Language Processing), seolah-olah ada perasaan "Jika tidak ada Transformer, NLP akan terus berada dalam kegelapan abadi." Bahkan Ilia pun meninggalkan RNN yang dia angkat ke panggung, beralih ke Transformer.

Dengan kata lain, Transformer adalah nenek moyang dari semua model besar saat ini, karena ia mengubah model besar dari masalah penelitian teoretis menjadi masalah rekayasa murni.

Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengejutkan dunia akademis. Sebagai tanggapan, Google dengan cepat meluncurkan AI yang lebih kuat, bernama Meena.

Dibandingkan dengan GPT-2, Meena tidak memiliki inovasi pada algoritma dasarnya, hanya memiliki 8,5 kali lebih banyak parameter pelatihan dan 14 kali lipat kekuatan komputasi dibandingkan GPT-2. Penulis makalah Transformer, Vaswani, terkejut oleh "penumpukan yang brutal" dan langsung menulis memo berjudul "Meena Menelan Dunia".

Kehadiran Transformer telah membuat inovasi algoritma dasar di dunia akademis melambat secara signifikan. Elemen-elemen teknik seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi faktor penting dalam kompetisi AI. Perusahaan teknologi yang memiliki sedikit kemampuan teknis dapat dengan mudah membuat model besar.

Oleh karena itu, ilmuwan komputer Andrew Ng menyebutkan sebuah pandangan saat memberikan ceramah di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta kecerdasan buatan generatif saat ini. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."

OpenAI memang masih menjadi acuan untuk LLM, tetapi lembaga analisis semikonduktor berpendapat bahwa daya saing GPT-4 berasal dari solusi rekayasa—jika open source, setiap pesaing dapat dengan cepat mereproduksinya.

Analis ini memperkirakan, mungkin tidak akan lama lagi, perusahaan teknologi besar lainnya juga dapat menciptakan model besar yang setara dengan kinerja GPT-4.

Bendungan yang dibangun di atas kaca

Saat ini, "perang seratus model" tidak lagi hanya merupakan teknik retoris, tetapi merupakan realitas objektif.

Laporan terkait menunjukkan bahwa hingga Juli tahun ini, jumlah model besar di dalam negeri telah mencapai 130, lebih tinggi dari 114 di Amerika Serikat, berhasil melakukan overtake di tikungan, berbagai mitos dan legenda hampir tidak cukup lagi untuk dinamai perusahaan teknologi dalam negeri.

Di luar China dan Amerika, sejumlah negara yang lebih kaya juga telah secara awal mewujudkan "satu negara satu model": selain Jepang dan Uni Emirat Arab, ada model besar Bhashini yang dipimpin oleh pemerintah India, HyperClova X yang dikembangkan oleh perusahaan internet Korea, dan lain-lain.

Pemandangan di depan ini seolah-olah membawa kita kembali ke era perintisan internet yang penuh gelembung, di mana "kemampuan uang" saling beradu.

Seperti yang disebutkan sebelumnya, Transformer menjadikan model besar sebagai masalah rekayasa murni, selama ada orang yang memiliki uang dan kartu grafis, sisanya diserahkan kepada parameter. Namun, meskipun tiket masuk tidak sulit didapat, itu tidak berarti setiap orang memiliki kesempatan untuk menjadi BAT di era AI.

Contoh klasik yang disebutkan di awal "Perang Hewan" adalah: Meskipun Falcon unggul dalam peringkat dibandingkan Llama, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.

Seperti yang kita ketahui, perusahaan yang membuka sumber hasil penelitian mereka, tidak hanya untuk berbagi manfaat teknologi dengan masyarakat, tetapi juga berharap dapat memicu kecerdasan masyarakat. Dengan semakin banyaknya profesor universitas, lembaga penelitian, dan usaha kecil dan menengah yang terus-menerus menggunakan dan memperbaiki Llama, Meta dapat menerapkan hasil ini dalam produk mereka sendiri.

Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan inti mereka.

Namun, sejak mendirikan laboratorium AI pada tahun 2015, Meta telah menetapkan nada dasar untuk sumber terbuka; Zuckerberg juga menghasilkan kekayaannya dari bisnis media sosial, dan dia sangat paham tentang "menjalin hubungan baik dengan masyarakat".

Misalnya, pada bulan Oktober, Meta mengadakan acara "Insentif Kreator Versi AI": Pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan akan memiliki kesempatan untuk mendapatkan dana sebesar 500.000 dolar.

Hingga hari ini, seri Llama dari Meta jelas telah menjadi acuan untuk LLM sumber terbuka.

Hingga awal Oktober, dari 10 besar peringkat LLM sumber terbuka, 8 di antaranya dibangun berdasarkan Llama 2, semuanya menggunakan protokol sumber terbukanya. Hanya di platform tersebut, LLM yang menggunakan protokol sumber terbuka Llama 2 telah melebihi 1500.

Tentu saja, meningkatkan kinerja seperti Falcon juga bisa dipertimbangkan, tetapi hingga hari ini, sebagian besar LLM di pasar masih memiliki kesenjangan kinerja yang terlihat jelas dibandingkan dengan GPT-4.

Misalnya, beberapa hari yang lalu, GPT-4 meraih peringkat pertama dalam tes AgentBench dengan skor 4,41. Standar AgentBench diperkenalkan oleh Universitas Tsinghua bersama Universitas Negeri Ohio dan Universitas California, Berkeley, untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan generatif terbuka multidimensi. Konten pengujian mencakup tugas-tugas di 8 lingkungan berbeda, termasuk sistem operasi, basis data, grafik pengetahuan, dan pertarungan kartu.

Hasil tes menunjukkan bahwa Claude yang berada di posisi kedua hanya mendapatkan 2,77 poin, perbedaannya masih cukup jelas. Sedangkan untuk LLM open-source yang menghebohkan, hasil tes mereka sebagian besar berputar di sekitar 1 poin, belum mencapai 1/4 dari GPT-4.

Perlu diketahui, GPT-4 diluncurkan pada bulan Maret tahun ini, setelah pencapaian ini dikejar oleh rekan-rekan di seluruh dunia selama lebih dari setengah tahun. Dan penyebab perbedaan ini adalah tim ilmuwan OpenAI yang memiliki "kepadatan IQ" yang sangat tinggi serta pengalaman yang terkumpul dari penelitian LLM yang berlangsung lama, sehingga mereka tetap unggul jauh.

Artinya, kemampuan inti dari model besar bukanlah parameter, melainkan pembangunan ekosistem (sumber terbuka) atau kemampuan inferensi murni (sumber tertutup).

Dengan semakin aktifnya komunitas sumber terbuka, kinerja setiap LLM mungkin akan menyatu, karena semua orang menggunakan arsitektur model dan dataset yang serupa.

Tantangan lain yang lebih intuitif adalah: selain Midjourney, tampaknya belum ada model besar lain yang dapat menghasilkan uang.

Titik Pijakan Nilai

Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir 2024" menarik perhatian banyak orang. Inti dari artikel tersebut hampir bisa dirangkum dalam satu kalimat: Kecepatan pengeluaran uang OpenAI terlalu cepat.

Dalam teks disebutkan bahwa sejak pengembangan ChatGPT, kerugian OpenAI semakin meluas, hanya pada tahun 2022 saja kerugian mencapai sekitar 540 juta dolar AS, dan mereka hanya bisa menunggu investor Microsoft untuk membayar.

Judul artikel mungkin terdengar mengerikan, tetapi juga menggambarkan situasi banyak penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.

Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang menghasilkan banyak uang dari kecerdasan buatan, paling-paling ditambah Broadcom.

Menurut perkiraan perusahaan konsultan, Nvidia menjual lebih dari 300.000 unit H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien dalam melatih AI, dan perusahaan teknologi serta lembaga penelitian di seluruh dunia berebut untuk membelinya. Jika 300.000 unit H100 yang terjual itu ditumpuk satu sama lain, beratnya setara dengan 4,5 pesawat Boeing 747.

Kinerja Nvidia juga terbang tinggi, dengan pendapatan tahunan melonjak 854%, yang sempat membuat Wall Street terkejut. Sebagai informasi, saat ini harga H100 di pasar bekas telah dibanderol antara 40-50 ribu dolar AS, meskipun biaya materialnya hanya sekitar sedikit di atas 3000 dolar AS.

Biaya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri hingga tingkat tertentu. Sequoia Capital pernah melakukan perhitungan: perusahaan teknologi di seluruh dunia diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimal 75 miliar dolar AS per tahun, sehingga terdapat celah setidaknya 125 miliar dolar AS.

Selain itu, kecuali untuk beberapa contoh seperti Midjourney, sebagian besar perusahaan perangkat lunak belum memikirkan dengan jelas bagaimana cara menghasilkan uang setelah mengeluarkan biaya besar. Terutama dua pemimpin industri — Microsoft dan Adobe — tampak berjalan sedikit terseok-seok.

Microsoft dan OpenAI pernah bekerja sama mengembangkan alat penghasil kode AI GitHub Copilot, meskipun harus membayar biaya bulanan sebesar 10 dolar, karena biaya fasilitas, Microsoft malah mengalami kerugian 20 dolar, pengguna berat bahkan bisa membuat Microsoft merugi 80 dolar per bulan. Dengan demikian, diperkirakan, Microsoft 365 Copilot yang dipatok pada harga 30 dolar bisa jadi mengalami kerugian yang lebih besar.

Tanpa diduga, Adobe yang baru saja merilis alat Firefly AI, juga dengan cepat meluncurkan sistem poin pendukung untuk mencegah kerugian perusahaan akibat penggunaan berlebihan oleh pengguna. Begitu ada pengguna yang menggunakan poin melebihi yang dialokasikan setiap bulan, Adobe akan memperlambat layanan.

Perlu diketahui bahwa Microsoft dan Adobe sudah menjadi raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar yang sudah ada. Sementara sebagian besar model besar yang parameter-parameter ditumpuk secara berlebihan, yang paling besar seharusnya...