Dalam era digital yang semakin canggih, teknologi Artificial Intelligence (AI) telah menjadi bagian integral dalam berbagai aspek kehidupan kita. Salah satu bidang yang paling menonjol dalam perkembangan AI adalah Large Language Models (LLM), yang mampu memodelkan dan memproses bahasa manusia dengan tingkat akurasi yang sangat tinggi. 

Namun, tidak semua LLM dapat diakses secara bebas karena banyak diantaranya merupakan properti perusahaan besar seperti OpenAI dan Google. Oleh karena itu, munculnya LLM open-source telah menjadi titik balik penting dalam sejarah teknologi AI.

Sejauh ini, ada 5 tools AI LLM yang open-source dan berpotensi besar dalam mengubah cara manusia berinteraksi dengan teknologi. 

Masing-masing dari mereka memiliki kekuatan dan kemampuan unik yang dapat membantu meningkatkan inovasi dan demokratisasi akses ke teknologi AI.

Perkembangan ini tidak hanya membuka pintu bagi para peneliti dan pengembang untuk menggali lebih dalam seluk-beluk teknologi AI, tetapi juga menunjukkan bahwa generasi AI tidak harus dipungut oleh perusahaan besar saja. Masyarakat dapat berpartisipasi secara langsung dalam mengembangkan teknologi yang lebih demokratis dan lebih inklusif.

Llama 3

Llama 3 dari Meta adalah salah satu contoh yang paling menonjol dalam dunia LLM open-source. Dengan skala parameter yang mencapai 8B dan 70B, Llama 3 merupakan lompatan besar ke depan dalam jajaran model bahasa sumber terbuka. 

Sebagai penerus Llama 2 yang dirilis pada tahun 2023, Llama 3 tidak hanya menawarkan pembaruan tambahan, tetapi juga kemajuan transformatif yang akan memungkinkan pengembang membangun aplikasi bahasa alami yang mutakhir.

Llama 3 dilatih pada kumpulan data besar yang berjumlah lebih dari 15 triliun token dari sumber yang tersedia untuk umum. Data ini mencakup kode yang 4 kali lebih banyak daripada Llama 2, serta cakupan signifikan lebih dari 30 bahasa untuk meletakkan dasar bagi versi multibahasa di masa depan. 

Pemfilteran ekstensif digunakan untuk mengkurasi data ini, memastikan Llama 3 hanya belajar dari sumber dengan kualitas terbaik.

Meta juga telah mengembangkan versi Llama 3 dengan lebih dari 400B parameter yang tidak hanya lebih besar tetapi juga multibahasa dan multimodal. Pengujian awal menunjukkan model berskala ultra besar ini memberikan hasil yang menjanjikan dan bersaing dengan sistem kepemilikan terbaik.

Masa depan cerah untuk seri Llama, dan Meta telah menunjukkan komitmen kuat dalam mengembangkan teknologi AI yang lebih transparan dan aksesibel.

BLOOM

BLOOM atau Big Science Large Open-science Open-access Multilingual Language Model merupakan buah inisiasi dari co-founder Hugging Face yang melibatkan lebih dari 1000 peneliti di bidang AI. D

ibuat berbasis open-source, BLOOM juga dilihat sebagai alternatif terbaik dari GPT-3. Ukuran model LLM ini sebanyak 176 miliar parameter data, atau 1 miliar lebih banyak dari model GPT-3. Dengan kata lain, training dataset yang dimiliki BLOOM yakni hasil olah data pre-processed text sebanyak 1,6 Terabyte. 

BLOOM berpeluang dalam memproses 46 bahasa, termasuk Perancis, Vietnam, Mandarin, Indonesia, hingga 13 bahasa native India yakni Hindi 20 bahasa rumpun Afrika. 

Dengan konsepnya sebagai open-source, maka pengguna dapat mengunduhnya secara gratis untuk menggunakannya.

Gopher

Gopher adalah model LLM yang dikembangkan oleh DeepMind dengan dataset sebesar 280 miliar parameter. Model ini memiliki spesialisasi dalam menjawab pertanyaan humaniora dan sains. 

Gopher dilatih dalam lingkup Massive Text (kumpulan data teks besar berbahasa Inggris dari halaman web, buku, artikel berita, dan kode pemrograman).

Fungsi pipeline Gopher mencakup filter kualitas teks, penghapusan teks berulang, deduplikasi dokumen serupa, dan penghapusan dokumen dengan dataset pengujian yang tumpang tindih. 

DeepMind juga meluncurkan versi Gopher yang lebih kecil dengan 44 juta parameter data yang ditujukan untuk penelitian sederhana.

Megatron-Turing NLG

Megatron-Turing Natural Language Generation (NLG) dikembangkan oleh NVIDIA dan Microsoft. Model ini dilatih pada superkomputer Selene berbasis NVIDIA DGX SuperPOD dengan dataset sebesar 530 miliar parameter. 

Megatron-Turing NLG pertama kali diperkenalkan pada Oktober 2021 sebagai penerus model Turing NLG 17B dan Megatron-LM.

Megatron-Turing NLG dapat melaksanakan berbagai penugasan NLP seperti prediksi penyelesaian, pemahaman bacaan, penalaran, simpulan bahasa alami, dan disambiguasi kata. 

Dengan kemampuan yang sangat luas, Megatron-Turing NLG telah menjadi salah satu contoh yang paling menonjol dalam bidang NLP.

BERT

BERT (Bidirectional Encoder Representations from Transformers) dikembangkan oleh Google dengan menggunakan teknik berbasis neural network. 

Model ini memiliki dua versi, yaitu Bert Base yang memiliki 110 juta parameter yang dapat dilatih, dan Bert Large yang memiliki 340 juta parameter.

BERT digunakan dalam berbagai aplikasi AI, termasuk pengenalan bahasa alami, klasifikasi teks, dan pengolahan bahasa alami. 

Dengan kemampuan yang sangat kuat dalam memahami konteks teks, BERT telah menjadi salah satu model yang paling populer dalam komunitas AI.

Kesimpulan

Dalam era digital yang semakin kompleks, teknologi AI telah menjadi kunci untuk meningkatkan efisiensi dan inovasi. 

LLM open-source seperti Llama 3, BLOOM, Gopher, Megatron-Turing NLG, dan BERT telah membuka jalan bagi para peneliti dan pengembang untuk menggali lebih dalam seluk-beluk teknologi AI. 

Dengan akses yang lebih luas dan transparansi yang lebih tinggi, masyarakat dapat berkontribusi lebih aktif dalam mengembangkan teknologi yang lebih baik.

Perkembangan ini juga menunjukkan bahwa generasi AI tidak harus dipungut oleh perusahaan besar saja. 

Masyarakat dapat berpartisipasi secara langsung dalam mengembangkan teknologi yang lebih demokratis dan lebih inklusif. Oleh karena itu, mari kita terus mendukung dan mengembangkan teknologi AI yang lebih transparan dan aksesibel bagi semua.