Lebih dari 70.000 suara baru membentuk pembaruan terbaru yang melihat Claude 3 Opus menduduki posisi teratas di papan peringkat, tetapi bahkan model Claude 3 yang terkecil pun tampil baik.
LMSYS menjelaskan: “Claude-3 Haiku telah mengesankan semua orang, bahkan mencapai tingkat GPT-4 berdasarkan preferensi pengguna kami! Kecepatan, kemampuan, dan panjang konteksnya tidak tertandingi sekarang di pasar.”
Yang membuat ini lebih mengesankan adalah bahwa Claude 3 Haiku adalah model “ukuran lokal”, sebanding dengan Gemini Nano dari Google. Ini mencapai hasil yang mengesankan tanpa skala parameter triliunan lebih besar dari Opus atau salah satu model kelas GPT-4.
Baca Juga:Tak Perlu Repot Lagi Mengubah Kualitas, WhatsApp Kini Kirim Media HD OtomatisGoogle Luncurkan AI Perencana Liburan: Wujudkan Liburan Impian Anda!
Meskipun tidak secerdas Opus atau Sonnet, Haiku dari Anthropic jauh lebih murah, jauh lebih cepat, dan seperti yang disarankan hasil arena — setara dengan model yang jauh lebih besar dalam uji buta.
Ketiga model Claude 3 berada di sepuluh besar dengan Opus di posisi teratas, Sonnet di peringkat keempat bersama dengan Gemini Pro, dan Haiku di peringkat keenam bersama dengan versi sebelumnya dari GPT-4.
Semua kecuali tiga dari 20 besar model bahasa besar dalam papan peringkat arena adalah milik pribadi, menunjukkan bahwa sumber terbuka memiliki beberapa pekerjaan yang harus dilakukan untuk mencapai pemain besar.
Meta, yang sangat fokus pada kecerdasan buatan sumber terbuka, diharapkan akan merilis Llama 3 dalam beberapa bulan mendatang yang kemungkinan akan masuk dalam sepuluh besar karena diharapkan memiliki kemampuan yang mirip dengan Claude 3 — setelah semua Meta memiliki 300.000+ Nvidia H100 GPU untuk melatihnya.
Kami juga melihat pergerakan lain dalam kecerdasan buatan sumber terbuka dan terdesentralisasi dengan pendiri StabilityAI, Emad Mostaque, mundur dari tugas CEO untuk fokus pada kecerdasan buatan yang lebih terdistribusi dan dapat diakses. Dia mengatakan Anda tidak bisa mengalahkan kecerdasan buatan terpusat dengan kecerdasan buatan yang lebih terpusat.