GPT-4 Mengungguli Analis Manusia dalam Perkiraan Laba

Dalam sebuah studi terobosan yang telah mengirimkan guncangan ke industri keuangan, para peneliti dari University of Chicago menemukan bahwa GPT-4 milik OpenAI dapat mengungguli analis manusia dalam memprediksi laba masa depan berdasarkan analisis laporan keuangan. Penemuan ini memiliki implikasi signifikan bagi masa depan analisis keuangan dan pengambilan keputusan, karena menunjukkan potensi model bahasa besar untuk melengkapi dan menyederhanakan pekerjaan profesional keuangan.Studi yang diterbitkan dalam jurnal bergengsi Nature ini membandingkan kinerja GPT-4 dengan analis manusia dalam memprediksi arah laba masa depan. Para peneliti menemukan bahwa GPT-4 mencapai akurasi prediksi 60,35%, mengungguli akurasi 52,71% dari analis manusia. Model ini juga mengungguli analis dalam hal skor F1, yang menyeimbangkan presisi dan recall, dengan GPT-4 mencetak 60,90% dibandingkan 54,48% untuk analis manusia.

Metodologi dan Data

Untuk memastikan perbandingan yang adil, para peneliti menggunakan data keuangan anonim dari database Compustat, mulai dari tahun 1968 hingga 2021, dan membandingkan kinerja GPT-4 dengan prediksi analis manusia yang bersumber dari database IBES. Dengan menghapus nama perusahaan dan tanggal dari laporan keuangan terstandarisasi yang diberikan kepada GPT-4, para peneliti memastikan bahwa model tidak bergantung pada informasi tambahan yang dapat memberikan keuntungan tidak adil.Para peneliti menggunakan pendekatan penalaran “Rantai Pemikiran” (CoT) dengan GPT-4, meniru langkah-langkah analitis yang akan diambil analis manusia. Metode ini melibatkan mengidentifikasi perubahan dalam laporan keuangan, menghitung rasio keuangan utama, dan mensintesis informasi ini untuk memprediksi tren laba. Prompt CoT memainkan peran penting dalam membantu GPT-4 mengidentifikasi tren, menghitung rasio keuangan, dan mensintesis informasi mirip dengan analis manusia. Pendekatan ini memungkinkan GPT-4 untuk menganalisis dan menghasilkan prediksi akurat bahkan ketika diberikan data keuangan mentah yang tidak memiliki konteks.

Perbandingan dengan Model Khusus

Kinerja GPT-4 sebanding dengan model pembelajaran mesin canggih, seperti jaringan saraf buatan (ANN), yang secara khusus dirancang untuk prediksi laba. Dalam beberapa aspek, GPT-4 bahkan mengungguli model khusus ini, menunjukkan ketangguhan dalam analisis keuangan. Para peneliti membandingkan GPT-4 dengan ANN canggih terkini dan menemukan bahwa model bahasa itu menghasilkan kinerja setara dengan aplikasi khusus yang sempit ini. Temuan ini menyoroti potensi AI serba guna untuk menandingi atau mengungguli model khusus yang dibangun untuk tugas analitis kompleks.

Skeptisisme dan Tantangan

Meskipun hasilnya menjanjikan, skeptisisme tetap ada. Kritikus mempertanyakan validitas membandingkan kinerja GPT-4 dengan analis manusia dan ANN khusus, menunjukkan perbedaan potensial dalam kompleksitas tugas dan model yang digunakan untuk perbandingan. Studi ini mengakui sulitnya menentukan persis bagaimana dan mengapa GPT-4 berkinerja baik, menyoroti tantangan dalam memahami cara kerja internal model bahasa besar. Seperti yang dicatat peneliti AI Matt Holden, tidak mungkin GPT-4 dapat memilih saham yang mengungguli indeks yang lebih luas seperti S&P 500.

Kesimpulan

Temuan studi ini telah memicu perdebatan yang hidup dalam komunitas keuangan, dengan beberapa menyambut sebagai terobosan dalam penerapan AI pada analisis keuangan dan yang lain mengekspresikan kehati-hatian tentang keterbatasan model bahasa dalam domain ini. Terlepas dari pandangan seseorang, jelas bahwa kebangkitan model bahasa besar seperti GPT-4 akan berdampak mendalam pada industri keuangan di tahun-tahun mendatang, dan profesional keuangan harus beradaptasi dengan lanskap yang berubah dengan cepat ini.