Setelah setiap percakapan, peserta diminta menjawab pertanyaan penilaian yang sama. Para peneliti menindaklanjuti semua peserta 10 hari setelah percobaan, dan kemudian dua bulan kemudian, untuk menilai apakah pandangan mereka telah berubah setelah percakapan dengan bot AI. Para peserta melaporkan penurunan kepercayaan sebesar 20% terhadap teori konspirasi yang mereka pilih secara rata-rata, yang menunjukkan bahwa berbicara dengan bot telah mengubah pikiran sebagian orang secara mendasar.
“Bahkan dalam lingkungan laboratorium, 20% merupakan dampak besar dalam mengubah keyakinan orang,” kata Zhang. “Mungkin dampaknya lebih lemah di dunia nyata, tetapi 10% atau 5% pun masih sangat signifikan.”
Para penulis berupaya melindungi model AI dari kecenderungan mengarang informasi—yang dikenal sebagai berhalusinasi—dengan menggunakan pemeriksa fakta profesional untuk mengevaluasi keakuratan 128 klaim yang dibuat AI. Dari klaim tersebut, 99,2% terbukti benar, sementara 0,8% dianggap menyesatkan. Tidak ada yang terbukti sepenuhnya salah.
Salah satu penjelasan untuk tingkat akurasi yang tinggi ini adalah banyaknya tulisan tentang teori konspirasi di internet, sehingga teori tersebut terwakili dengan sangat baik dalam data pelatihan model, kata David G. Rand, seorang profesor di MIT Sloan yang juga mengerjakan proyek tersebut. Sifat adaptif GPT-4 Turbo berarti GPT-4 Turbo dapat dengan mudah dihubungkan ke berbagai platform agar pengguna dapat berinteraksi dengannya di masa mendatang, tambahnya.
“Anda bisa bayangkan pergi ke forum konspirasi dan mengundang orang untuk melakukan riset mereka sendiri dengan berdebat di chatbot,” katanya. “Demikian pula, media sosial dapat dihubungkan ke LLM untuk memposting tanggapan korektif kepada orang-orang yang berbagi teori konspirasi, atau kita dapat membeli iklan pencarian Google untuk istilah pencarian terkait konspirasi seperti ‘Deep State.'”
Penelitian tersebut menjungkirbalikkan prasangka penulis tentang seberapa reseptifnya masyarakat terhadap bukti kuat yang membantah tidak hanya teori konspirasi, tetapi juga keyakinan lain yang tidak berakar pada informasi berkualitas baik, kata Gordon Pennycook, seorang profesor madya di Universitas Cornell yang juga bekerja pada proyek tersebut.
“Orang-orang sangat tanggap terhadap bukti. Dan itu sangat penting,” katanya. “Bukti itu penting.”
