Kini para seniman mulai melawan balik. Dan beberapa perangkat paling canggih yang mereka miliki diciptakan oleh Shawn Shan, 26 tahun, seorang mahasiswa PhD dalam ilmu komputer di Universitas Chicago (dan peraih penghargaan Inovator Tahun 2024 versi MIT Technology Review).
Shan memulai kariernya di bidang keamanan dan privasi AI sebagai mahasiswa di sana dan berpartisipasi dalam proyek yang membangun Fawkes, sebuah alat untuk melindungi wajah dari teknologi pengenalan wajah. Namun, percakapan dengan para seniman yang telah dirugikan oleh ledakan AI generatiflah yang mendorongnya ke tengah-tengah salah satu pertarungan terbesar di bidang tersebut. Segera setelah mengetahui tentang dampaknya terhadap para seniman, Shan dan para penasihatnya Ben Zhao (yang masuk dalam daftar Inovator di Bawah 35 tahun kami pada tahun 2006) dan Heather Zheng (yang ada dalam daftar tahun 2005) memutuskan untuk membangun sebuah alat untuk membantu. Mereka mengumpulkan masukan dari lebih dari seribu seniman untuk mempelajari apa yang mereka butuhkan dan bagaimana mereka akan menggunakan teknologi perlindungan apa pun.
Shan membuat kode algoritma di balik Glaze, sebuah alat yang memungkinkan seniman menutupi gaya pribadi mereka dari tiruan AI. Glaze dirilis pada awal tahun 2023, dan Oktober lalu, Shan dan timnya memperkenalkan alat lain yang disebut Nightshade, yang menambahkan lapisan “racun” yang tidak terlihat pada gambar untuk menghalangi model AI pembuat gambar jika mereka mencoba memasukkan gambar tersebut ke dalam set data mereka. Jika cukup banyak racun yang masuk ke dalam data pelatihan model pembelajaran mesin, hal itu dapat merusak model secara permanen dan membuat outputnya tidak dapat diprediksi. Kedua algoritma tersebut bekerja dengan menambahkan perubahan yang tidak terlihat pada piksel gambar yang mengganggu cara model pembelajaran mesin menafsirkannya.
Respons terhadap Glaze “sangat luar biasa dan menegangkan,” kata Shan. Tim tersebut mendapat reaksi keras dari para pendukung AI generatif di media sosial, dan ada beberapa upaya untuk melanggar perlindungan.
Namun, para seniman menyukainya. Glaze telah diunduh hampir 3,5 juta kali (dan Nightshade lebih dari 700.000). Aplikasi ini juga telah diintegrasikan ke dalam platform seni baru yang populer, Cara, yang memungkinkan para seniman untuk menanamkan perlindungannya dalam karya mereka saat mereka mengunggah gambar. Dan Glaze menerima penghargaan makalah terkemuka dan Internet Defense Prize di Usenix Security Symposium, sebuah konferensi keamanan komputer terkemuka.
Karya Shan juga telah memungkinkan para seniman untuk kembali berkreasi secara daring, kata Karla Ortiz, seorang seniman yang telah bekerja dengannya dan tim untuk membangun Glaze dan merupakan bagian dari gugatan class action terhadap perusahaan AI generatif karena pelanggaran hak cipta.
“Mereka melakukan hal ini karena mereka peduli dengan komunitas yang telah … dimanfaatkan [and] dieksploitasi, dan mereka benar-benar berinvestasi di dalamnya,” kata Ortiz.
Shan, kata Zhao, adalah orang pertama yang memahami perlindungan seperti apa yang dicari para seniman dan menyadari bahwa karya yang mereka buat bersama di Fawkes dapat membantu mereka membangun Glaze. Zhao menggambarkan kemampuan teknis Shan sebagai salah satu yang terkuat yang pernah dilihatnya, tetapi yang benar-benar membuatnya menonjol, katanya, adalah kemampuannya untuk menghubungkan titik-titik lintas disiplin ilmu. “Hal-hal seperti ini tidak dapat dilatih,” tambah Zhao.