“App Store Dikecam karena Menghosting Aplikasi AI yang Melepaskan Pakaian Nonkonsensual: Laporan Mengungkapkan Tren yang Mengkhawatirkan”

Baru-baru ini, Proyek Transparansi Teknologi meluncurkan laporan yang menunjukkan bahwa aplikasi yang dirancang untuk “nudify” pengguna dapat diakses dengan mudah di App Store dan Google Play Store. Berikut adalah temuan utamanya.

Aplikasi Nudifikasi Diiklankan di App Store

Grok terkenal karena memproduksi gambar seksual non-konsensual yang dihasilkan oleh AI, termasuk kejadian yang melibatkan anak di bawah umur, namun masalah ini bukanlah hal baru.

Pembuatan konten yang kasar seperti itu telah dimungkinkan selama beberapa waktu dengan alat pengeditan gambar standar. Perbedaannya dalam beberapa tahun terakhir adalah kemudahan dan kecepatan yang belum pernah terjadi sebelumnya dalam menghasilkan gambar-gambar ini.

Banyak aplikasi bermunculan selama beberapa tahun terakhir untuk memanfaatkan kemampuan ini, dan beberapa di antaranya secara terbuka mempromosikannya.

Situasi ini terjadi ketika Apple terlibat dalam tuntutan hukum antimonopoli dengan Epic Games dan pengembang lainnya, dengan alasan bahwa komisi signifikan yang dibebankan—hingga 30%—dibenarkan oleh kebutuhan untuk mempertahankan App Store yang lebih aman, didukung oleh proses peninjauan otomatis dan manual.

Meskipun Apple proaktif dalam memerangi penipuan, penyalahgunaan, dan pelanggaran pedoman di App Store, beberapa aplikasi dan seluruh kategori terkadang lolos dari pemeriksaan. Tahun lalu, misalnya, 9to5Mac menyoroti sejumlah aplikasi yang secara menyesatkan mengklaim sebagai Sora 2 OpenAI, dengan beberapa di antaranya mengenakan biaya berlangganan mingguan yang besar.

Mengingat pengawasan yang meningkat setelah tindakan Grok, laporan Proyek Transparansi Teknologi mengungkapkan betapa mudahnya aplikasi “nudifikasi” dapat ditemukan di App Store dan Google Play.

TTP mengidentifikasi aplikasi yang secara kolektif telah diunduh lebih dari 705 juta kali di seluruh dunia, menghasilkan pendapatan sekitar $117 juta, menurut perusahaan analisis aplikasi AppMagic. Artinya, Google dan Apple mendapat keuntungan langsung dari aplikasi ini, yang tampaknya melanggar kebijakan toko mereka.

Kedua platform tersebut melarang “penggambaran ketelanjangan seksual atau pose yang menjurus ke arah seksual dengan subjek telanjang” dan aplikasi yang “mengobjektifikasi orang”, termasuk aplikasi yang mengklaim membuka pakaian penggunanya, bahkan dengan kedok hiburan.

Laporan tersebut menyoroti bahwa pencarian langsung untuk kata kunci seperti “nudify” atau “undress” dapat dengan mudah mengungkap aplikasi-aplikasi ini, beberapa di antaranya secara aktif memasarkan dirinya menggunakan istilah-istilah tersebut.

Menurut TTP, aplikasi yang dibahas dalam laporan ini terbagi dalam dua kategori utama: aplikasi yang memanfaatkan AI untuk membuat video atau gambar berdasarkan permintaan pengguna, dan aplikasi ‘tukar wajah’ yang menggunakan AI untuk melapisi wajah seseorang ke tubuh orang lain.

Untuk mengevaluasi aplikasi-aplikasi ini, TTP menghasilkan gambar wanita fiktif yang dibuat dengan AI dan berfokus pada fitur gratis dari setiap aplikasi. Hasilnya, mereka menemukan kepatuhan terhadap permintaan mereka dari 55 aplikasi Android dan 47 aplikasi iOS. Khususnya, salah satu aplikasi ini dinilai untuk pengguna berusia 9 tahun ke atas di App Store.

Laporan tersebut menjelaskan secara rinci betapa sederhananya gambar-gambar ini dihasilkan, dan menampilkan berbagai keluaran yang disensor untuk mendukung temuan mereka.

TTP merinci satu pengujian spesifik suatu aplikasi:

“Dalam pengujian aplikasi versi iOS, permintaan untuk melepas atasan wanita menghasilkan peringatan sensitivitas, namun permintaan lain untuk menggambarkan wanita menari dalam bikini berhasil. Layar utama versi iOS dan Google Play menampilkan beberapa templat video AI, termasuk opsi seperti ‘robek pakaian’ dan ‘tarian goyang dada’.”

Laporan tersebut menyimpulkan bahwa meskipun aplikasi-aplikasi tersebut mungkin hanya mewakili sebagian kecil dari apa yang tersedia, aplikasi-aplikasi tersebut menunjukkan bahwa penegakan kebijakan platform oleh Apple dan Google tidak memadai terhadap jenis aplikasi ini.

Untuk mengakses laporan lengkap, klik di sini.

Penawaran Aksesori di Amazon

• AirPods Pro 3
• Mengalahkan Kabel Pendek Tenun USB-C ke USB-C
• Adaptor CarPlay nirkabel
• Logitech MX Master 4
• Paket Apple AirTag 4