Apa yang adil?
Ia seolah-olah satu soalan mudah, tetapi ia satu tanpa jawapan yang mudah. Itu benar-benar berlaku di dunia kecerdasan tiruan (AI), di mana tanggapan mesin pintar dan emosi yang membuat keputusan yang luar biasa tanpa bias pudar cepat.
Barangkali kecelakaan yang paling umum mengenai persepsi itu datang dengan penyiasatan ProPublica 2016 yang menyimpulkan bahawa data yang memandu sistem AI yang digunakan oleh hakim untuk menentukan sama ada seorang penjenayah yang disabitkan kemungkinan melakukan lebih banyak jenayah kelihatan berat sebelah terhadap minoriti. Northpointe, syarikat yang mencipta algoritma, yang dikenali sebagai COMPAS, menafsirkan penafsiran ProPublica mengenai hasilnya, tetapi pertembungan itu telah mencetuskan perdebatan dan analisis tentang berapa banyak mesin pintar yang harus dipercayai.
"Ini topik yang sangat panas-bagaimana anda boleh membuat algoritma yang adil dan boleh dipercayai, " kata Daniel Neill. "Ia satu isu penting."
Neill kini mendapati dirinya di tengah-tengah perbincangan itu. Seorang saintis komputer di Carnegie Mellon University, dia dan seorang lagi penyelidik, Will Gorr, mengembangkan alat perisian peramalan yang dipanggil CrimeScan beberapa tahun yang lalu. Konsep asal mereka adalah bahawa dalam beberapa cara jenayah ganas seperti penyakit berjangkit, ia cenderung untuk keluar dalam kelompok geografi. Mereka juga percaya bahawa jenayah yang lebih rendah boleh menjadi lambang yang lebih ganas, jadi mereka membina algoritma menggunakan pelbagai "petunjuk utama" data, termasuk laporan jenayah, seperti serangan mudah, vandalisme dan kelakuan tidak senonoh, dan 911 panggilan mengenai perkara-perkara seperti tembakan dipecat atau orang yang dilihat dengan senjata. Program ini juga menggabungkan trend bermusim dan hari minggu, ditambah dengan kadar jenayah kekerasan yang serius dan jangka panjang.
Idea ini adalah untuk mengesan bunga api sebelum api keluar. "Kami melihat lebih banyak jenayah kecil, " kata Neill. "Serangan mudah dapat mengeras ke serangan yang lebih teruk. Atau anda mungkin mempunyai corak kekerasan antara dua kumpulan. "
Meramalkan bila dan di mana
CrimeScan bukanlah perisian pertama yang direka bentuk untuk apa yang dikenali sebagai kepintaran ramalan. Satu program yang dipanggil PredPol dicipta lapan tahun lalu oleh saintis UCLA yang bekerja dengan Jabatan Polis Los Angeles, dengan matlamat untuk melihat bagaimana analisis saintifik data jenayah dapat membantu pola tingkah laku jenayah. Sekarang digunakan oleh lebih daripada 60 jabatan polis di seluruh negara, PredPol mengenal pasti kawasan-kawasan dalam kejiranan yang mana jenayah serius lebih cenderung berlaku dalam tempoh tertentu.
Syarikat itu mendakwa penyelidikannya telah menemui perisian itu dua kali lebih tepat sebagai penganalisis manusia apabila meramalkan di mana jenayah akan berlaku. Walau bagaimanapun, tiada kajian bebas telah mengesahkan keputusan tersebut.
Kedua-dua PredPol dan CrimeScan mengehadkan unjuran mereka di mana jenayah boleh berlaku, dan elakkan mengambil langkah seterusnya untuk memprediksi siapa yang boleh membuat mereka-pendekatan kontroversi yang bandar Chicago telah membina sekitar "Senarai Subjek Strategik" orang yang paling mungkin terlibat dalam tembakan masa depan, sama ada sebagai penembak atau mangsa.
Kesatuan Kebebasan Sivil Amerika [ACLU], Pusat Keadilan Brennan dan pelbagai organisasi hak asasi manusia telah menimbulkan persoalan mengenai risiko kecenderungan yang dibakar ke dalam perisian. Data sejarah dari amalan polis, penentang pengkritik, boleh membuat gelung maklum balas di mana algoritma membuat keputusan yang kedua-dua mencerminkan dan mengukuhkan sikap mengenai kawasan kejiranan yang "buruk" dan yang "baik". Itulah sebabnya AI berdasarkan terutamanya dalam penangkapan data membawa lebih tinggi risiko kecenderungan - ia lebih mencerminkan keputusan polis, berbanding dengan jenayah yang dilaporkan. Sebagai CrimeScan, contohnya, menjauhkan diri daripada mencuba untuk meramalkan jenayah yang, seperti yang dikatakan Neill, "anda hanya akan mencari jika anda mencari mereka."
"Saya tidak boleh mengatakan kita bebas daripada kecenderungan, " kata Neill, "tetapi ia lebih berkurangan daripada jika kita cuba meramal kepemilikan dadah."
Kemudian ada sisi lain gelung umpan balik. Sekiranya alat ramalan menimbulkan jangkaan jenayah di sesebuah kawasan tertentu, adakah polis yang meronda ada lebih agresif dalam membuat tangkapan?
"Terdapat bahaya yang nyata, dengan apa-apa jenis kepolisan yang didorong oleh data, untuk melupakan bahawa ada manusia di kedua-dua belah persamaan, " kata Andrew Ferguson, seorang profesor undang-undang di University of the District of Columbia dan pengarang book, The Rise of Data Big Policing: Pengawasan, Perlombaan, dan Masa Depan Penguatkuasaan Hukum. "Pegawai perlu dapat menterjemahkan idea-idea ini yang menunjukkan kejiranan yang berbeza mempunyai skor ancaman yang berbeza. Dan, memberi tumpuan kepada nombor bukan manusia di hadapan anda mengubah hubungan anda dengan mereka. "
Di dalam kotak hitam
Realitinya ialah kecerdasan buatan kini memainkan peranan-walaupun sering di latar belakang-dalam banyak keputusan yang mempengaruhi kehidupan seharian-daripada membantu syarikat memilih siapa yang akan menyewa untuk menetapkan skor kredit untuk menilai guru. Tidak menghairankan, ia telah meningkatkan pemerhatian awam tentang bagaimana algoritma pembelajaran mesin dicipta, apa akibat yang tidak diingini yang menyebabkan mereka, dan mengapa mereka pada umumnya tidak mengalami banyak kajian semula.
Sebagai permulaan, kebanyakan perisian adalah proprietari, jadi terdapat sedikit ketelusan di balik bagaimana algoritma berfungsi. Dan, sebagai pembelajaran mesin menjadi lebih canggih, semakin sukar bagi jurutera yang mencipta sistem AI untuk menerangkan pilihannya. Pengambilan keputusan yang terang-terangan, dengan sedikit akauntabiliti, adalah akibat dari apa yang dikenali sebagai algoritma "kotak hitam".
"Orang ramai tidak pernah mendapat peluang untuk mengaudit atau membahaskan penggunaan sistem sedemikian, " kata Meredith Whittaker, pengasas bersama AI Now Institute, sebuah organisasi penyelidikan di New York University yang menumpukan kepada kesan AI dalam masyarakat. "Dan, data dan logik yang mengawal ramalan yang dibuat sering tidak diketahui walaupun kepada mereka yang menggunakannya, apatah lagi kepada orang yang hidupnya terpengaruh."
Dalam sebuah laporan yang dikeluarkan pada musim gugur lalu, AI Now telah mencadangkan supaya tiada agensi awam yang bertanggungjawab untuk perkara-perkara seperti keadilan jenayah, penjagaan kesihatan, kebajikan dan pendidikan harus menggunakan sistem kotak AI hitam. Menurut AI Now, jarang isu-isu undang-undang dan etika yang diberikan banyak pertimbangan apabila perisian dibuat.
"Sama seperti anda tidak akan mempercayai hakim untuk membina rangkaian neural yang mendalam, kita harus berhenti menganggap bahawa ijazah kejuruteraan cukup untuk membuat keputusan yang rumit dalam domain seperti keadilan jenayah, " kata Whittaker.
Satu lagi organisasi, Pusat Demokrasi & Teknologi, telah menghasilkan alat "keputusan digital" untuk membantu jurutera dan saintis komputer membuat algoritma yang menghasilkan keputusan yang adil dan tidak berat sebelah. Alat ini meminta banyak soalan untuk mendapatkan mereka untuk mempertimbangkan andaian dan mengenal pasti kesan riak yang tidak diduga.
"Kami mahu memberi orang titik permulaan yang konkrit untuk berfikir melalui isu seperti bagaimana mewakili data mereka, kumpulan mana yang mungkin ditinggalkan, dan sama ada output model mereka akan mempunyai kesan negatif yang tidak diingini, " kata Natasha Duarte, yang menyelia projek.
Siapa yang bertanggungjawab?
Walaupun terdapat usaha untuk membuat pemaju lebih cognizant tentang kemungkinan kesan algoritma mereka, yang lain menunjukkan bahawa agensi awam dan syarikat yang bergantung kepada AI juga perlu bertanggungjawab.
"Terdapat penekanan kepada pereka memahami sistem. Tetapi ia juga mengenai orang yang mentadbir dan melaksanakan sistem itu, "kata Jason Schultz, seorang profesor undang-undang di New York University yang bekerjasama dengan AI Now Institute mengenai isu-isu perundangan dan dasar. "Di sinilah getah memenuhi jalan akauntabiliti. Agensi kerajaan yang menggunakan AI mempunyai tanggungjawab yang paling dan mereka perlu memahaminya juga. Jika anda tidak dapat memahami teknologi, anda tidak boleh menggunakannya."
Untuk itu, AI Now sedang mempromosikan penggunaan "penilaian kesan algoritma, " yang memerlukan agensi awam untuk mendedahkan sistem yang mereka gunakan, dan membolehkan penyelidik luar menganalisisnya untuk masalah yang berpotensi. Apabila ia datang kepada jabatan polis, sesetengah pakar undang-undang berpendapat bahawa ia juga penting bagi mereka untuk menjelaskan dengan jelas bagaimana mereka menggunakan teknologi dan bersedia untuk berkongsi dengan masyarakat setempat.
"Jika sistem ini direka dari sudut akauntabiliti, keadilan dan proses yang wajar, orang yang melaksanakan sistem ini harus memahami bahawa mereka mempunyai tanggungjawab, " kata Schultz. "Dan apabila kita merancang bagaimana kita akan melaksanakannya, salah satu soalan pertama adalah 'Di manakah ini masuk dalam manual polis?' Sekiranya anda tidak akan mendapat tempat polis di sini, mari kita ambil langkah ke belakang, orang ramai. "
Andrew Ferguson melihat keperluan untuk apa yang dia sebut sebagai "sidang pengawasan."
"Sekurang-kurangnya sekali setahun, harus ada masa akuntabilitas untuk teknologi polis di setiap bidang kuasa tempatan, " katanya. "Ketua Polis, walikota atau mungkin ketua dewan kota harus menjelaskan kepada masyarakat apa yang mereka gunakan dolar pembayar cukai dalam hal pengawasan dan teknologi, mengapa mereka pikir itu adalah penggunaan yang baik dari uang, apa yang mereka 'lakukan untuk mengaudit dan melindungi data, apakah implikasi privasi. Dan komuniti akan berada di sana untuk bertanya. "
Daniel Neill, pencipta CrimeScan, mengatakan bahawa dia tidak akan membantah idea audit tetap mengenai keputusan AI, walaupun dia mempunyai keberatan tentang perkara yang dilakukan sebelum algoritma cukup diuji lapangan. Dia kini bekerja dengan Pittsburgh Biro Polis pada percubaan CrimeScan, dan sekurang-kurangnya pada awalnya terdapat satu cabaran dengan "mendapatkan kehebatan rondaan yang tepat untuk tempat panas yang diramalkan."
Ia menjadi proses pembelajaran, katanya, untuk menyesuaikan CrimeScan supaya pegawai polis di peringkat jalan percaya ini membantu. "Kita perlu menunjukkan bahawa bukan sahaja kita boleh meramalkan jenayah, tetapi juga kita boleh menghalangnya, " kata Neill. "Jika anda hanya membuang alat ke dinding dan berharap yang terbaik, ia tidak akan berfungsi dengan baik."
Dia juga mengakui risiko menangguhkan terlalu banyak algoritma.
"Alat boleh membantu pegawai polis membuat keputusan yang baik, " katanya. "Saya tidak percaya mesin sepatutnya membuat keputusan. Mereka harus digunakan untuk sokongan keputusan. "
Neill menambah, "Saya faham bahawa, dalam amalan, itu bukan sesuatu yang berlaku sepanjang masa."
