YAZI: AMY FARLEY
FOTOĞRAFLAR: SHANIQWA JARVIS
Joy Buolamwini
Bilgisayar bilimcisi, sanatçı ve Algorithmic
Justice League’in kurucusu
Joy Buolamwini, Jeff Bezos’u dize getirdi. Amazon, Haziran ayında yaptığı açıklamada, yıllardır emniyet teşkilatına sattığı Rekognition adlı tartışmalı yüz tanıma yazılımını polisin kullanımından çektiğini duyurdu. Bu hamle, Amazon’un inatçılığıyla ünlü CEO’su için dikkate değer bir geri çekilme oldu, ancak Bezos yalnız değildi.
IBM de aynı hafta, yüz tanıma teknolojisini geliştirmeyi tamamen durduracağını taahhüt etti. Microsoft ise federal düzenlemeler gerçekleşene kadar sistemini polisten uzak tutacağını söyledi.
Bu kararlar, George Floyd’un Minneapolis polisi tarafından öldürülmesiyle alevlenen, sistemik ırkçılığa karşı düzenlenen büyük çaplı uluslararası protestolar sürerken gerçekleşti. Ancak bu kararların temeli, dört yıl önce, o zamanlar MIT Media Lab’de 25 yaşındaki bir yüksek lisans öğrencisi olan Joy Buolamwini’nin piyasada satılan yüz tanıma teknolojilerindeki ırk, ten rengi ve cinsiyet eşitsizliklerini araştırmaya başladığı dönemde atılmıştı.
Buolamwini’nin çığır açıcı araştırmasının sonuçları 2018 ve 2019’da hakemli dergilerde yayımlandı. Araştırma; Amazon, IBM, Microsoft ve diğer şirketlerin sistemlerinin daha koyu renkli kadın yüzlerini beyaz erkeklerinki kadar doğru şekilde sınıflandırmayı başaramadığını ortaya koydu ve bu sayede makine tarafsızlığı mitini yıktı.
Buolamwini, yapay zekanın sosyal sonuçlarını ortaya çıkarmak için bugün gitgide büyüyen bir hareketi ateşliyor. Kendisi, yaklaşık dört yıl önce kurulan, kâr amacı gütmeyen Algorithmic Justice League (AJL) aracılığıyla, nasıl oluşturulduklarına veya dağıtıldıklarına dair gözetim olmadan yüz tanıma teknolojilerini kullanmanın tehlikeleri hakkında federal, eyalet ve yerel düzeylerde yetkililere bilgi verdi.
George Floyd’un ölümünden sonra da yüz tanıma programlarının polis tarafından kullanımına tamamen son verilmesi çağrısında bulundu: Clearview AI gibi birçok şirket hâlâ polis ve devlet kurumlarına yüz analizi programı satıyor. Buolamwini “Zaten sistemik ırkçılıkla dolu hukuki yaptırımlarımız var” diyor; “Beyaz olmayanların, siyahi insanların suçlu olduğu varsayımının bir algoritma aracılığıyla hatalı bir şekilde doğrulanması, ihtiyacımız olan son şey.”
Buolamwini, MIT’de bir proje kodlarken bilgisayar teknolojisinin yüzünü algılayamaması nedeniyle algoritmik önyargıyı araştırmaya başladı. Yüz hatlarını tamamen kapatan beyaz bir maske taktığında, bilgisayar sonunda bir “yüzü” olduğunu fark etti.
Sorun tanıdıktı. Buolamwini, Georgia Tech’te lisans öğrencisiyken, bir robota çocukların “ce” oyununu oynamayı öğretmek için oda arkadaşının yüzünü “ödünç almak” zorunda kalmıştı. Daha sonra, Hong Kong’daki bir start-up’ta benzer sorunları olan robotlarla karşılaştı. O sırada Buolamwini, teknoloji şirketlerinin bu sorunu yakın zamanda çözeceğini düşünüyordu. MIT’ye geldiğinde gördü ki bir sorun olduğunun bile farkında değillerdi.
Yüksek lisans tezi için, yüz analizi uygulamalarını Avrupa ve Afrika’dan parlamenterlerin fotoğraflarıyla test etmeye başladı; bu çalışma “Cinsiyet Tonları” makalesinin temelini oluşturdu.
Timnit Gebru (şu an Google’da Etik Yapay Zeka Ekibi’nde çalışıyor) ile birlikte yazdığı çalışma, IBM ve Microsoft’unkiler de dahil olmak üzere yaygın olarak kullanılan sistemlerde hata oranlarının, koyu renkli kadın yüzleri için açık renkli erkeklerden önemli ölçüde daha yüksek olduğunu gösterdi.
IBM için bu oran yüzde 34’e kadar gidiyor. Buolamwini ile o zamanlar bir MIT stajyeri, şimdi ise AI Now Enstitüsü’nde araştırmacı olan Deborah Raji, geçen yıl, “Cinsiyet Tonları” makalesinde bahsi geçen şirketlerin algoritmalarında bazı gelişmeler olduğunu gösteren bir çalışma daha yayınladı.
Bu çalışma, Amazon Rekognition’daki rahatsız edici hataları ortaya çıkardı: Kadınları yüzde 19 oranında erkek olarak ve koyu tenli kadınları yüzde 31 oranında erkek olarak yanlış sınıflandırıyordu.
IBM, 2018’de “Cinsiyet Tonları”nda yayınlanan bulguları görür görmez, bir gün içinde, yapay zeka önyargısını ele almaya karar verdi. Microsoft’un baş bilim sorumlusu Eric Horvitz, “Herkes hemen iş başına geçti” diyor.
Amazon ise, araştırmanın itibarını sorgulamaya çalışarak yanıt verdi ve sonuç olarak geçen nisan ayında 70’den fazla yapay zeka araştırmacısı, araştırmayı destekleyen bir mektup yayınlayarak şirketi polise ürün satmayı durdurmaya çağırdı.
Bu çalışmalarla Buolamwini, yeni bir akademik araştırma alanı ortaya çıkardı. Boston’da gözetim için yüz tanıma programı kullanımının yasaklanması için Buolamwini ile beraber çalışan, Massachusetts ACLU’da Özgürlük Teknolojisi Programı’nın direktörlüğünü yapan Kade Crockford, “Buolamwini, bu sorunun var olduğunu fark eden, bu sorundan bahseden ve yetkililer sorunu fark edene kadar bu konuda akademik çalışma yapan ilk kişiydi” diyor.
2019’un sonunda, Ticaret Bakanlığı’na bağlı Ulusal Standartlar ve Teknoloji Enstitüsü, piyasada satılan yüz tanıma teknolojisinin ilk denetimini tamamladı. Denetimde yaklaşık yüz şirketin algoritmaları test edildi; sonuç olarak Asya ve Afrika kökenli Amerikalıların yüzlerinin bire bir eşleşmesinde beyaz yüzlerin eşleşmesine göre 10 ila 100 kat daha yüksek yanlış pozitif oranlar bulundu.
Buolamwini’nin araştırmasında her şey gün gibi ortada. Ama o, bu davaya kendi sesini ekleyerek daha fazla aciliyet duygusu uyandırdı. 2016 yılında AJL’yi tanıttığı Ted konuşması, 1,3 milyon kez görüntülendi ve kendisi “Coded Bias” adlı belgeselin konusu oldu.
“Coded Bias”ın yönetmeni Shalini Kantayya, “Joy, sadece bilimi değil, bilimin neden önemli olduğunu ifade etme konusunda ender bir yeteneğe sahip” diyor. Bu onu güçlü bir “savunucu” haline getiriyor. Buolamwini geçen bahar Meclis Gözetim Komitesi önünde açıklamalar yaptığında, sadece algoritmaların içerdiği sorunlara değil, bunlardan zarar gören kişi ve topluluklara da dikkat çekti.
Yanlışlıkla şüpheli terörist olarak tanımlanan Müslüman bir üniversite öğrencisi ve Brooklyn’de binanın girişine yüz tanıma teknolojisine dayalı giriş sistemi kurmaya çalışan ev sahibinin mağduru kiracılar bunlardan birkaçı.
Black Lives Matter protestoları yaz boyunca devam ederken, Buolamwini, kendi platformunu kullanarak şirketleri, teknoloji sektöründe ırkçılığa karşı adaleti savunan kuruluşların (Black In Ai ve Data for Black Lives bunlardan ikisi) her birine en az 1 milyon dolar bağışta bulunmaya çağırdı.
AJL, yüz tanıma teknolojilerini denetlemek için FDA benzeri bir otorite kavramını araştıran bir rapor yayınladı ve kuruluş, insanların zararlı yapay zeka sistemlerini bildirmelerine yardımcı olacak bir dizi araç oluşturuyor.
Buolamwini, konuşmalarıyla yapay zekanın tehlikelerine dikkat çekmeye devam ediyor. 2018’de yayınladığı “AI, Ain’t I a Woman?” (Yapay Zeka, Ben Kadın Değil miyim?) videosu, Sojourner Truth’tan Michelle Obama’ya, yapay zeka tarafından yanlış sınıflandırılan ikonik siyahi kadınları öne çıkarıyor.
2019’da AB Küresel Teknoloji Paneli, savunma bakanlarına ölümcül otonom silahlarla birlikte görüntü tanıma teknolojisini kullanmanın tehlikesini anlatmak için bu videoyu kullandı. Buolamwini, “Sanatla, bir saatlik konuşma veya bilimsel bir makale aracılığıyla yapamayacağınız şeyleri yapabilirsiniz” diyor.