YAPAY ÖĞRENME VE ADALET

 

Sayısallaşan dünya ile yapay zekânın bir alt dalı olan yapay öğrenmenin (makine öğrenmesi) gündelik hayatımızın birçok yerinde kilit rol oynadığı bir toplum düzenine doğru ilerliyoruz.

Özellikle son yıllarda sağlık, hukuk ve ulaşım gibi alanlarda hayatımızı etkileyecek kararları almada sıklıkla yapay öğrenme yöntemlerine başvurulduğunu biliyoruz.

Temel olarak yapay öğrenme algoritmaları, girdi olarak verilen eğitim veri kümelerini kullanarak, yeni olaylar için tahmin yapma veya karar verme amacıyla bir model oluştururlar.

Örneğin, ABD’deki bazı eyaletlerde adli davalarda hakimler, sanığın yargı sürecinin tutuklu mu tutuksuz mu devam edeceği kararını verirken, sanığın adli geçmişi ile ilgili bilgileri kullanarak yeniden suça karışma riskini tahmin eden bir algoritma kullanıyor. 

Bu algoritma farklı sanıklara ait birçok sabıka kaydını inceleyerek,                                     sanığın tekrar suç işleyip işlemeyeceğine dair bir risk tahmin modeli oluşturuyor.

Benzer şekilde, yapay öğrenme yöntemlerinin sağlık hizmetlerinde de sıklıkla kullanıldığını görüyoruz.

Örneğin yapay öğrenme algoritmaları, büyük bir radyolojik görüntü kümesi ile eğitilerek, yeni görüntüler üzerinde kanser teşhisinde bulunabiliyorlar.

 Bu sistemler üzerinde yürütülen çalışmalar, sistemlerin çeşitli kanser türleri için radyologlardan daha doğru tanılar koyabildiğini gösteriyor.

Yapay öğrenme algoritmaları adil midir?

Yapay öğrenme insanlar için kritik öneme sahip kararların verilmesinde kullanılması beraberinde ciddi etik sorumluluklar da getiriyor.

 Teoride çok iyi sonuçlar veren ve düzgün çalıştığı düşünülen yapay öğrenme yöntemlerinin gerçek hayatta kullanılmaları önceden kestirilmesi zor olan olumsuz sonuçlar doğurabiliyor.

Yapay öğrenme algoritmaları yeni çıkarımlar yapmayı, eğitim verisini kullanarak öğrendiklerinden, eğitim verisinde bulunan önyargıları ve eşitsizlikleri devralabilirler.

Örneğin ABD’de, yargı alanında kullanılan ve yukarıda bahsedilen yöntemin, risk tahmini yaparken sanığın etnik köken bilgisini doğrudan kullanmamasına rağmen siyah ve beyaz sanıklar için farklı risk tahminlerinde bulunduğu görüldü. 

Tutuksuz yargılanmaları sırasında yeniden suç işlemeyen sanıklar arasında yapılan bir araştırmada, siyahi sanıkların sistem tarafından yüksek riskli olarak etiketlenme (yanlış pozitif) ihtimalinin beyaz sanıklara göre iki kat daha fazla olduğu gözlemlendi.

 Bunun sebeplerinden birinin eğitim verisindeki siyahların yeniden suç işleme oranının beyazlara göre daha yüksek olması olduğu düşünülüyor.

Hakimlerin sanıkların tutuklu mu tutuksuz mu yargılanacağına risk puanlarına göre karar verdikleri durumu ele alalım.

Örneğin, risk puanı belirli bir eşiğin üstünde olan bütün sanıkların tutuklu yargılanacağına karar verilsin.

Bu karar adil bir karar mıdır?

 Bu sorunun cevabı bizim adaleti nasıl tanımladığımıza bağlı.

Adaleti farklı etnik gruplara eşit davranmak olarak tanımladığımızı varsayalım.

 Bu durumda siyahların ve beyazların yanlış pozitif oranını eşitlemek adil olacaktır.

Bir başka deyişle, algoritmamız yeniden suç işlemeyen sanıkları siyah ve beyaz olmalarından bağımsız olarak eşit oranda yüksek riskli olarak işaretleyecektir.

Yani algoritmamız her iki grup için de yeniden suça karışmayanlar için eşit oranda hatalı işaretleme yapacaktır.

Eğer hakimler belli risk puanının üstünde sanıkların tutuklu yargılanmasına karar veriyorsa, bu karar yöntemi bu adalet kriterine göre adil değil, çünkü yeniden suç işlemeyen siyahların daha yüksek oranda tutuklu yargılanmasına sebep oluyor.

Eğer adalet kriteri, verilen herhangi bir risk puanı için suç işleme oranının etnik kökenden bağımsız olması olarak tanımlansaydı, yukarıda açıklanan karar yöntemi bu adalet kriterine göre adil olacaktı.

Çünkü veri üzerinde yapılan araştırmalar, aynı risk puanına sahip siyah ve beyaz grupların yeniden suç işleme oranlarının birbirine çok yakın olduğunu gösteriyor.

Sonuç olarak, yapay öğrenme algoritmaları önemli kararların verilmesinde kullanılacaksa, bu kararların doğuracağı adalet sorunlarının iyice araştırılarak, algoritmaların seçiminin ve eğitiminin o alanda kabul gören adalet kriterine uygun olarak yapılması gerekli.

Bu hedefe veri bilimciler ile ilgili alandaki karar vericilerin iş birliği ile ulaşılabilir.

Eşitsizlikler eşitsizlikleri besleyebilir

Yukarıdaki örnekte bahsettiğimiz üzere, gerçek dünya verileri kullanılarak eğitilen yapay öğrenme modelleri, veri kümesinde önceden var olan önyargıları ve eşitsizlikleri devralabilir.

 Bu modeller insanları etkileyen kararlar almak için kullanıldıklarında cinsiyet ve etnik köken gibi hassas özniteliklere karşı ayrımcılık gösterebilir.

Dahası, bu modeller tarafından önerilen kararlar, modelleri kullanan kişilerin eylemlerini etkileyebilir ve bu yüzden kararlardaki yanlılıklar gelecekteki modelleri eğitmek için kullanılan veri kümesine de işleyebilir.

Bu kapalı geri besleme döngüsü kendi kendini güçlendirebilir.

Günümüzde, bu gibi problemler yapay öğrenmeye dayalı kullanıcı deneyimi sunan sanal asistan uygulamalarında da sıklıkla görülüyor.

Örneğin, yakın zamanda Amazon Alexa ve Google Home gibi konuşma tanıma ürünlerinde aksan eğilimi olduğu gözlemlendi. 

Araştırmalar sonucunda, bu ürünlerin anadili İngilizce olan kullanıcıların sesli komutlarını yüksek doğrulukla algıladıklarının görülmesine rağmen, anadili İngilizce olmayan kullanıcıların sesli komutlarını aynı doğrulukla algılayamadıkları görüldü.

Yani, ürünlerin servis kalitesi kullanıcının özelliklerine bağlı değişiklik gösterdi ve bu da kullanıcı memnuniyetinde gruplar arası farklılıklara neden oldu.

Bahsi geçen aksana bağlı eğilim, zaman içinde anadili İngilizce olmayan kullanıcıların ürünleri daha az kullanmasına ve bu kullanıcıların sayısının toplam kullanıcı sayısına oranının azalmasına sebep olabilir.

 Bu örnekten de görüldüğü üzere, modelin kullanımından doğan kullanıcı popülasyonundaki değişimler sonraki modellerin eğitilmesini etkiler ve bunun sonucunda anadili İngilizce olmayan kullanıcıların ürün deneyimlerinin sürekli daha kötüye gitmesi ve anadili İngilizce olan kullanıcıların deneyimlerinin sürekli daha iyiye gitmesi gibi tezat oluşturacak durumlar oluşabilir.

Kısa dönemde adil görünen modellerin uzun dönem etkileri

Yapay öğrenmede adalet sorunlarının çözümü için önerilen yöntemlerden birçoğu, modeller eğitilirken farklı demografik gruplar arasında belirli istatistiksel ölçütleri eşitleyen kriterleri kullanıyor.

Bunlara adalet garantili modeller deniyor.

Örneğin, bir bankanın bireysel kredi sistemini ele alalım.

Bu örnekte banka, başvuru sahibinin kredi başvurusunu kredi puanına dayalı olarak onaylayıp onaylamayacağına karar verecektir.

Farklı etnik gruplar arasında aynı gerçek pozitif oranını (eşit fırsat) sağlayan kararlar, bankanın kararlarının daha adil görünmesini sağlayabilir.

Yani bazı etnik gruplardaki bireylerin kredi puanları diğerlerine göre düşük olmasına rağmen, banka eşitliği sağlamak için onlara kredi verebilir (kredi kabulü oranını farklı etnik gruplar için eşitleyen bir kriter kullanır).

Bu durum potansiyel olarak daha yüksek temerrüt riski olan gruptaki başvuru sahiplerine daha fazla kredi verilmesine neden olabilir.

Bahsi geçen bireyler arasındaki düşük geri ödeme oranı, bireylerin kredi puanlarının gelecekte daha da düşmesine neden olur ve bunun sonucunda ilgili grubun puan dağılımı yüksek temerrüt riskine doğru kayar.

 Örnekten anlaşıldığı gibi kısa vadede adil görünen kararlar veren modeller uzun vadede belirli gruplara karşı önyargının artmasına ve istenmeyen sonuçların belirmesine neden olabilir.

Yapay öğrenmede adalet garantili modeller kullanıldığında zaman içinde grup temsilinin nasıl değişeceği ile ilgili önemli bir çalışmayı Bilkent Üniversitesi ve Michigan Üniversitesi işbirliğiyle gerçekleştirdik. 

Çalışmada, kullanıcıların sisteme katılma ve sistemden ayrılma kararlarında modellerin başarısının etkili olduğu durumları inceledik.

Kısa vadede adil gibi görünen kararların grup temsil eşitsizliğinin zamanla arttırdığı ve dezavantajlı grupların sistemden tümüyle ayrılmasına sebep olabildiğini gösterdik.

Örneğin, yukarıda bahsedilen bireysel kredi sisteminde kısa dönemde her gruba eşit fırsat sunmak, bazı grupların kredi puanlarının dağılımını olumsuz yönde etkileyerek, uzun dönemde bu grupları tümüyle sistem dışına itebileceğini gösterdik.

Çalışmanın sonucuna göre, eğer adalet kriteri tarafından eşitlenen faktörler kullanıcının sistemde kalmasını tetikleyen faktörlerle uyuşmazsa, modelin başarısının kullanıcı grupları arasındaki dengesizliği nedeniyle zaman içinde temsil eşitsizliği artıyor. 

Bir başka deyişle, kısa dönemde adil olan modeller kullanılarak verilen kararlar, farklı kullanıcı gruplarını farklı şekillerde etkileyerek, bu kullanıcı grupların özelliklerini ve toplam nüfusa oranlarını değiştirebiliyor.

Bu değişiklikler zaman içinde azınlık olan grubu negatif yönde etkileyerek, temsil eşitsizliğini arttırıyor.

Adalet ve temsil eşitsizliği ile ilgili sorunları nasıl giderebiliriz?

Yapay öğrenmede adilliği tanımlarken, modellerin hedef kitlesi olan kullanıcıların, modellerin verdiği kararlardan nasıl etkilendiğinin iyice anlaşılması önemli.

Örneğin, bireysel kredi sistemi uygulamasında adalet kriteri, kredi onaylama algoritmasının çıktılarının farklı grupların kredi puan dağılımlarını ne şekilde etkileyeceği göz önüne alınarak tasarlanmalı.

Bununla birlikte, eğer kullanıcıların sistemin kararlarından ne şekilde etkilendikleri, bir başka değişle kullanıcı dinamikleri, yeteri kadar biliniyorsa, modellerin eğitilmesinde bu dinamikleri ele alarak temsil eşitsizliğini azaltan uygun adalet kriterini bulmak da mümkün.

Yukarıdaki ifadeye örnek oluşturması için konuşma tanıma ürünlerini ele alalım.

 Bu ürünlerin sesli komutları doğru algılama yüzdesinin kullanıcı grupları arasında değişiklik gösterdiği biliniyor.

 Bunun en önemli sebeplerinden biri modeller oluşturulurken kullanılan eğitim veri kümesindeki temsil eşitsizliğidir.

 Temsil eşitsizliğinin geri besleme ile daha da artmasını engellemek, kullanıcı dinamiklerini hesaba katan adil modeller ile mümkündür.

Örneğin, bu ürünleri kullananların sistemde kalma olasılıklarının, sistemin kullandığı modelin kullanıcıların sesli komutlarını doğru algılama yüzdesi ile doğru orantılı olduğu biliniyorsa, farklı kullanıcı gruplarının toplam nüfustaki oranlarını dengelemek için, yapay öğrenme yöntemleri eğitilirken farklı gruplar için sınıflandırma hatasının eşlenmesi sağlanabilir.

Bu sayede azınlık olan grupların sistemin dışına itilmesi önlenebilir.

Yapay öğrenme yöntemlerinin gündelik hayatta kullanılması tıptan hukuka kadar birçok alanda karar vericilerin daha doğru ve objektif kararlar verebilmesine olanak sağlıyor.

Bu yöntemlerin kullanılması ile oluşan verinin incelenmesi sayesinde, önyargıların ve eşitsizliğin hangi koşullarda oluşabileceği ve artabileceği hakkında önemli bilgiler edinebiliyoruz.

Eğitim veri kümelerindeki önyargıların ve yapay öğrenme algoritmaları kullanılarak verilen kararların kullanıcılar üzerindeki etkilerini gözlemleyebiliyoruz.

Bu bilgiler sayesinde, gelecekte daha eşit ve adil kararlar verilmesini sağlayacak yeni teknikler geliştirebiliyoruz.