Bilgisayarlar ve algoritmalar, çoğu zaman tarafsız ve nesnel karar vericiler olarak görülür. Sonuçta bir bilgisayarın duyguları, önyargıları ya da kişisel çıkarları yoktur. Bir insanın kararları ruh hâline, yorgunluğuna ya da bilinçsiz önyargılarına göre değişebilir; ama bir algoritma, aynı girdilere her zaman aynı biçimde tepki verir. Bu nedenle pek çok kurum, işe alım, kredi değerlendirmesi ve hatta adalet sisteminde bazı kararları algoritmalara bırakmanın daha adil olacağını düşünmüştür. Ancak son yıllarda yapılan araştırmalar, bu varsayımın her zaman doğru olmadığını göstermektedir.

Algoritmik önyargının en sık karşılaşılan kaynağı, makine öğrenmesi sistemlerinin eğitildiği verilerdir. Bu sistemler, geçmiş verilerdeki örüntüleri öğrenir. Eğer geçmiş veriler, toplumdaki önyargıları ve eşitsizlikleri yansıtıyorsa, sistem de bu önyargıları öğrenir ve sürdürür. Hatta bazen onları güçlendirebilir.

Bu sorunun çarpıcı bir örneği, büyük bir teknoloji şirketinin bir dönem geliştirdiği deneysel işe alım sisteminde yaşandı. Sistem, şirkete geçmişte yapılan başvuruları ve işe alım kararlarını inceleyerek hangi adayların başarılı olacağını tahmin etmek üzere eğitilmişti. Ancak teknoloji sektöründe uzun yıllar boyunca erkek çalışanların sayıca baskın olması nedeniyle, eğitim verilerindeki başarılı adayların büyük çoğunluğu erkekti. Basına yansıyan bilgilere göre sistem, bu örüntüyü öğrenerek kadın adayların özgeçmişlerine düşük puan vermeye başladı. Şirket, bu sorunu fark ettikten sonra sistemi kullanmaktan vazgeçti.

Yüz tanıma teknolojilerinde de benzer sorunlar tespit edilmiştir. Bazı araştırmalar, ticari yüz tanıma sistemlerinin açık tenli erkeklerin yüzlerini yüksek doğrulukla tanırken, koyu tenli kadınların yüzlerinde belirgin biçimde daha fazla hata yaptığını ortaya koymuştur. Bu farkın önemli bir nedeni, sistemlerin eğitiminde kullanılan fotoğraf veri kümelerinde farklı grupların eşit biçimde temsil edilmemesiydi.

Algoritmik önyargı, yalnızca veri sorunlarından kaynaklanmaz. Algoritmaların tasarımında yapılan seçimler de önemli rol oynar. Bir algoritmanın neyi tahmin etmeye çalıştığı, hangi bilgileri dikkate aldığı ve "başarıyı" nasıl tanımladığı, sonuçları derinden etkiler. Örneğin doğrudan cinsiyet ya da köken gibi bilgiler kullanılmasa bile, posta kodu ya da alışveriş alışkanlıkları gibi bu özelliklerle ilişkili başka bilgiler, dolaylı yoldan benzer önyargılara yol açabilir.

Bu sorunun bir başka boyutu, algoritmaların büyük ölçekte çalışmasıdır. Önyargılı bir insan yönetici, sınırlı sayıda kişiyi etkileyebilir. Ancak önyargılı bir algoritma, milyonlarca kişi hakkında karar verebilir. Üstelik algoritmaların kararları çoğu zaman şeffaf değildir ve etkilenen kişilerin bu kararlara itiraz etmesi zor olabilir.

Araştırmacılar ve politika yapıcılar, bu sorunlarla başa çıkmak için çeşitli yollar önermektedir. Eğitim verilerinin farklı grupları dengeli biçimde temsil etmesi, algoritmaların farklı gruplar üzerindeki etkilerinin düzenli olarak denetlenmesi, önemli kararlarda insan gözetiminin korunması ve algoritmik kararlar hakkında şeffaflık sağlanması bu öneriler arasındadır. Algoritmik önyargı tartışması, teknolojinin toplumsal değerlerden bağımsız olmadığını ve adil sistemler kurmanın bilinçli bir çaba gerektirdiğini hatırlatır.