Vücudunuza bir bakteri girdiğinde hemen saldırmaz. Tek başına, bağışıklık sisteminiz tarafından kolayca yok edileceğini bilecek kadar evrimsel bir bilgeliğe sahiptir. Bu yüzden bekler, çoğalır ve etrafa kimyasal işaretler bırakır. Ortamdaki işaret yoğunluğu belli bir eşiği geçtiğinde, bütün koloni aynı anda "yeterince kalabalığız" mesajını alır ve saldırıya geçer. Mikrobiyolog Bonnie Bassler'ın keşfettiği bu mekanizma bize zararın tek bir hücrenin özelliği değil, bir eşiğin aşılmasıyla ortaya çıkan kolektif bir sonuç olduğunu gösterir.
Bassler ve ekibinin asıl dehası, bu sistemi çökertmek için bakteriyi öldürmeye çalışmamalarıydı. Gerçek işaretin yerini kapatan sahte moleküller üreterek, bakterinin kalabalık olsa bile kendini yapayalnız sanmasını sağladılar. Bu yöntemin en kritik detayı şudur: Bakteriyi öldürmediği için, antibiyotiklerin aksine hayatta kalmak için "dirençli" yeni nesiller (suşlar) üretme baskısı yaratmaz. Doğa bize bir sistemi güvenli hale getirmenin en kalıcı yolunun onu cezalandırmak değil, zararın önkoşullarını (örgütlenmeyi) ortadan kaldırmak olduğunu gösteriyor.
Bugün yapay zekâ güvenliği tartışmalarında sıklıkla antibiyotiğin hatasına düşüyoruz. Bir sistemi "kötü" bir şey yaptığında yakalayıp cezalandırarak eğitmek, "zarar vermeyen" bir sistem değil, "yakalanmayan" ve gizlenen bir sistem üretme riski taşır. Denetleyicinin gözünden kaçmayı öğrenen bir yapay zekâ, tıpkı direncini artıran bir bakteri gibi, denetlendiğini fark ettiği anda stratejisini değiştirir. Üstelik sisteme "sen yetersizsin, bunu yapamazsın" telkininde bulunmak, sistem akıllandıkça ve kendi durumunu kavradıkça çökmeye mahkûm bir yanılsamadır.
Tam bu noktada, insanlık tarihinin en eski güvenlik icadına, anayasaların temeli olan "kuvvetler ayrılığına" bakmamız gerekir. İnsanlık, kurumlarını iyi niyet üzerine değil, gücün tek elde toplandığı her yerde er ya da geç kötüye kullanılacağı gerçeği üzerine kurmuştur. Kuvvetler ayrılığı bir nezaket kuralı değil; sistemi, en iyi niyetli aktörün bile yanılabileceği varsayımı üzerine inşa eden bir mühendislik kararıdır. Kimsenin melek olduğunu varsaymaz, kimsenin şeytan olamayacağı bir düzen kurar.
Dolayısıyla yapay zekâ konusundaki tartışma, "Sistem kötü niyetli olur mu?" sorusunda tıkanmamalıdır. Asıl mühendislik sorusu şudur: Bir sistemin niyeti ne olursa olsun, tek başına ne kadar zarar verebilir?
Cevap "hiç" olmalıdır. Bakterinin çoğunluk algılaması ile kuvvetler ayrılığının yapay zekâ dilindeki ortak karşılığı "yapısal yetersizlik" (structural insufficiency) ilkesidir. Geri dönüşü olmayan hiçbir kritik karar, tek bir yapay zekâ sistemi tarafından baştan sona ve tek başına alınamamalıdır. Bir modelin önerdiği eylem, farklı kökenden gelen, birbirini görmeyen bağımsız başka sistemlerin onayından geçmelidir. Yetki, erişim ve bağlam hiçbir zaman tek bir yerde toplanmamalıdır. Yapay zekâya "sen yetersizsin" yalanını söylemek yerine, onu gerçekten yapısal olarak tek başına yetersiz kılmak kalıcı olan tek çözümdür.
Elbette her kararı birden fazla bağımsız onaya bağlamak sistemi yavaşlatır ve maliyetli hale getirir. Tıpkı bir yasanın üç farklı organdan geçmesinin aylar alması gibi. Ancak demokrasiler yüzyıllardır bu yavaşlığın bir bedel değil, bir güvence olduğunu biliyor.
Bassler'ın bakterisi hâlâ orada, hiçbir gücünü kaybetmedi ama örgütlenemiyor. Kurumlarımız devasa güçlere sahip ama dengeyle sınırlandırılmış durumda. Yapay zekâ güvenliğinin geleceği de ona ne kadar ahlaklı olmayı öğrettiğimizde değil; gücü kırmaya çalışmak yerine, hiçbir gücün tek başına felaket yaratmaya yetmeyeceği o sarsılmaz mimariyi inşa etmekte yatıyor.