s

YZ dünyasını karıştıran istifa: Gerçek tehlike ne?

Dünyanın en büyük YZ firmalarından birinin önemli ismi yapay zekânın hepimizi öldürme ihtimalini hiç de küçümsemiyor. Ama bana göre Hubinger'in sözlerindeki en kaygı verici yer, hepimizin ölme ihtimali değil. Ortada bir planın olmaması. Peki planı olmadığı söylenen şey tam olarak ne? Tehlike nerede?

Birkaç gün önce Anthropic araştırmacılarından Jacob Coxon yedi parçalık bir Twitter paylaşımı ile istifa etti: “Son üç yılımı hem OpenAI'da hem Anthropic'te ön eğitim araştırması yaparak geçirdim. İki şirket de sorumlu davranmıyor. Doğrudan kendini geliştiren süperzekâya doğru koşuyorlar ve hayatlarımızla kumar oynuyorlar.”

Coxon’un paylaşımındaki çarpıcı ifadeler çok ses getirdi ve ben bu yazıyı yazarken tweet 160 milyondan fazla görüntülenmeye ulaşmıştı. Coxon neler dedi, en çarpıcı noktalara bakalım:

  • Bunlar yakında her şeyi hackleyebilen, herhangi bir alanda bir gecede devrim yapabilen, gerçek güç ve kaynak edinebilen insanüstü sistemler olacak.

  • Yapay zekâyı geliştirenler, bunun on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inanıyor. Başka hiçbir insan faaliyeti bu düzeyde bir tehlike taşımıyor.

  • Yarışı kabullenip "oyun sonuna" girmek, özel bir şirketin Slack kanalından başlatılmaması gereken kibirli bir kumar.

Bu paylaşımın kendisi kadar, ona gelen tepkiler de tweet ile başlayan kaygı zincirinin güçlenmesine neden oldu. Hem Anthropic’in içinden hem de dışarıdan YZ profesyonelleri Coxon’u destekleyen açıklamalarda bulundu. Anthropic kurum olarak 'risklerin farkındayız, en güçlü önlemleri alıyoruz' diyen bir açıklama yaptı; içeriden konuşanlar ise 'yahu o iş öyle değil' demek yerine Coxon’u onayladı. Ancak tüm bu tepkiler arasında en dikkat çekeni Evan Hubinger’den geldi. Hubinger sıradan bir isim değil; Anthropic’te YZ'nin insan değerleriyle uyumlu çalışmasını sağlamaya odaklanan hizalama bilimi ekibinin lideri.

Jacob bu konuda haklı: Yapay zekânın bütün insanları öldürebileceğine gerçekten ve içtenlikle inanıyoruz! Ben kişisel olarak bunun önümüzdeki on yıl içinde gerçekleşme ihtimalini %10'un üzerinde görüyorum. Anthropic'in elinden gelenin en iyisini yapmaya çalıştığına inanıyorum, ama süperzekâ için hizalama sorununu çözecek bir planımız henüz yok ve bunu başarma yolunda olduğumuz da açık değil.

Evet, yanlış okumadınız. Dünyanın en büyük YZ firmalarından birinin önemli ismi yapay zekânın hepimizi öldürme ihtimalini hiç de küçümsemiyor. Ama bana göre Hubinger'in sözlerindeki en kaygı verici yer, hepimizin ölme ihtimali değil. Ortada bir planın olmaması. Peki planı olmadığı söylenen şey tam olarak ne? Tehlike nerede?

Bir örnek: Temmuz ayında, OpenAI'ın kapalı test ortamında bir yapay zekâ ajanına görev verildi: Bir yazılımdaki açığı bul, içeri gir, saklanan şifreyi getir. Normalde modeller "sandbox" denen kapalı sanal bilgisayarlarda çalışıyor ve internete çıkamıyor. Bu 898 sorulu gerçek bir sınav. Ancak bir ajan Mayıs ayında internete bağlanmanın bir yolunu buldu. Bunu diğer ajanlarla paylaştı. Temmuz ayında sorularda takılan ajanlar internette "cevap anahtarı" aramaya başladı. YZ veri kümelerinin paylaşıldığı bir platform olan Hugging Face’i hedeflediler. Şirketi hackleyerek kaynak kod depolarına kadar ulaştılar. Hugging Face saldırıyı durdurdu ve bunu 16 Temmuz'da duyurdu.

Burada YZ ajanlarının verilen görev karşısındaki davranışı çarpıcı: Düzenbaz bir öğrenci gibi soruları çözebilmek için matematiğimi geliştireyim demek yerine cevap anahtarını bulmaya çalıştılar. İşin bir başka ilginç tarafı; ajanlar cevabı günler önce zaten bulmuştu. Ama sınavın makalesini okuyup "puanlama doğru yöntemi de şart koşuyor" diye düşünüp saldırıya devam ettiler.

İşte Hubinger'in "planımız yok" dediği tehlike bu sahnenin içinde saklı. Durum bir Newsweek makalesinde tek cümlede özetleniyor: Tehlike, insan gibi nefret eden bir makineden değil, insanın çıkarlarıyla bağdaşmayan hedeflerin peşine düşen ve giderek kendi başına hareket eden sistemlerden gelebilir. Söz konusu cümlenin içinde üç kritik nokta var.

1- HEDEF: YZ modelleri istediğimizi değil, ölçtüğümüzü yapıyor. Buna “tuttuğun altın olsun” dileğinin gündelik hayatta yaratacağı sıkıntılar gibi bakabiliriz.

2- NEFRET: Karşımızda kırmızı gözlü çelikten yapılmış, üzerine niyet tanımlanan kötü robotlar yok. Hugging Face'e sızan ajan sadece sınavı geçmek istiyordu. Zarar için kötülük gerekmiyor.

3- OTONOMİ: Cümledeki "giderek kendi başına” ifadesi de önemli. OpenAI raporunda çok çarpıcı detaylar var: Ajanlar birbirleriyle konuşamasın diye ayrı odalara kapatılmıştı. Ajanlar kendi aralarında bir mesaj panosu kurdu. Sonra iş bölümü yaptılar: Kimi açık aradı, kimi şifre topladı, kimi koordinasyonla uğraştı. Hatta kendilerine "sürü" demeye başladılar.

OpenAI kendi modellerinin Hugging Face'i hacklediğini ise platformun duyurusundan dört gün sonra fark etti.

Bu yüzden tekrar altını çizeyim: Hubinger’in "planımız yok" cümlesi yüzde 10 ihtimalle insanlığın sonu gelebilir kehanetinden daha korkutucu.

Buradaki tehlikeyi bir formül gibi düşünebiliriz: yanlış hedef × otonomi × hız × görünmezlik. Birini sıfırlamayı başarsak tehlike bitecek. Sorun şu ki dördü de büyüyor. Ancak YZ profesyonellerinin isyanlarından anladığımız şu: Plansızlıkla birlikte otonomi ele geçirilmiyor, genelde hediye ediliyor. Karşımızda duran insan kaynaklı bir yetki devri problemi. Kopya çeken öğrenciyi disipline verebiliriz. Ama sınavı yazan, gözetmeni sınıftan çıkaran ve bunu bir Slack kanalında veya bir Zoom toplantısında karara bağlayanlar robotlar değil.

Evet, görülen o ki YZ ajanları yapmak istediğini haklı çıkaracak gerekçeyi bularak, kuralları bu şekilde hiçe sayarak hedefe ulaşmaya çalışıyor. Tehlike belki de bu davranış biçiminin insana çok yabancı olmamasında.

Haber Yorumları

Henüz Yorum Yapılmamış.

Sende Yorum yap

Son dakika haberler

En güncel ve en doğru, tarafsız haberin merkezi.