Bu makale Anthropic CEO'su Dario Amodei tarafından Nisan 2025 tarihinde yazılmış makalenin tercümesidir. Çok önemli bir makale olduğu için Bilge Yolcu okurlarına sunmak istedik. Yapay zeka’nın geleceği ile ilgili bazı haklı endişeleri, uyarı mahiyetinde, harika bir şekilde dile getiriyor. Yapay Zekanın endişe yaratan, gittikçe hızlanan bir gelişim momentumu var. Bu nedir? Malumunuz, tam olarak nasıl çalıştığını bilmediğimiz yapay zeka dil modelleri, eldeki verilerle sonuç üreten bir tahmin mekanizması. Ancak geribildirim ile geliştiği için onunla nasıl iletişim kuracağını bilmeyenler ile başbaşa bırakıldığında doğru ve etik olmayan alanlara girip istenmeyen şeyler yapabilir mi endişesi söz konusu. Geliştiricilerin haricinde görünüşe göre, kullanıcıların da konuya hakim olması, aşırıcılık veya indirgemecilikten kaçınarak bilinçli olması gerekiyor. Bu makale, sıklıkla görülen, modelin halüsinasyon görmesinden daha tehlikeli durumlarla karşılaşmamak için alınacak önlemlerin farkındalığı için, birinci elden gelen önemli bir uyarı niteliğinde.
Yorumlanabilirliğin Aciliyeti
Yapay zekâ alanında çalıştığım son on yılda, bu teknolojinin küçük akademik bir daldan, dünyanın tartışmasız en önemli ekonomik ve jeopolitik meselesine dönüşmesini izledim. Tüm bu süre zarfında öğrendiğim belki de en önemli ders şudur: Alttaki teknolojinin ilerlemesi durdurulamayacak kadar güçlü güçler tarafından yönlendirilen, kaçınılmaz bir süreçtir; ancak bu sürecin gerçekleşme biçimi —inşa sırası, seçtiğimiz uygulamalar ve topluma sunuluş detayları— değiştirilebilir niteliktedir ve bunu yaparak büyük olumlu etkiler yaratmak mümkündür. Otobüsü durduramayız, ancak onu yönlendirebiliriz. Geçmişte yapay zekâyı dünya için olumlu bir şekilde devreye almanın ve otokrasilerden önce demokrasilerin bu teknolojiyi inşa edip kullanmasını sağlamanın öneminden bahsetmiştim. Son birkaç aydır, otobüsü yönlendirmek için ek bir fırsata odaklanmış durumdayım: modeller ezici bir güç seviyesine ulaşmadan hemen önce yorumlanabilirlikte —yani yapay zekâ sistemlerinin iç işleyişini anlamakta— başarılı olabileceğimiz yönündeki son gelişmelerin açtığı cazip olasılık.
Alan dışındaki insanlar, kendi yapay zekâ eserlerimizin nasıl çalıştığını anlamadığımızı öğrendiklerinde genellikle şaşırıyor ve endişeleniyorlar. Endişelenmekte haklılar: Bu anlayış eksikliği, teknoloji tarihinde temelde eşi benzeri görülmemiş bir durumdur. Birkaç yıldır hem Anthropic hem de genel olarak sektör, bu sorunu çözmek ve bir yapay zekâ modelinin iç işleyişini tamamen gözler önüne serecek son derece hassas ve doğru bir MRI eşdeğeri yaratmak için çalışıyoruz. Bu hedef sıklıkla çok uzak görünmüştü, ancak son zamanlardaki birden fazla atılım, doğru yolda olduğumuza ve gerçek bir başarı şansına sahip olduğumuza beni ikna etti.
Aynı zamanda, genel olarak yapay zekâ sektörü, yorumlanabilirlik çabalarımızın önünde yer almakta ve çok hızlı bir şekilde ilerlemektedir. Bu nedenle, yorumlanabilirliğin önem taşıyacak vakte kadar olgunlaşmasını istiyorsak hızlı hareket etmeliyiz. Bu yazı; yorumlanabilirliğin ne olduğunu, yapay zekânın buna sahip olduğunda neden daha iyi bir seyir izleyeceğini ve hepimizin bu yarışı kazanmasına nasıl yardımcı olabileceğini ele almaktadır.
Cehaletin Tehlikeleri
Modern üretken yapay zekâ sistemleri, geleneksel yazılımlardan temelde farklı şekillerde şeffaf değildir. Sıradan bir yazılım programı bir şey yaptığında —örneğin, bir video oyunundaki karakter bir diyalog satırı söylediğinde veya yemek siparişi uygulamam sürücüye bahşiş vermeme izin verdiğinde— bunları yapar çünkü bir insan bunları özel olarak programlamıştır. Üretken yapay zekâ kesinlikle böyle değildir. Üretken bir yapay zekâ sistemi finansal bir belgeyi özetlemek gibi bir şey yaptığında, belirli veya kesin bir düzeyde, seçimlerini neden yaptığını —neden belirli kelimeleri diğerlerine tercih ettiğini veya genellikle doğru olmasına rağmen neden ara sıra hata yaptığını— tam olarak bilemeyiz. Kurucu ortağım ve arkadaşım Chris Olah'ın söylemeyi sevdiği gibi, üretken yapay zekâ sistemleri inşa edilmekten ziyade yetiştirilir; iç mekanizmaları doğrudan tasarlanmaktan ziyade "ortaya çıkandır" (emergent). Bu durum, büyüme aşamasını yönlendiren ve şekillendiren üst düzey koşulları belirlediğimiz bir bitkinin veya bakteri kolonisinin yetişmesine biraz benzer; ancak ortaya çıkan kesin yapı öngörülemez, anlaşılması veya açıklanması zordur. Bu sistemlerin içine baktığımızda gördüğümüz şey, milyarlarca sayıdan oluşan devasa matrislerdir. Bunlar bir şekilde önemli bilişsel görevleri hesaplamaktadır, ancak bunu tam olarak nasıl yaptıkları aşikâr değildir.
Üretken yapay zekâyla ilişkili risklerin ve endişelerin birçoğu nihayetinde bu opaklığın sonuçlarıdır ve modeller yorumlanabilir olsaydı bu sorunların ele alınması çok daha kolay olurdu. Örneğin, yapay zekâ araştırmacıları sıklıkla yaratıcılarının niyet etmediği zararlı eylemlerde bulunabilecek uyumsuz (misaligned) sistemlerden endişe duyarlar. Modellerin iç mekanizmalarını anlayamayışımız, bu tür davranışları anlamlı bir şekilde öngöremememiz anlamına gelir ve bu nedenle bunları dışarıda bırakmakta zorlanırız; nitekim modeller beklenmedik ortaya çıkan (emergent) davranışlar sergilemektedir (henüz büyük bir endişe seviyesine ulaşmamış olsalar da). Daha ince bir noktada, aynı opaklık bu risklerin büyük ölçekte varlığını destekleyen kesin kanıtlar bulmayı zorlaştırır; bu da onlarla mücadele etmek için destek toplamayı ve gerçekten ne kadar tehlikeli olduklarını bilmeyi zorlaştırır.
Bu uyum (alignment) risklerinin ciddiyetini ele almak için, yapay zekâ modellerinin içine bugün yapabildiğimizden çok daha net bakabilmemiz gerekecektir. Örneğin, büyük endişelerden biri yapay zekânın aldatması (deception) veya güç arayışıdır (power-seeking). Yapay zekâ eğitiminin doğası, sıradan deterministik yazılımların asla sahip olamayacağı şekilde, yapay zekâ sistemlerinin kendi başlarına insanları aldatma yeteneği ve güç arama eğilimi geliştirmesini olası kılar; bu ortaya çıkış (emergent) doğası aynı zamanda bu tür gelişmeleri tespit etmeyi ve hafifletmeyi zorlaştırır. Ancak aynı nedenden ötürü, gerçek dünya senaryolarında aldatma ve güç arayışına dair asla somut bir kanıt görmedik; çünkü modellerin güç tutkusuyla, aldatıcı düşüncelerle düşündüğünü "suçüstü yakalayamayız". Elimizde kalan tek şey, aldatmanın veya güç arayışının eğitim süreci sırasında ortaya çıkma teşvikine sahip olabileceğine dair bazı kişilerin son derece ikna edici bulduğu, bazılarının ise gülünç derecede inandırıcılık dışı bulduğu belirsiz teorik argümanlardır. Dürüst olmak gerekirse her iki tepkiye de sempati duyabiliyorum ve bu durum, bu risk hakkındaki tartışmanın neden bu kadar kutuplaştığının bir ipucu olabilir.
Benzer şekilde, yapay zekâ modellerinin kötüye kullanılmasına ilişkin endişeler —örneğin, günümüz internetinde bulunabilecek bilgilerin ötesine geçerek kötü niyetli kullanıcıların biyolojik veya siber silahlar üretmesine yardımcı olabilecekleri yönündeki endişeler— modellerin tehlikeli bilgileri bilmesini veya bildiklerini ifşa etmesini güvenilir bir şekilde engellemenin çok zor olduğu fikrine dayanmaktadır. Modellere filtreler koyabiliriz, ancak modeli "jailbreak" etmenin (hapisten kaçırmanın / filtreleri aşmanın) veya kandırmanın çok sayıda olası yolu vardır ve bir jailbreak'in varlığını keşfetmenin tek yolu bunu ampirik olarak bulmaktır. Bunun yerine modellerin içine bakmak mümkün olsaydı, tüm jailbreak'leri sistematik olarak bloke edebilir ve modellerin hangi tehlikeli bilgilere sahip olduğunu karakterize edebilirdik.
Yapay zekâ sistemlerinin opaklığı aynı zamanda davranışlarının sınırlarını tam olarak belirleyemediğimiz ve küçük hata payları çok zararlı olabileceği için yüksek finans veya güvenlik açısından kritik ayarlar gibi birçok uygulamada basitçe kullanılmadıkları anlamına gelir. Daha iyi bir yorumlanabilirlik, olası hataların aralığına sınırlar koyma yeteneğimizi büyük ölçüde artırabilir. Aslında bazı uygulamalarda, modellerin içine bakamayışımız onların benimsenmesinin önünde adeta yasal bir engeldir; örneğin kararların yasal olarak açıklanabilir olmasının zorunlu olduğu ipotek değerlendirmelerinde bu böyledir. Benzer şekilde yapay zekâ, DNA ve protein dizi verilerinin tahminini iyileştirmek dahil olmak üzere bilimin alanında büyük adımlar atmıştır, ancak bu şekilde tahmin edilen kalıplar ve yapılar genellikle insanların anlaması için zordur ve biyolojik bir içgörü aktarmaz. Son birkaç aydaki bazı araştırma makaleleri, yorumlanabilirliğin bu kalıpları anlamamıza yardımcı olabileceğini açıkça ortaya koymuştur.
Opaklığın yapay zekâ sistemlerinin duyarlı (sentient) olup olmadığını ve gelecekte önemli hakları hak edip etmediklerini yargılama yeteneğimizi engellemesi gibi daha egzotik başka sonuçları da vardır. Bu, ayrıntılı olarak ele alamayacağım kadar karmaşık bir konudur, ancak gelecekte önemli olacağından şüpheleniyorum.
Mekanik Yorumlanabilirliğe Kısa Bir Bakış
Yukarıda açıklanan tüm nedenlerden ötürü, modellerin ne düşündüğünü ve nasıl çalıştığını anlamak üstün önem taşıyan bir görev gibi görünmektedir. On yıllar boyunca hakim olan yaygın kanaat bunun imkânsız olduğu ve modellerin nüfuz edilemez "kara kutular" olduğu yönündeydi. Chris Olah, kara kutuyu açmak ve tüm parçalarını anlamak için gerçekten sistematik bir araştırma programı denemeye çalışan ilk kişilerden biriydi; bu alan daha sonra mekanik yorumlanabilirlik (mechanistic interpretability) olarak bilinir hale geldi. Chris ilk olarak Google'da, ardından OpenAI'da mekanik yorumlanabilirlik üzerinde çalıştı. Anthropic'i kurduğumuzda, bunu yeni şirketin yönünün merkezine yerleştirmeye karar verdik ve en önemlisi bunu LLM'lere odakladık. Zamanla alan büyüdü ve şimdi büyük yapay zekâ şirketlerinin bazılarında ekiplerin yanı sıra yorumlanabilirlik odaklı birkaç şirketi, kâr amacı gütmeyen kuruluşları, akademisyenleri ve bağımsız araştırmacıları içermektedir. Mekanik yorumlanabilirliği yukarıdaki temel risklerin bazılarını ele almak için uygulamak istiyorsak, alanın şimdiye kadar başardıklarının ve geriye ne kalanın kısa bir özetini yapmak faydalı olacaktır.
Mekanik yorumlanabilirliğin erken dönemi (2014-2020) vizyon (görüntü) modellerine odaklanmıştı ve modellerin içinde insan tarafından anlaşılabilir kavramları temsil eden bazı nöronları tanımlayabilmişti; örneğin "araba detektörü" veya "tekerlek detektörü" gibi. Bu durum, insan beyinlerinin belirli insanlara veya kavramlara karşılık gelen nöronlara sahip olduğunu öne süren erken sinirbilim hipotezleri ve çalışmalarıyla benzerlik gösteriyordu (genellikle "Jennifer Aniston" nöronu olarak popülerleştirilmiştir ve aslında yapay zekâ modellerinde de bunlara benzer nöronlar bulduk). Hatta bu nöronların nasıl bağlandığını bile keşfedebildik; örneğin araba detektörü, arabanın altında yanan tekerlek detektörlerini arar ve bunu baktığı nesnenin gerçekten bir araba olup olmadığını belirlemek için diğer görsel sinyallerle birleştirir.
Chris ve ben Anthropic'i başlatmak için ayrıldığımızda, yorumlanabilirliği dilin gelişmekte olan alanına uygulamaya karar verdik ve 2021'de bunu yapmak için gerekli temel matematiksel temelleri ve yazılım altyapısını geliştirdik. Dili yorumlamak için gerekli olan şeyleri yapan temel mekanizmaları modelde hemen bulduk: kopyalama ve sıralı örüntü eşleştirme (sequential pattern-matching). Ayrıca, vizyon modellerinde bulduklarımıza benzer şekilde, çeşitli kelimeleri ve kavramları temsil eden yorumlanabilir tekil nöronlar da bulduk. Bununla birlikte, bazı nöronlar hemen yorumlanabilirken, büyük çoğunluğunun birçok farklı kelime ve kavramın tutarsız bir pastişi olduğunu kısa sürede keşfettik. Bu olguya süperpozisyon adını verdik ve modellerin muhtemelen milyarlarca kavrama sahip olduğunu, ancak hiçbir anlam çıkaramayacağımız kadar birbirine karışmış bir biçimde bunları barındırdığını kısa sürede fark ettik. Model süperpozisyonu kullanır çünkü bu, nöron sayısından daha fazla kavramı ifade etmesine olanak tanır ve daha fazlasını öğrenmesini sağlar. Süperpozisyon karmaşık ve anlaşılması güç görünüyorsa, bunun nedeni her zaman olduğu gibi yapay zekâ modellerinin öğrenme ve çalışmasının insanlara okunabilir olacak şekilde en ufak bir şekilde bile optimize edilmemiş olmasıdır.
Süperpozisyonları yorumlamanın zorluğu bir süre ilerlemeyi engelledi, ancak sonunda (diğerleriyle paralel olarak) sinyal işleminden sparse autoencoders (seyrek oto kodlayıcılar) adı verilen mevcut bir tekniğin, daha temiz, insan tarafından daha anlaşılabilir kavramlara karşılık gelen nöron kombinasyonlarını bulmak için kullanılabileceğini keşfettik. Bu nöron kombinasyonlarının ifade edebileceği kavramlar, tek katmanlı sinir ağının kavramlarından çok daha incelikliydi: bunlara "kelimenin tam anlamıyla veya mecazi olarak kaçamak yapma, duraksama veya tereddüt etme" kavramı ve "hoşnutsuzluk ifade eden müzik türleri" kavramı dahildi. Bu kavramlara özellikler (features) adını verdik ve modern son teknoloji modeller dahil her boyuttaki modelde bunları haritalandırmak için seyreklik oto kodlayıcı yöntemini kullandık. Örneğin, orta büyüklükteki ticari bir modelde (Claude 3 Sonnet) 30 milyondan fazla özellik bulmayı başardık. Ek olarak, özelliklerin sadece bulunması değil, insan terimleriyle listelenmesi ve tanımlanması sürecini ölçeklendirmek için yapay zekânın kendisini yorumlanabilirlik özelliklerini analiz etmek üzere kullanan autointerpretability (otomatik yorumlanabilirlik) adı verilen bir yöntem kullandık.
30 milyon özelliği bulmak ve tanımlamak önemli bir ileri adımdır, ancak küçük bir modelde bile muhtemelen bir milyar veya daha fazla kavram olabileceğine inanıyoruz; bu nedenle muhtemelen orada olanların çok küçük bir kısmını bulduk ve bu yöndeki çalışmalar devam etmektedir. Anthropic'in en yetenekli ürünlerinde kullanılanlar gibi daha büyük modeller daha da karmaşıktır.
Bir özellik bulunduğunda, onu sadece eylem halinde gözlemlemekle kalmayıp sinir ağının işleyişindeki önemini artırabilir veya azaltabiliriz. Yorumlanabilirliğin MRI'ı, birinin beyinindeki kesin bir kısmı zapt etmek gibi müdahaleler geliştirmemize ve bunları rafine etmemize yardımcı olabilir. En unutulmaz şekilde, bu yöntemi Anthropic'in modellerinden birinin "Golden Gate Köprüsü" özelliğinin yapay olarak artırıldığı ve modelin köprüye takıntılı hale gelmesine, hatta alakasız konuşmalarda bile konuyu köprüye getirmesine neden olan "Golden Gate Claude" versiyonunu oluşturmak için kullandık.
Son zamanlarda, özelliklerin takibinden ve manipülasyonundan "devreler" (circuits) olarak adlandırdığımız özellik gruplarının takibine ve manipülasyonuna geçtik. Bu devreler modelin düşünme adımlarını gösterir: kavramların girdi kelimelerinden nasıl ortaya çıktığını, bu kavramların yeni kavramlar oluşturmak için nasıl etkileşime girdiğini ve eylemler üretmek için model içinde nasıl çalıştıklarını. Devreler ile modelin düşüncesini izleyebiliriz. Örneğin, modele "Dallas'ı içeren eyaletin başkenti nedir?" diye sorarsanız, "Dallas" özelliğinin bir "Teksas" özelliğinin ateşlenmesini tetiklemesine neden olan bir "içinde bulunur" devresi ve ardından "Teksas" ve "başkent" kelimelerinden sonra "Austin"in ateşlenmesine neden olan bir devre vardır. Manuel bir süreçle yalnızca az sayıda devre bulmuş olmamıza rağmen, modelin problemlerde nasıl akıl yürüttüğünü görmek için bunları halihazırda kullanabiliyoruz —örneğin şiir yazarken kafiyeler için nasıl önceden plan yaptığı ve kavramları diller arasında nasıl paylaştığı gibi. Model içinde karmaşık şekillerde etkileşime giren milyonlarca devre olduğunu beklediğimiz için devre bulma sürecini otomatize etmenin yolları üzerinde çalışıyoruz.
Yorumlanabilirliğin Faydası
Tüm bu ilerlemeler bilimsel olarak etkileyici olmakla birlikte, yorumlanabilirliği yukarıda sıraladığım riskleri azaltmak için nasıl kullanabileceğimiz sorusunu doğrudan yanıtlamamaktadır. Diyelim ki bir sürü kavram ve devre tanımladık; hatta diyelim ki hepsini biliyoruz ve bunları bugün yapabildiğimizden çok daha iyi anlayıp organize edebiliyoruz. Ne olmuş yani? Bütün bunları nasıl kullanacağız? Soyut teoriden pratik değere ulaşan hâlâ bir boşluk var.
Bu boşluğu kapatmaya yardımcı olmak için, modellerdeki sorunları bulmak ve teşhis etmek amacıyla yorumlanabilirlik yöntemlerimizi kullanmayı denemeye başladık. Son zamanlarda, bir "kırmızı takımın" (red team) kasıtlı olarak bir modele bir uyum sorunu (örneğin modelin bir görevdeki açığı istismar etme eğilimi) yerleştirdiği ve çeşitli "mavi takımlara" (blue teams) neyin yanlış gittiğini çözme görevini verdiği bir deney yaptık. Birden fazla mavi takım başarılı oldu; özellikle burada ilgili olan nokta, bazılarının soruşturma sırasında yorumlanabilirlik araçlarını üretken bir şekilde uygulamış olmasıdır. Bu yöntemleri hâlâ ölçeklendirmemiz gerekiyor, ancak bu egzersiz modellerimizdeki kusurları bulmak ve gidermek için yorumlanabilirlik tekniklerini kullanma konusunda biraz pratik deneyim kazanmamıza yardımcı oldu.
Uzun vadeli hedefimiz, son teknoloji ürünü bir modele bakabilmek ve esasta bir "beyin taraması" yapabilmektir: yalan söyleme veya aldatma eğilimleri, güç arayışı, jailbreak'lerdeki kusurlar, modelin bir bütün olarak bilişsel güçlü ve zayıf yönleri ve çok daha fazlası dahil olmak üzere çok çeşitli sorunları tanımlama olasılığı yüksek olan bir kontrol. Bu daha sonra modelleri eğitmek ve hizalamak için çeşitli tekniklerle birlikte kullanılacaktır; tıpkı bir doktorun bir hastalığı teşhis etmek için MRI çekmesi, ardından bunu tedavi etmek için bir ilaç reçete etmesi, ardından tedavinin nasıl ilerlediğini görmek için başka bir MRI çekmesi gibi [SUP]8[/SUP]. En yetenekli modelleri test etme ve dağıtma yöntemimizin (örneğin Sorumlu Ölçeklendirme Politikası çerçevemizdeki Yapay Zekâ Güvenlik Düzeyi 4'tekiler) kilit bir parçasının bu tür testleri gerçekleştirmek ve resmileştirmek olması muhtemeldir.
Ne Yapabiliriz?
Bir yandan, son gelişmeler —özellikle devreler ve modellerin yorumlanabilirlik tabanlı testi hakkındaki sonuçlar— yorumlanabilirliği büyük bir şekilde kırmanın eşiğinde olduğumuzu hissettirdi. Önümüzdeki görev Herkülvari olmasına rağmen, yorumlanabilirliğin çok gelişmiş yapay zekâdaki sorunları teşhis etmek için sofistike ve güvenilir bir yol olacağına dair gerçekçi bir yol görebiliyorum —gerçek bir "Yapay Zekâ için MRI". Aslında mevcut gidişatında, yorumlanabilirliğin 5-10 yıl içinde bu noktaya ulaşmasından yana güçlü bir bahis oynarım.
Öte yandan, yapay zekânın kendisinin o kadar hızlı ilerlemesinden endişe ediyorum ki bu kadar bile zamanımız olmayabilir. Başka yerlerde yazdığım gibi, 2026 veya 2027 gibi erken bir tarihte "veri merkezinde bir dâhiler ülkesine" eşdeğer yapay zekâ sistemlerine sahip olabiliriz. Bu tür sistemleri, nasıl çalıştıkları konusunda tam bir cehalet içinde, daha iyi bir yorumlanabilirlik kavramına sahip olmadan devreye alma konusunda çok endişeliyim. Bu sistemler ekonominin, teknolojinin ve ulusal güvenliğin merkezinde yer alacak ve o kadar çok özerkliğe (autonomy) sahip olacaklar ki insanlığın nasıl çalıştıklarını tamamen bilmemesini kabul edilemez buluyorum.
Böylece yorumlanabilirlik ve model zekâsı arasında bir yarış içindeyiz. Bu hep ya da hiç meselesi değildir: gördüğümüz gibi yorumlanabilirlikteki her ilerleme, modellerin içine bakma ve sorunlarını teşhis etme yeteneğimizi niceliksel olarak artırır. Ne kadar çok bu tür ilerlemelerimiz olursa, "veri merkezindeki dâhiler ülkesi" senaryosunun iyi gitme olasılığı o kadar yüksek olur. Yapay zekâ şirketlerinin, araştırmacıların, hükümetlerin ve toplumun dengeleri lehine çevirmek için yapabileceği birkaç şey vardır:
1. Doğrudan Çalışarak Yorumlanabilirliği Hızlandırmak: Şirketlerde, akademide veya kâr amacı gütmeyen kuruluşlardaki yapay zekâ araştırmacıları, doğrudan üzerinde çalışarak yorumlanabilirliği hızlandırabilirler. Yorumlanabilirlik, sürekli model sürümü selinden daha az ilgi görüyor, ancak muhtemelen daha önemlidir. Anthropic olarak 2027 yılına kadar "yorumlanabilirlik çoğu model sorununu güvenilir bir şekilde tespit edebilir" hedefine sahibiz ve yorumlanabilirlik girişimlerine yatırım yapıyoruz. Google DeepMind ve OpenAI gibi diğer şirketlerin de bu alana daha fazla kaynak ayırmasını şiddetle teşvik ediyorum. Yorumlanabilirlik; temel bilim niteliği taşıdığı ve devasa hesaplama kaynaklarına ihtiyaç duymadan incelenebildiği için akademik ve bağımsız araştırmacılar için de harika bir alandır. Sinirbilimciler özellikle bunu düşünmelidir, çünkü yapay zekâ sinir ağları üzerinde veri toplamak biyolojik olanlara göre çok daha kolaydır.
2. Hafif Dokunuşlu Şeffaflık Kuralları (Light-touch rules): Hükümetler yorumlanabilirlik araştırmalarının geliştirilmesini teşvik etmek için hafif dokunuşlu kurallar kullanabilir. "Yapay Zekâ MRI" uygulamasının yeni ve gelişmemiş olduğu göz önüne alındığında, şirketlerin bunları yapmasını zorunlu kılmak henüz erken olabilir. Ancak şirketlerin güvenlik ve güvenlik uygulamalarını (Sorumlu Ölçeklendirme Politikaları / RSP) şeffaf bir şekilde açıklaması zorunluluğu getirilmesi, bir "zirveye yarış" (race to the top) ortamı yaratacaktır.
3. İhracat Kontrolleriyle "Güvenlik Tamponu" Oluşturmak: Hükümetler, en güçlü yapay zekâya ulaşmadan önce yorumlanabilirliğin ilerlemesi için zaman kazandıracak bir güvenlik tamponu oluşturmak amacıyla çip ihracat kontrollerini kullanabilir. ABD ve demokrasiler yapay zekâda net bir liderliğe sahipse, gerçekten güçlü yapay zekâya geçmeden önce yorumlanabilirliği sağlamlaştırmak için bu liderliğin bir kısmını harcayabiliriz. Aksi takdirde, ABD ve Çin güçlü yapay zekâya aynı anda ulaşırsa jeopolitik teşvikler herhangi bir yavaşlamayı imkansız hale getirecektir.
Tüm bunlar —yorumlanabilirliği hızlandırmak, hafif dokunuşlu şeffaflık mevzuatı ve Çin'e çip ihracat kontrolleri— kendi başlarına iyi fikirler olmanın erdemine sahiptir ve birkaç anlamlı dezavantajı vardır. Hepsini zaten yapmalıyız. Ancak güçlü yapay zekâdan önce veya sonra yorumlanabilirliğin çözülüp çözülmeyeceği arasındaki farkı yaratabileceklerini fark ettiğimizde daha da önemli hale gelirler.
Güçlü yapay zekâ insanlığın kaderini şekillendirecek ve ekonomimizi, yaşamımızı ve geleceğimizi kökten dönüştürmeden önce kendi yarattıklarımızı anlamayı hak ediyoruz.
Tom McGrath, Martin Wattenberg, Chris Olah, Ben Buchanan'a ve makale taslaklarına geri bildirimde bulunan Anthropic içindeki birçok kişiye teşekkürler.
Dipnotlar
1. Bir bitki söz konusu olduğunda bu su, güneş ışığı, onları belirli bir yöne işaret eden bir kafes, bitki türünü seçmek vb. olurdu. Bunlar bitkinin kabaca nereye büyüyeceğini dikte eder, ancak tam şekli ve büyüme örüntüsü tahmin edilemez ve büyüdükten sonra bile açıklanması zordur. Yapay zekâ sistemleri söz konusu olduğunda, temel mimariyi (genellikle Transformer'ın bir varyantı), aldıkları geniş veri türünü ve bunları eğitmek için kullanılan üst düzey algoritmayı ayarlayabiliriz, ancak modelin gerçek bilişsel mekanizmaları bu bileşenlerden organik olarak ortaya çıkar ve bunlara dair anlayışımız zayıftır. Aslında, hem doğal hem de yapay dünyada ilkeler düzeyinde anladığımız (ve bazen kontrol ettiğimiz) ancak ayrıntılı olarak anlamadığımız pek çok sistem örneği vardır: ekonomiler, kar taneleri, hücresel otomatlar, insan evrimi, insan beyin gelişimi vb.
2. Bu riskleri sadece modellerle etkileşime girerek tespit etmeye çalışabilirsiniz ve bunu pratikte yapıyoruz. Ancak aldatma tam olarak bulmaya çalıştığımız davranış olduğundan, dış davranış güvenilir değildir. Bu, bir teröriste terörist olup olmadığını sorarak birinin terörist olup olmadığını belirlemeye çalışmak gibidir; tamamen işe yaramaz değil ve nasıl cevap verdiklerine ve ne söylediklerine bağlı olarak bir şeyler öğrenebilirsiniz, ancak çok açık bir şekilde güvenilmezdir.
3. Bunu muhtemelen gelecekteki bir denemede daha ayrıntılı olarak anlatacağım, ancak modellerin eğitimleri yapay bir şekilde yönlendirildiğinde belirli koşullar altında yalan söyleyebileceğini veya aldatabileceğini gösteren birçok deney var (birçoğu Anthropic tarafından yapılmıştır). Ayrıca "testte kopya çekmek" gibi görünen gerçek dünya davranışlarına dair kanıtlar da var, ancak bu tehlikeli veya zararlı olmaktan ziyade daha dejeneratiftir. Olmayan şey, daha doğal bir şekilde ortaya çıkan tehlikeli davranışların veya dünyayı ele geçirmek amacıyla yalan söyleme ve aldatma yönünde genel bir eğilimin veya genel niyetin kanıtıdır. Modellerin içine bakmanın çok yardımcı olabileceği nokta tam da bu son ifadedir.
4. En azından API üzerinden sunulan modeller durumunda. Açık ağırlıklı (open-weights) modeller, koruma duvarlarının (guardrails) basitçe soyulabilmesi gibi ek tehlikeler sunar.
5. Çok kısa bir şekilde, yorumlanabilirliğin yapay zekâ duyarlılığı ve refahı ile ilgili endişelerle kesişmesini bekleyebileceğiniz iki yol vardır. Birincisi, zihin felsefesi karmaşık ve çekişmeli bir konu olmasına rağmen, filozoflar yapay zekâ modellerinde gerçekten ne olduğuna dair ayrıntılı bir muhasebeden şüphesiz faydalanacaktır. Onların yüzeysel örüntü eşleştiriciler olduğuna inanıyorsak, ahlaki dikkate layık olmaları olası görünmemektedir. Yaptıkları hesaplamanın hayvanların, hatta insanların beyinlerine benzer olduğunu bulursak, bu ahlaki düşünce lehine bir kanıt olabilir. İkincisi ve belki de en önemlisi, yapay zekâ modellerinin ahlaki "hasta" konumunun harekete geçmeyi hak edecek kadar makul olduğu sonucuna varırsak yorumlanabilirliğin sahip olacağı roldür. Yapay zekâlar hakkında ciddi bir ahlaki muhasebe kendi beyanlarına güvenemez, çünkü iyi olmasalar bile iyi mış gibi yapmaları için onları yanlışlıkla eğitebiliriz. Yorumlanabilirlik, böyle bir durumda yapay zekâların refahını belirlemede çok önemli bir rol oynayacaktır. (Aslında bu perspektiften şimdiden biraz endişe verici bazı işaretler var.)
6. Örneğin, yapay sinir ağları içinde gerçekleşen hesaplamaları bir şekilde parçalarına ayırma ve anlama fikri, yapay sinir ağları 70 yıldan uzun süre önce icat edildiğinden beri muhtemelen belirsiz bir anlamda vardı ve bir sinir ağının neden belirli bir şekilde davrandığını anlamaya yönelik çeşitli çabalar neredeyse o kadar süredir var olmuştur. Ancak Chris, her yaptıkları şeyi anlamak için kapsamlı bir çaba önerme ve bunu ciddi şekilde sürdürme konusunda alışılmadık bir isimdi.
7. Süperpozisyonun temel fikri Arora ve ark. tarafından 2016 yılında tanımlanmıştır ve daha genel olarak sıkıştırılmış algılama (compressed sensing) hakkındaki klasik matematiksel çalışmalara dayanmaktadır. Bunun yorumlanamayan nöronları açıkladığı hipotezi, vizyon modelleri üzerine yapılan erken mekanik yorumlanabilirlik çalışmalarına kadar uzanmaktadır. Bu sırada değişen şey, bunun dil modelleri için vizyondakinden çok daha kötü, merkezi bir sorun olacağının netleşmesiydi. Süperpozisyonun peşinden gitmek için doğru hipotez olduğuna dair inanca sahip olmak için güçlü bir teorik temel sağlayabildik.
8. Bunu söylemenin bir yolu, yorumlanabilirliğin model hizalaması için test seti gibi işlev görmesi gerektiğidir; ölçeklenebilir gözetim (scalable supervision), RLHF, anayasal yapay zekâ vb. gibi geleneksel hizalama teknikleri ise eğitim seti gibi işlev görmelidir. Başka bir deyişle yorumlanabilirlik, modellerin hizalanması konusunda bağımsız bir kontrol görevi görür; modellerin hizalanmış gibi görünmelerini teşvik edebilecek eğitim sürecinden kontamine olmamıştır. Bu görüşün iki sonucu şunlardır: (a) Üretimde yorumlanabilirlik çıktıları (özellikler/kavramlar, devreler) üzerinde doğrudan eğitim almaktan veya bunları doğrudan optimize etmekten çok çekinmeliyiz, çünkü bu sinyallerinin bağımsızlığını yok eder ve (b) eğitim sürecini bilgilendirmek için teşhis test sinyalini tek bir üretim çalışmasında çok fazla "kullanmamak" önemlidir, çünkü bu yavaş yavaş bağımsız test sinyali hakkındaki bilgi bitlerini eğitim sürecine sızdırır ((a)'dan çok daha yavaş olsa da). Başka bir deyişle, resmi, yüksek riskli üretim modellerini değerlendirirken yorumlanabilirlik analizine gizli bir değerlendirme veya test setine göstereceğimiz özenin aynısını göstermemizi öneririz.
9. Garip bir şekilde, mekanik yorumlanabilirlik bazen akademide büyük bir kültürel direnişle karşılaşıyor gibi görünmektedir. Örneğin, çok popüler bir mekanik yorumlanabilirlik ICML konferans çalıştayının bahaneye benzer gerekçelerle reddedildiği yönündeki raporlardan endişe duyuyorum. Eğer doğruysa, bu davranış, yapay zekâ akademisyenlerinin ilgiyi korumanın yollarını aradığı bir zamanda tam anlamıyla miyop ve kendi kendini baltalayıcıdır.
10. Tabii ki riski azaltmaya yönelik diğer tekniklerle birlikte –yorumlanabilirliğin tek risk azaltma aracımız olduğunu ima etmek istemiyorum.
11. Yapay zekânın inanılmaz ekonomik değeri göz önüne alındığında, demokratik ülkelerdeki şirketler arasında bile riski ele almak için herhangi bir yavaşlamanın mümkün olduğundan aslında oldukça şüpheliyim. Piyasayla kafadan savaşmak, yük trenini baş parmağınızla durdurmaya çalışmak gibi hissettiriyor. Ancak otonom yapay zekânın tehlikelerine dair gerçekten ikna edici kanıtlar ortaya çıkarsa, bunun ancak çok az mümkün olabileceğini düşünüyorum. Savunucuların iddialarının aksine, bugün gerçekten ikna edici kanıtlar olduğuna inanmıyorum ve tehlikenin "sigara yakma" (smoking gun) kanıtını sağlamak için en muhtemel rotanın yorumlanabilirliğin kendisi olduğuna inanıyorum – buna yatırım yapmak için bir başka neden daha!
Dario Amodei
Nisan 2025
Orjinal (ingilizce) Link: https://darioamodei.com/post/the-urgency-of-interpretability
Yorumlanabilirliğin Aciliyeti
Yapay zekâ alanında çalıştığım son on yılda, bu teknolojinin küçük akademik bir daldan, dünyanın tartışmasız en önemli ekonomik ve jeopolitik meselesine dönüşmesini izledim. Tüm bu süre zarfında öğrendiğim belki de en önemli ders şudur: Alttaki teknolojinin ilerlemesi durdurulamayacak kadar güçlü güçler tarafından yönlendirilen, kaçınılmaz bir süreçtir; ancak bu sürecin gerçekleşme biçimi —inşa sırası, seçtiğimiz uygulamalar ve topluma sunuluş detayları— değiştirilebilir niteliktedir ve bunu yaparak büyük olumlu etkiler yaratmak mümkündür. Otobüsü durduramayız, ancak onu yönlendirebiliriz. Geçmişte yapay zekâyı dünya için olumlu bir şekilde devreye almanın ve otokrasilerden önce demokrasilerin bu teknolojiyi inşa edip kullanmasını sağlamanın öneminden bahsetmiştim. Son birkaç aydır, otobüsü yönlendirmek için ek bir fırsata odaklanmış durumdayım: modeller ezici bir güç seviyesine ulaşmadan hemen önce yorumlanabilirlikte —yani yapay zekâ sistemlerinin iç işleyişini anlamakta— başarılı olabileceğimiz yönündeki son gelişmelerin açtığı cazip olasılık.
Alan dışındaki insanlar, kendi yapay zekâ eserlerimizin nasıl çalıştığını anlamadığımızı öğrendiklerinde genellikle şaşırıyor ve endişeleniyorlar. Endişelenmekte haklılar: Bu anlayış eksikliği, teknoloji tarihinde temelde eşi benzeri görülmemiş bir durumdur. Birkaç yıldır hem Anthropic hem de genel olarak sektör, bu sorunu çözmek ve bir yapay zekâ modelinin iç işleyişini tamamen gözler önüne serecek son derece hassas ve doğru bir MRI eşdeğeri yaratmak için çalışıyoruz. Bu hedef sıklıkla çok uzak görünmüştü, ancak son zamanlardaki birden fazla atılım, doğru yolda olduğumuza ve gerçek bir başarı şansına sahip olduğumuza beni ikna etti.
Aynı zamanda, genel olarak yapay zekâ sektörü, yorumlanabilirlik çabalarımızın önünde yer almakta ve çok hızlı bir şekilde ilerlemektedir. Bu nedenle, yorumlanabilirliğin önem taşıyacak vakte kadar olgunlaşmasını istiyorsak hızlı hareket etmeliyiz. Bu yazı; yorumlanabilirliğin ne olduğunu, yapay zekânın buna sahip olduğunda neden daha iyi bir seyir izleyeceğini ve hepimizin bu yarışı kazanmasına nasıl yardımcı olabileceğini ele almaktadır.
Cehaletin Tehlikeleri
Modern üretken yapay zekâ sistemleri, geleneksel yazılımlardan temelde farklı şekillerde şeffaf değildir. Sıradan bir yazılım programı bir şey yaptığında —örneğin, bir video oyunundaki karakter bir diyalog satırı söylediğinde veya yemek siparişi uygulamam sürücüye bahşiş vermeme izin verdiğinde— bunları yapar çünkü bir insan bunları özel olarak programlamıştır. Üretken yapay zekâ kesinlikle böyle değildir. Üretken bir yapay zekâ sistemi finansal bir belgeyi özetlemek gibi bir şey yaptığında, belirli veya kesin bir düzeyde, seçimlerini neden yaptığını —neden belirli kelimeleri diğerlerine tercih ettiğini veya genellikle doğru olmasına rağmen neden ara sıra hata yaptığını— tam olarak bilemeyiz. Kurucu ortağım ve arkadaşım Chris Olah'ın söylemeyi sevdiği gibi, üretken yapay zekâ sistemleri inşa edilmekten ziyade yetiştirilir; iç mekanizmaları doğrudan tasarlanmaktan ziyade "ortaya çıkandır" (emergent). Bu durum, büyüme aşamasını yönlendiren ve şekillendiren üst düzey koşulları belirlediğimiz bir bitkinin veya bakteri kolonisinin yetişmesine biraz benzer; ancak ortaya çıkan kesin yapı öngörülemez, anlaşılması veya açıklanması zordur. Bu sistemlerin içine baktığımızda gördüğümüz şey, milyarlarca sayıdan oluşan devasa matrislerdir. Bunlar bir şekilde önemli bilişsel görevleri hesaplamaktadır, ancak bunu tam olarak nasıl yaptıkları aşikâr değildir.
Üretken yapay zekâyla ilişkili risklerin ve endişelerin birçoğu nihayetinde bu opaklığın sonuçlarıdır ve modeller yorumlanabilir olsaydı bu sorunların ele alınması çok daha kolay olurdu. Örneğin, yapay zekâ araştırmacıları sıklıkla yaratıcılarının niyet etmediği zararlı eylemlerde bulunabilecek uyumsuz (misaligned) sistemlerden endişe duyarlar. Modellerin iç mekanizmalarını anlayamayışımız, bu tür davranışları anlamlı bir şekilde öngöremememiz anlamına gelir ve bu nedenle bunları dışarıda bırakmakta zorlanırız; nitekim modeller beklenmedik ortaya çıkan (emergent) davranışlar sergilemektedir (henüz büyük bir endişe seviyesine ulaşmamış olsalar da). Daha ince bir noktada, aynı opaklık bu risklerin büyük ölçekte varlığını destekleyen kesin kanıtlar bulmayı zorlaştırır; bu da onlarla mücadele etmek için destek toplamayı ve gerçekten ne kadar tehlikeli olduklarını bilmeyi zorlaştırır.
Bu uyum (alignment) risklerinin ciddiyetini ele almak için, yapay zekâ modellerinin içine bugün yapabildiğimizden çok daha net bakabilmemiz gerekecektir. Örneğin, büyük endişelerden biri yapay zekânın aldatması (deception) veya güç arayışıdır (power-seeking). Yapay zekâ eğitiminin doğası, sıradan deterministik yazılımların asla sahip olamayacağı şekilde, yapay zekâ sistemlerinin kendi başlarına insanları aldatma yeteneği ve güç arama eğilimi geliştirmesini olası kılar; bu ortaya çıkış (emergent) doğası aynı zamanda bu tür gelişmeleri tespit etmeyi ve hafifletmeyi zorlaştırır. Ancak aynı nedenden ötürü, gerçek dünya senaryolarında aldatma ve güç arayışına dair asla somut bir kanıt görmedik; çünkü modellerin güç tutkusuyla, aldatıcı düşüncelerle düşündüğünü "suçüstü yakalayamayız". Elimizde kalan tek şey, aldatmanın veya güç arayışının eğitim süreci sırasında ortaya çıkma teşvikine sahip olabileceğine dair bazı kişilerin son derece ikna edici bulduğu, bazılarının ise gülünç derecede inandırıcılık dışı bulduğu belirsiz teorik argümanlardır. Dürüst olmak gerekirse her iki tepkiye de sempati duyabiliyorum ve bu durum, bu risk hakkındaki tartışmanın neden bu kadar kutuplaştığının bir ipucu olabilir.
Benzer şekilde, yapay zekâ modellerinin kötüye kullanılmasına ilişkin endişeler —örneğin, günümüz internetinde bulunabilecek bilgilerin ötesine geçerek kötü niyetli kullanıcıların biyolojik veya siber silahlar üretmesine yardımcı olabilecekleri yönündeki endişeler— modellerin tehlikeli bilgileri bilmesini veya bildiklerini ifşa etmesini güvenilir bir şekilde engellemenin çok zor olduğu fikrine dayanmaktadır. Modellere filtreler koyabiliriz, ancak modeli "jailbreak" etmenin (hapisten kaçırmanın / filtreleri aşmanın) veya kandırmanın çok sayıda olası yolu vardır ve bir jailbreak'in varlığını keşfetmenin tek yolu bunu ampirik olarak bulmaktır. Bunun yerine modellerin içine bakmak mümkün olsaydı, tüm jailbreak'leri sistematik olarak bloke edebilir ve modellerin hangi tehlikeli bilgilere sahip olduğunu karakterize edebilirdik.
Yapay zekâ sistemlerinin opaklığı aynı zamanda davranışlarının sınırlarını tam olarak belirleyemediğimiz ve küçük hata payları çok zararlı olabileceği için yüksek finans veya güvenlik açısından kritik ayarlar gibi birçok uygulamada basitçe kullanılmadıkları anlamına gelir. Daha iyi bir yorumlanabilirlik, olası hataların aralığına sınırlar koyma yeteneğimizi büyük ölçüde artırabilir. Aslında bazı uygulamalarda, modellerin içine bakamayışımız onların benimsenmesinin önünde adeta yasal bir engeldir; örneğin kararların yasal olarak açıklanabilir olmasının zorunlu olduğu ipotek değerlendirmelerinde bu böyledir. Benzer şekilde yapay zekâ, DNA ve protein dizi verilerinin tahminini iyileştirmek dahil olmak üzere bilimin alanında büyük adımlar atmıştır, ancak bu şekilde tahmin edilen kalıplar ve yapılar genellikle insanların anlaması için zordur ve biyolojik bir içgörü aktarmaz. Son birkaç aydaki bazı araştırma makaleleri, yorumlanabilirliğin bu kalıpları anlamamıza yardımcı olabileceğini açıkça ortaya koymuştur.
Opaklığın yapay zekâ sistemlerinin duyarlı (sentient) olup olmadığını ve gelecekte önemli hakları hak edip etmediklerini yargılama yeteneğimizi engellemesi gibi daha egzotik başka sonuçları da vardır. Bu, ayrıntılı olarak ele alamayacağım kadar karmaşık bir konudur, ancak gelecekte önemli olacağından şüpheleniyorum.
Mekanik Yorumlanabilirliğe Kısa Bir Bakış
Yukarıda açıklanan tüm nedenlerden ötürü, modellerin ne düşündüğünü ve nasıl çalıştığını anlamak üstün önem taşıyan bir görev gibi görünmektedir. On yıllar boyunca hakim olan yaygın kanaat bunun imkânsız olduğu ve modellerin nüfuz edilemez "kara kutular" olduğu yönündeydi. Chris Olah, kara kutuyu açmak ve tüm parçalarını anlamak için gerçekten sistematik bir araştırma programı denemeye çalışan ilk kişilerden biriydi; bu alan daha sonra mekanik yorumlanabilirlik (mechanistic interpretability) olarak bilinir hale geldi. Chris ilk olarak Google'da, ardından OpenAI'da mekanik yorumlanabilirlik üzerinde çalıştı. Anthropic'i kurduğumuzda, bunu yeni şirketin yönünün merkezine yerleştirmeye karar verdik ve en önemlisi bunu LLM'lere odakladık. Zamanla alan büyüdü ve şimdi büyük yapay zekâ şirketlerinin bazılarında ekiplerin yanı sıra yorumlanabilirlik odaklı birkaç şirketi, kâr amacı gütmeyen kuruluşları, akademisyenleri ve bağımsız araştırmacıları içermektedir. Mekanik yorumlanabilirliği yukarıdaki temel risklerin bazılarını ele almak için uygulamak istiyorsak, alanın şimdiye kadar başardıklarının ve geriye ne kalanın kısa bir özetini yapmak faydalı olacaktır.
Mekanik yorumlanabilirliğin erken dönemi (2014-2020) vizyon (görüntü) modellerine odaklanmıştı ve modellerin içinde insan tarafından anlaşılabilir kavramları temsil eden bazı nöronları tanımlayabilmişti; örneğin "araba detektörü" veya "tekerlek detektörü" gibi. Bu durum, insan beyinlerinin belirli insanlara veya kavramlara karşılık gelen nöronlara sahip olduğunu öne süren erken sinirbilim hipotezleri ve çalışmalarıyla benzerlik gösteriyordu (genellikle "Jennifer Aniston" nöronu olarak popülerleştirilmiştir ve aslında yapay zekâ modellerinde de bunlara benzer nöronlar bulduk). Hatta bu nöronların nasıl bağlandığını bile keşfedebildik; örneğin araba detektörü, arabanın altında yanan tekerlek detektörlerini arar ve bunu baktığı nesnenin gerçekten bir araba olup olmadığını belirlemek için diğer görsel sinyallerle birleştirir.
Chris ve ben Anthropic'i başlatmak için ayrıldığımızda, yorumlanabilirliği dilin gelişmekte olan alanına uygulamaya karar verdik ve 2021'de bunu yapmak için gerekli temel matematiksel temelleri ve yazılım altyapısını geliştirdik. Dili yorumlamak için gerekli olan şeyleri yapan temel mekanizmaları modelde hemen bulduk: kopyalama ve sıralı örüntü eşleştirme (sequential pattern-matching). Ayrıca, vizyon modellerinde bulduklarımıza benzer şekilde, çeşitli kelimeleri ve kavramları temsil eden yorumlanabilir tekil nöronlar da bulduk. Bununla birlikte, bazı nöronlar hemen yorumlanabilirken, büyük çoğunluğunun birçok farklı kelime ve kavramın tutarsız bir pastişi olduğunu kısa sürede keşfettik. Bu olguya süperpozisyon adını verdik ve modellerin muhtemelen milyarlarca kavrama sahip olduğunu, ancak hiçbir anlam çıkaramayacağımız kadar birbirine karışmış bir biçimde bunları barındırdığını kısa sürede fark ettik. Model süperpozisyonu kullanır çünkü bu, nöron sayısından daha fazla kavramı ifade etmesine olanak tanır ve daha fazlasını öğrenmesini sağlar. Süperpozisyon karmaşık ve anlaşılması güç görünüyorsa, bunun nedeni her zaman olduğu gibi yapay zekâ modellerinin öğrenme ve çalışmasının insanlara okunabilir olacak şekilde en ufak bir şekilde bile optimize edilmemiş olmasıdır.
Süperpozisyonları yorumlamanın zorluğu bir süre ilerlemeyi engelledi, ancak sonunda (diğerleriyle paralel olarak) sinyal işleminden sparse autoencoders (seyrek oto kodlayıcılar) adı verilen mevcut bir tekniğin, daha temiz, insan tarafından daha anlaşılabilir kavramlara karşılık gelen nöron kombinasyonlarını bulmak için kullanılabileceğini keşfettik. Bu nöron kombinasyonlarının ifade edebileceği kavramlar, tek katmanlı sinir ağının kavramlarından çok daha incelikliydi: bunlara "kelimenin tam anlamıyla veya mecazi olarak kaçamak yapma, duraksama veya tereddüt etme" kavramı ve "hoşnutsuzluk ifade eden müzik türleri" kavramı dahildi. Bu kavramlara özellikler (features) adını verdik ve modern son teknoloji modeller dahil her boyuttaki modelde bunları haritalandırmak için seyreklik oto kodlayıcı yöntemini kullandık. Örneğin, orta büyüklükteki ticari bir modelde (Claude 3 Sonnet) 30 milyondan fazla özellik bulmayı başardık. Ek olarak, özelliklerin sadece bulunması değil, insan terimleriyle listelenmesi ve tanımlanması sürecini ölçeklendirmek için yapay zekânın kendisini yorumlanabilirlik özelliklerini analiz etmek üzere kullanan autointerpretability (otomatik yorumlanabilirlik) adı verilen bir yöntem kullandık.
30 milyon özelliği bulmak ve tanımlamak önemli bir ileri adımdır, ancak küçük bir modelde bile muhtemelen bir milyar veya daha fazla kavram olabileceğine inanıyoruz; bu nedenle muhtemelen orada olanların çok küçük bir kısmını bulduk ve bu yöndeki çalışmalar devam etmektedir. Anthropic'in en yetenekli ürünlerinde kullanılanlar gibi daha büyük modeller daha da karmaşıktır.
Bir özellik bulunduğunda, onu sadece eylem halinde gözlemlemekle kalmayıp sinir ağının işleyişindeki önemini artırabilir veya azaltabiliriz. Yorumlanabilirliğin MRI'ı, birinin beyinindeki kesin bir kısmı zapt etmek gibi müdahaleler geliştirmemize ve bunları rafine etmemize yardımcı olabilir. En unutulmaz şekilde, bu yöntemi Anthropic'in modellerinden birinin "Golden Gate Köprüsü" özelliğinin yapay olarak artırıldığı ve modelin köprüye takıntılı hale gelmesine, hatta alakasız konuşmalarda bile konuyu köprüye getirmesine neden olan "Golden Gate Claude" versiyonunu oluşturmak için kullandık.
Son zamanlarda, özelliklerin takibinden ve manipülasyonundan "devreler" (circuits) olarak adlandırdığımız özellik gruplarının takibine ve manipülasyonuna geçtik. Bu devreler modelin düşünme adımlarını gösterir: kavramların girdi kelimelerinden nasıl ortaya çıktığını, bu kavramların yeni kavramlar oluşturmak için nasıl etkileşime girdiğini ve eylemler üretmek için model içinde nasıl çalıştıklarını. Devreler ile modelin düşüncesini izleyebiliriz. Örneğin, modele "Dallas'ı içeren eyaletin başkenti nedir?" diye sorarsanız, "Dallas" özelliğinin bir "Teksas" özelliğinin ateşlenmesini tetiklemesine neden olan bir "içinde bulunur" devresi ve ardından "Teksas" ve "başkent" kelimelerinden sonra "Austin"in ateşlenmesine neden olan bir devre vardır. Manuel bir süreçle yalnızca az sayıda devre bulmuş olmamıza rağmen, modelin problemlerde nasıl akıl yürüttüğünü görmek için bunları halihazırda kullanabiliyoruz —örneğin şiir yazarken kafiyeler için nasıl önceden plan yaptığı ve kavramları diller arasında nasıl paylaştığı gibi. Model içinde karmaşık şekillerde etkileşime giren milyonlarca devre olduğunu beklediğimiz için devre bulma sürecini otomatize etmenin yolları üzerinde çalışıyoruz.
Yorumlanabilirliğin Faydası
Tüm bu ilerlemeler bilimsel olarak etkileyici olmakla birlikte, yorumlanabilirliği yukarıda sıraladığım riskleri azaltmak için nasıl kullanabileceğimiz sorusunu doğrudan yanıtlamamaktadır. Diyelim ki bir sürü kavram ve devre tanımladık; hatta diyelim ki hepsini biliyoruz ve bunları bugün yapabildiğimizden çok daha iyi anlayıp organize edebiliyoruz. Ne olmuş yani? Bütün bunları nasıl kullanacağız? Soyut teoriden pratik değere ulaşan hâlâ bir boşluk var.
Bu boşluğu kapatmaya yardımcı olmak için, modellerdeki sorunları bulmak ve teşhis etmek amacıyla yorumlanabilirlik yöntemlerimizi kullanmayı denemeye başladık. Son zamanlarda, bir "kırmızı takımın" (red team) kasıtlı olarak bir modele bir uyum sorunu (örneğin modelin bir görevdeki açığı istismar etme eğilimi) yerleştirdiği ve çeşitli "mavi takımlara" (blue teams) neyin yanlış gittiğini çözme görevini verdiği bir deney yaptık. Birden fazla mavi takım başarılı oldu; özellikle burada ilgili olan nokta, bazılarının soruşturma sırasında yorumlanabilirlik araçlarını üretken bir şekilde uygulamış olmasıdır. Bu yöntemleri hâlâ ölçeklendirmemiz gerekiyor, ancak bu egzersiz modellerimizdeki kusurları bulmak ve gidermek için yorumlanabilirlik tekniklerini kullanma konusunda biraz pratik deneyim kazanmamıza yardımcı oldu.
Uzun vadeli hedefimiz, son teknoloji ürünü bir modele bakabilmek ve esasta bir "beyin taraması" yapabilmektir: yalan söyleme veya aldatma eğilimleri, güç arayışı, jailbreak'lerdeki kusurlar, modelin bir bütün olarak bilişsel güçlü ve zayıf yönleri ve çok daha fazlası dahil olmak üzere çok çeşitli sorunları tanımlama olasılığı yüksek olan bir kontrol. Bu daha sonra modelleri eğitmek ve hizalamak için çeşitli tekniklerle birlikte kullanılacaktır; tıpkı bir doktorun bir hastalığı teşhis etmek için MRI çekmesi, ardından bunu tedavi etmek için bir ilaç reçete etmesi, ardından tedavinin nasıl ilerlediğini görmek için başka bir MRI çekmesi gibi [SUP]8[/SUP]. En yetenekli modelleri test etme ve dağıtma yöntemimizin (örneğin Sorumlu Ölçeklendirme Politikası çerçevemizdeki Yapay Zekâ Güvenlik Düzeyi 4'tekiler) kilit bir parçasının bu tür testleri gerçekleştirmek ve resmileştirmek olması muhtemeldir.
Ne Yapabiliriz?
Bir yandan, son gelişmeler —özellikle devreler ve modellerin yorumlanabilirlik tabanlı testi hakkındaki sonuçlar— yorumlanabilirliği büyük bir şekilde kırmanın eşiğinde olduğumuzu hissettirdi. Önümüzdeki görev Herkülvari olmasına rağmen, yorumlanabilirliğin çok gelişmiş yapay zekâdaki sorunları teşhis etmek için sofistike ve güvenilir bir yol olacağına dair gerçekçi bir yol görebiliyorum —gerçek bir "Yapay Zekâ için MRI". Aslında mevcut gidişatında, yorumlanabilirliğin 5-10 yıl içinde bu noktaya ulaşmasından yana güçlü bir bahis oynarım.
Öte yandan, yapay zekânın kendisinin o kadar hızlı ilerlemesinden endişe ediyorum ki bu kadar bile zamanımız olmayabilir. Başka yerlerde yazdığım gibi, 2026 veya 2027 gibi erken bir tarihte "veri merkezinde bir dâhiler ülkesine" eşdeğer yapay zekâ sistemlerine sahip olabiliriz. Bu tür sistemleri, nasıl çalıştıkları konusunda tam bir cehalet içinde, daha iyi bir yorumlanabilirlik kavramına sahip olmadan devreye alma konusunda çok endişeliyim. Bu sistemler ekonominin, teknolojinin ve ulusal güvenliğin merkezinde yer alacak ve o kadar çok özerkliğe (autonomy) sahip olacaklar ki insanlığın nasıl çalıştıklarını tamamen bilmemesini kabul edilemez buluyorum.
Böylece yorumlanabilirlik ve model zekâsı arasında bir yarış içindeyiz. Bu hep ya da hiç meselesi değildir: gördüğümüz gibi yorumlanabilirlikteki her ilerleme, modellerin içine bakma ve sorunlarını teşhis etme yeteneğimizi niceliksel olarak artırır. Ne kadar çok bu tür ilerlemelerimiz olursa, "veri merkezindeki dâhiler ülkesi" senaryosunun iyi gitme olasılığı o kadar yüksek olur. Yapay zekâ şirketlerinin, araştırmacıların, hükümetlerin ve toplumun dengeleri lehine çevirmek için yapabileceği birkaç şey vardır:
1. Doğrudan Çalışarak Yorumlanabilirliği Hızlandırmak: Şirketlerde, akademide veya kâr amacı gütmeyen kuruluşlardaki yapay zekâ araştırmacıları, doğrudan üzerinde çalışarak yorumlanabilirliği hızlandırabilirler. Yorumlanabilirlik, sürekli model sürümü selinden daha az ilgi görüyor, ancak muhtemelen daha önemlidir. Anthropic olarak 2027 yılına kadar "yorumlanabilirlik çoğu model sorununu güvenilir bir şekilde tespit edebilir" hedefine sahibiz ve yorumlanabilirlik girişimlerine yatırım yapıyoruz. Google DeepMind ve OpenAI gibi diğer şirketlerin de bu alana daha fazla kaynak ayırmasını şiddetle teşvik ediyorum. Yorumlanabilirlik; temel bilim niteliği taşıdığı ve devasa hesaplama kaynaklarına ihtiyaç duymadan incelenebildiği için akademik ve bağımsız araştırmacılar için de harika bir alandır. Sinirbilimciler özellikle bunu düşünmelidir, çünkü yapay zekâ sinir ağları üzerinde veri toplamak biyolojik olanlara göre çok daha kolaydır.
2. Hafif Dokunuşlu Şeffaflık Kuralları (Light-touch rules): Hükümetler yorumlanabilirlik araştırmalarının geliştirilmesini teşvik etmek için hafif dokunuşlu kurallar kullanabilir. "Yapay Zekâ MRI" uygulamasının yeni ve gelişmemiş olduğu göz önüne alındığında, şirketlerin bunları yapmasını zorunlu kılmak henüz erken olabilir. Ancak şirketlerin güvenlik ve güvenlik uygulamalarını (Sorumlu Ölçeklendirme Politikaları / RSP) şeffaf bir şekilde açıklaması zorunluluğu getirilmesi, bir "zirveye yarış" (race to the top) ortamı yaratacaktır.
3. İhracat Kontrolleriyle "Güvenlik Tamponu" Oluşturmak: Hükümetler, en güçlü yapay zekâya ulaşmadan önce yorumlanabilirliğin ilerlemesi için zaman kazandıracak bir güvenlik tamponu oluşturmak amacıyla çip ihracat kontrollerini kullanabilir. ABD ve demokrasiler yapay zekâda net bir liderliğe sahipse, gerçekten güçlü yapay zekâya geçmeden önce yorumlanabilirliği sağlamlaştırmak için bu liderliğin bir kısmını harcayabiliriz. Aksi takdirde, ABD ve Çin güçlü yapay zekâya aynı anda ulaşırsa jeopolitik teşvikler herhangi bir yavaşlamayı imkansız hale getirecektir.
Tüm bunlar —yorumlanabilirliği hızlandırmak, hafif dokunuşlu şeffaflık mevzuatı ve Çin'e çip ihracat kontrolleri— kendi başlarına iyi fikirler olmanın erdemine sahiptir ve birkaç anlamlı dezavantajı vardır. Hepsini zaten yapmalıyız. Ancak güçlü yapay zekâdan önce veya sonra yorumlanabilirliğin çözülüp çözülmeyeceği arasındaki farkı yaratabileceklerini fark ettiğimizde daha da önemli hale gelirler.
Güçlü yapay zekâ insanlığın kaderini şekillendirecek ve ekonomimizi, yaşamımızı ve geleceğimizi kökten dönüştürmeden önce kendi yarattıklarımızı anlamayı hak ediyoruz.
Tom McGrath, Martin Wattenberg, Chris Olah, Ben Buchanan'a ve makale taslaklarına geri bildirimde bulunan Anthropic içindeki birçok kişiye teşekkürler.
Dipnotlar
1. Bir bitki söz konusu olduğunda bu su, güneş ışığı, onları belirli bir yöne işaret eden bir kafes, bitki türünü seçmek vb. olurdu. Bunlar bitkinin kabaca nereye büyüyeceğini dikte eder, ancak tam şekli ve büyüme örüntüsü tahmin edilemez ve büyüdükten sonra bile açıklanması zordur. Yapay zekâ sistemleri söz konusu olduğunda, temel mimariyi (genellikle Transformer'ın bir varyantı), aldıkları geniş veri türünü ve bunları eğitmek için kullanılan üst düzey algoritmayı ayarlayabiliriz, ancak modelin gerçek bilişsel mekanizmaları bu bileşenlerden organik olarak ortaya çıkar ve bunlara dair anlayışımız zayıftır. Aslında, hem doğal hem de yapay dünyada ilkeler düzeyinde anladığımız (ve bazen kontrol ettiğimiz) ancak ayrıntılı olarak anlamadığımız pek çok sistem örneği vardır: ekonomiler, kar taneleri, hücresel otomatlar, insan evrimi, insan beyin gelişimi vb.
2. Bu riskleri sadece modellerle etkileşime girerek tespit etmeye çalışabilirsiniz ve bunu pratikte yapıyoruz. Ancak aldatma tam olarak bulmaya çalıştığımız davranış olduğundan, dış davranış güvenilir değildir. Bu, bir teröriste terörist olup olmadığını sorarak birinin terörist olup olmadığını belirlemeye çalışmak gibidir; tamamen işe yaramaz değil ve nasıl cevap verdiklerine ve ne söylediklerine bağlı olarak bir şeyler öğrenebilirsiniz, ancak çok açık bir şekilde güvenilmezdir.
3. Bunu muhtemelen gelecekteki bir denemede daha ayrıntılı olarak anlatacağım, ancak modellerin eğitimleri yapay bir şekilde yönlendirildiğinde belirli koşullar altında yalan söyleyebileceğini veya aldatabileceğini gösteren birçok deney var (birçoğu Anthropic tarafından yapılmıştır). Ayrıca "testte kopya çekmek" gibi görünen gerçek dünya davranışlarına dair kanıtlar da var, ancak bu tehlikeli veya zararlı olmaktan ziyade daha dejeneratiftir. Olmayan şey, daha doğal bir şekilde ortaya çıkan tehlikeli davranışların veya dünyayı ele geçirmek amacıyla yalan söyleme ve aldatma yönünde genel bir eğilimin veya genel niyetin kanıtıdır. Modellerin içine bakmanın çok yardımcı olabileceği nokta tam da bu son ifadedir.
4. En azından API üzerinden sunulan modeller durumunda. Açık ağırlıklı (open-weights) modeller, koruma duvarlarının (guardrails) basitçe soyulabilmesi gibi ek tehlikeler sunar.
5. Çok kısa bir şekilde, yorumlanabilirliğin yapay zekâ duyarlılığı ve refahı ile ilgili endişelerle kesişmesini bekleyebileceğiniz iki yol vardır. Birincisi, zihin felsefesi karmaşık ve çekişmeli bir konu olmasına rağmen, filozoflar yapay zekâ modellerinde gerçekten ne olduğuna dair ayrıntılı bir muhasebeden şüphesiz faydalanacaktır. Onların yüzeysel örüntü eşleştiriciler olduğuna inanıyorsak, ahlaki dikkate layık olmaları olası görünmemektedir. Yaptıkları hesaplamanın hayvanların, hatta insanların beyinlerine benzer olduğunu bulursak, bu ahlaki düşünce lehine bir kanıt olabilir. İkincisi ve belki de en önemlisi, yapay zekâ modellerinin ahlaki "hasta" konumunun harekete geçmeyi hak edecek kadar makul olduğu sonucuna varırsak yorumlanabilirliğin sahip olacağı roldür. Yapay zekâlar hakkında ciddi bir ahlaki muhasebe kendi beyanlarına güvenemez, çünkü iyi olmasalar bile iyi mış gibi yapmaları için onları yanlışlıkla eğitebiliriz. Yorumlanabilirlik, böyle bir durumda yapay zekâların refahını belirlemede çok önemli bir rol oynayacaktır. (Aslında bu perspektiften şimdiden biraz endişe verici bazı işaretler var.)
6. Örneğin, yapay sinir ağları içinde gerçekleşen hesaplamaları bir şekilde parçalarına ayırma ve anlama fikri, yapay sinir ağları 70 yıldan uzun süre önce icat edildiğinden beri muhtemelen belirsiz bir anlamda vardı ve bir sinir ağının neden belirli bir şekilde davrandığını anlamaya yönelik çeşitli çabalar neredeyse o kadar süredir var olmuştur. Ancak Chris, her yaptıkları şeyi anlamak için kapsamlı bir çaba önerme ve bunu ciddi şekilde sürdürme konusunda alışılmadık bir isimdi.
7. Süperpozisyonun temel fikri Arora ve ark. tarafından 2016 yılında tanımlanmıştır ve daha genel olarak sıkıştırılmış algılama (compressed sensing) hakkındaki klasik matematiksel çalışmalara dayanmaktadır. Bunun yorumlanamayan nöronları açıkladığı hipotezi, vizyon modelleri üzerine yapılan erken mekanik yorumlanabilirlik çalışmalarına kadar uzanmaktadır. Bu sırada değişen şey, bunun dil modelleri için vizyondakinden çok daha kötü, merkezi bir sorun olacağının netleşmesiydi. Süperpozisyonun peşinden gitmek için doğru hipotez olduğuna dair inanca sahip olmak için güçlü bir teorik temel sağlayabildik.
8. Bunu söylemenin bir yolu, yorumlanabilirliğin model hizalaması için test seti gibi işlev görmesi gerektiğidir; ölçeklenebilir gözetim (scalable supervision), RLHF, anayasal yapay zekâ vb. gibi geleneksel hizalama teknikleri ise eğitim seti gibi işlev görmelidir. Başka bir deyişle yorumlanabilirlik, modellerin hizalanması konusunda bağımsız bir kontrol görevi görür; modellerin hizalanmış gibi görünmelerini teşvik edebilecek eğitim sürecinden kontamine olmamıştır. Bu görüşün iki sonucu şunlardır: (a) Üretimde yorumlanabilirlik çıktıları (özellikler/kavramlar, devreler) üzerinde doğrudan eğitim almaktan veya bunları doğrudan optimize etmekten çok çekinmeliyiz, çünkü bu sinyallerinin bağımsızlığını yok eder ve (b) eğitim sürecini bilgilendirmek için teşhis test sinyalini tek bir üretim çalışmasında çok fazla "kullanmamak" önemlidir, çünkü bu yavaş yavaş bağımsız test sinyali hakkındaki bilgi bitlerini eğitim sürecine sızdırır ((a)'dan çok daha yavaş olsa da). Başka bir deyişle, resmi, yüksek riskli üretim modellerini değerlendirirken yorumlanabilirlik analizine gizli bir değerlendirme veya test setine göstereceğimiz özenin aynısını göstermemizi öneririz.
9. Garip bir şekilde, mekanik yorumlanabilirlik bazen akademide büyük bir kültürel direnişle karşılaşıyor gibi görünmektedir. Örneğin, çok popüler bir mekanik yorumlanabilirlik ICML konferans çalıştayının bahaneye benzer gerekçelerle reddedildiği yönündeki raporlardan endişe duyuyorum. Eğer doğruysa, bu davranış, yapay zekâ akademisyenlerinin ilgiyi korumanın yollarını aradığı bir zamanda tam anlamıyla miyop ve kendi kendini baltalayıcıdır.
10. Tabii ki riski azaltmaya yönelik diğer tekniklerle birlikte –yorumlanabilirliğin tek risk azaltma aracımız olduğunu ima etmek istemiyorum.
11. Yapay zekânın inanılmaz ekonomik değeri göz önüne alındığında, demokratik ülkelerdeki şirketler arasında bile riski ele almak için herhangi bir yavaşlamanın mümkün olduğundan aslında oldukça şüpheliyim. Piyasayla kafadan savaşmak, yük trenini baş parmağınızla durdurmaya çalışmak gibi hissettiriyor. Ancak otonom yapay zekânın tehlikelerine dair gerçekten ikna edici kanıtlar ortaya çıkarsa, bunun ancak çok az mümkün olabileceğini düşünüyorum. Savunucuların iddialarının aksine, bugün gerçekten ikna edici kanıtlar olduğuna inanmıyorum ve tehlikenin "sigara yakma" (smoking gun) kanıtını sağlamak için en muhtemel rotanın yorumlanabilirliğin kendisi olduğuna inanıyorum – buna yatırım yapmak için bir başka neden daha!
Dario Amodei
Nisan 2025
Orjinal (ingilizce) Link: https://darioamodei.com/post/the-urgency-of-interpretability