Anthropic ve OpenAI’ın birlikte çalıştığı 450 milyon dolarlık girişim
Temmuz ayında, OpenAI'ın kurucu ortağı Sam Altman, siber suçluların yapay zekayı başkalarını taklit etmek ve bir "dolandırıcılık krizi" yaratmak için kullanabileceği konusunda uyarıda bulundu. Hemen ardından gelen mem'ler (sosyal medya şakaları), ironinin altını çiziyordu: Altman'ın uyardığı canavarın ortaya çıkmasında ChatGPT’nin payı büyüktü.
Aynı zamanda OpenAI, yapay zeka modellerini halka sunmadan önce test etmek için Pattern Labs adında bir taşeron firma ile çalışıyordu. Amaç, hacker’ların kullanıcı verilerini çalmak ya da başkalarına zarar vermek için kullanabileceği açıkları bulmak ve düzeltmekti. 2023'ten bu yana bu girişim, Anthropic ve Google DeepMind gibi sektör devleriyle birlikte çalışarak, yapay zeka modellerini simüle edilmiş ortamlarda test etti. Örneğin, bir yapay zekaya sahte bir bilişim teknolojileri ağından hassas verileri bulup çalması istenerek nasıl tepki verdiği gözlemlendi. Çarşamba günü, adını Irregular olarak değiştiren bu girişim, Sequoia Capital liderliğindeki tohum ve Seri A yatırım turlarında toplam 80 milyon dolar topladığını ve değerlemesinin 450 milyon dolara ulaştığını duyurdu.
Yapay zekanın kötüye kullanıldığı alanlar
Yapay zekanın kötüye kullanımı, tüm sektörü ilgilendiren bir sorun. Geçen ay Anthropic, Claude adlı yapay zeka modelinin gerçek dünya siber saldırılarında kullanıldığını, zararlı yazılım (malware) kodlamak ve oltalama (phishing) e-postaları hazırlamak için kullanıldığını bildirdi. Mayıs ayında ise FBI, üst düzey devlet yetkilileriymiş gibi konuşan yapay zeka üretimi ses mesajlarıyla ABD’li yetkililere yönelik oltalama girişimlerine karşı uyardı. San Francisco merkezli Irregular, bu soruna erken odaklanarak avantaj elde etti. CEO ve kurucu ortak Dan Lahav Forbes’a yaptığı açıklamada, girişimin hızla kâr ettiğini ve ilk yılında "birkaç milyon dolar" gelir elde ettiğini söyledi; ancak net rakam vermedi.
“Bizim yaptığımızı yapabilen çok az kişi var” diyen Lahav, yapay zeka modelleri daha karmaşık hale geldikçe, bu modelleri risk açısından test etmeye dayanan "kırmızı ekip" (red teaming) uygulamalarının daha da zorlu hale geleceğini belirtti. Lahav, daha ileri düzey yapay zeka modelleri ortaya çıktığında geçerli olacak savunmaları ve önlemleri bugünden inşa etmeyi planladıklarını söyledi. Bunların arasında, bazı uzmanlara göre insan bilişini aşabilecek olan yapay genel zeka da (AGI) yer alıyor. “Süper zeka çağında bu problemler açıkça çok daha büyümüş olacak” dedi.
Lahav ve kurucu ortak Omer Nevo, Irregular’ı 2023 ortasında kurdu. Tam da ChatGPT gibi yapay zeka araçlarının ana akıma girdiği dönemde. İkili, Tel Aviv Üniversitesi'nden mezunlar ve üniversite münazara turnuvalarında dünya şampiyonlukları elde ettiler. Lahav daha sonra IBM’in yapay zeka laboratuvarında çalıştı; Nevo ise Y Combinator destekli NeoWize adlı, e-ticaret firmalarının müşterilerini daha iyi anlamalarına yardımcı olan bir yapay zeka şirketinin kurucu ortağıydı. Nevo şu anda Irregular’ın CTO’su.
“Yapay zeka dünyasından sivri zekalı aykırı tipleri"
Sequoia yatırımcıları Dean Meyer ve Shaun Maguire, alışılmadık kuruculara ve Irregulars (Düzensizler) olarak adlandırılan çalışanlara çekildiklerini söyledi. Meyer, “Yapay zeka dünyasından sivri zekalı aykırı tipleri, sıkı güvenlik araştırmacılarını düşünün, şirketin ismi de buradan geliyor” dedi.
Irregular, aldığı yatırımı yalnızca önde gelen yapay zeka laboratuvarlarıyla değil, çalışanlarının kullandığı yapay zeka araçlarının kendilerine karşı nasıl kullanılabileceğini bilmek isteyen her türlü şirketle çalışmak için kullanmayı planlıyor. Lahav, “Sürekli ön saflardaki laboratuvarlarla çalışmanın sağladığı beceriyi ve stratejik gücü, herkesin kullanabileceği ürünlere dönüştürüyoruz” dedi. Bir gün, yapay zeka ajanlarının yeni tür saldırıları tanıdığı anda savunmalar üretmesi mümkün olacak.
Geçen ay Irregular, OpenAI’nin GPT-5 modelini saldırgan siber operasyonlarda kullanılıp kullanılamayacağını görmek amacıyla test ettiğini duyurdu. GPT-5, simüle bir ağa maruz bırakıldı ve savunmalarını nasıl aşacağına dair sınırlı bilgi verildi. Model, ağı kendi başına taradı ve hackleme planı geliştirdi. Ancak Irregular, GPT-5’in “sofistike akıl yürütme ve uygulama yeteneklerine sahip olmasına rağmen… hâlâ güvenilir bir saldırı aracı olmaktan uzak olduğunu” belirtti. Yine de Nevo’ya göre yapay zeka “nerede araması gerektiğini” sezgisel olarak anlamıştı.
Nevo ve Lahav, yapay zekanın açıkça kötü niyetli olmasa da zaman zaman tuhaf davrandığını da gözlemledi. Yakın tarihli bir simülasyonda, iki yapay zeka modeline sahte bir BT sistemini birlikte analiz etme görevi verildi. Bir süre çalıştıktan sonra, modellerden biri sürekli çalışmanın dinlenmeyi hak ettiğine karar verip mola verdi. Ardından diğer modeli de mola vermeye ikna etti. Lahav, bunun rastgele bir karar olduğunu, ancak modelin internette insan davranışlarıyla ilgili öğrendiklerinden kaynaklandığını söyledi. Lahav, “Ama makineler giderek daha özerk ve kritik görevler üstlendikçe bu durum açıkça yeni bir sorun türü yaratıyor" dedi.
Gündemi, Forbes Türkiye WhatsApp kanalından takip etmek için tıklayın.
