Geçen kış, Groq kurucu ortağı ve CEO’su Jonathan Ross, Nvidia CEO’su Jensen Huang ile bir toplantıya girerek şirketlerin teknolojilerinin birlikte çalışmasına yönelik bir öneri sundu. Bu sinerjiyi şimdi bir lojistik benzetmesiyle anlatıyor: Her iş yükünün aynı donanımı istediğini varsayarak yapay zeka veri merkezleri kurmayı bırakın. Ross’a göre yapay zeka eğitimi toplu taşıma, çıkarım ise son teslimat. GPU’lar ikisini de yapabilir ancak sadece bir minibüse ihtiyacınız varken 18 tekerlekli bir tır kullanmak işi yavaşlatabilir. Yani Nvidia’nın genel amaçlı GPU’ları büyük kamyonlar. Groq’un özel çipleri olan modelleri hızlı çalıştırmak için tasarlanmış LPU’lar (language processing unit) daha küçük minibüsler. Ross, “Eğer tüm Amerika Birleşik Devletleri için bir lojistik ağı kuruyor olsaydınız ve size iki seçeneğinizin ya tamamen 18 tekerlekli tırlar ya da sadece dağıtım minibüsleri olduğunu söyleseydim, hangisini seçerdiniz? En iyi cevap: ikisi de” diyor.
Ross Nvidia’dan yaklaşık 100 bin adet Blackwell çipi satın almak için izin istiyordu. Bu muhtemelen milyarlarca dolar değerindeydi. Huang teknik detaylar hakkında sorular sordu ve ardından toplantı sona erdi. Huang üç gün sonra geri aradığında Ross, GPU siparişi hakkında bir görüşme bekliyordu.
Üç hafta sonra Nvidia, Groq’un ürününü lisanslamak ve çalışanlarının çoğunu işe almak için 20 milyar dolarlık anlaşma duyurdu. Silikon Vadisi terimleriyle bu, evrak işi olmadan bir birleşme gibiydi: ekibi al, teknolojiyi güvence altına al ve şirketin tüm sorunlarını devralmadan ya da rekabet karşıtı engellere takılmadan stratejik faydayı elde et. Bağımsız olan Groq şirketi bir LPU bulut sağlayıcısı. Şirket hala varlığını sürdürüyor ve büyüyor. Eski çalışanlar şirketin satılmasını bekliyordu. Ancak bu gerçekleşmedi. Anlaşma açıklandıktan üç ay sonra Nvidia planlarını netleştirdi ve yıllık geliştirici konferansında Groq’a geniş yer ayırdı. Küçük şirketin tek başına ana akım olması gerekmiyordu. Zaten ana akım olan en bilinen yapay zeka şirketinin içinde faydalı olması yeterliydi.
Anlaşmayla milyarder olacak
Herkes çoktan parasını almıştı: Ross, tahmini yüzde 9 hissesine dayanarak yaklaşık 950 milyon dolar nakit alıyor; Nvidia hissesi şeklindeki tazminatı (Nvidia’ya geçen çalışanlar için ayrıldığı tahmin edilen 3 milyar doların büyük bir kısmı) hak edişe ulaştığında yeni bir milyarder olacak. Forbes’a konuşan Ross net serveti hakkında yorum yapmayı reddetti ancak anlaşma hisse takası veya varlık satışı yerine çift vergilendirilen, çoğunlukla nakit bir lisans anlaşması olduğu için daha fazla kazanabilirdi. Diğer büyük kazananlar arasında yatırımcı Chamath Palihapitiya’nın Social Capital fonu ve Ross ile benzer hisselere sahip kurucu ortak Doug Wightman ile Groq COO’su ve başkanı Sunny Madra bulunuyor. Ross, anlaşmanın gerçekleşmesi sonucu ona kredi veriyor. Ayrıca ABD hükümeti de kazançlı: anlaşmanın yapısı nedeniyle devletin 6 milyar dolardan fazla vergi geliri elde etmesi bekleniyor. Nvidia da yaklaşık 3 milyar dolarlık vergi indirimi avantajından yararlanabilir.
Nvidia’nın pazartesi günü düzenlenen yıllık geliştirici konferansında Huang, 2026’yı yapay zeka çıkarım yılı olarak nitelendirdi yani yapay zekayı eğitmek yerine kullanma süreci. Huang etkinlikte, Groq’un son derece hızlı çıkarım yapmasıyla bilinen özel LPU çiplerini Nvidia’nın en yeni Vera Rubin nesli GPU’larıyla entegre eden yeni bir ürün duyurdu. Alt metin şu: “GPU her şeyi yapar” dönemi, eğitim başarısından çok maliyet, gecikme ve ölçeklenebilir verimle ilgilenen pazar segmentiyle çarpışıyor.
Çiplerin bu yaz teslimata başlanması planlanıyor. Nvidia kaç adet Groq çipi üretileceğini belirtmedi ancak sayı oldukça yüksek görünüyor. Ross, “Nvidia ölçeğinde diyebilirim” dedi. Ross, “çok sayıda” müşteri toplantısına katıldığını söyledi ancak henüz alıcılar açıklanmadı. Nvidia’nın yüksek performanslı hesaplama ve yapay zeka altyapısından sorumlu kıdemli direktörü Dion Harris, “Şu an herhangi bir siparişi doğrulayabileceğimi sanmıyorum. Henüz erken ama ilgi büyük” diyor.
Edge AI çıkarım çipi üreticisi femtoAI CEO’su Sam Fok yeni ürününi “GPU’ların tek başına hızla büyüyen çıkarım pazarına iyi hizmet etmediğini kabul ettiğini” belirtti. Daha ucuz ve erişilebilir çıkarım araçlarının daha yüksek talep yaratacağını düşünüyor. d-Matrix kurucu ortağı ve CEO’su Sid Sheth, “Uzun süredir savunduğumuz pazarı doğruladı. Nvidia’nın büyümesinin bir sonraki aşaması çıkarımdan gelecek” dedi. Groq rakibi Cerebras son iki ay içinde OpenAI ve Amazon ile anlaşmalar duyurdu.
“Belki de biraz erken başladık”
Groq, 2016’da süper hızlı çıkarım fikriyle kuruldu. Ross, 2024’te Forbes’a “Groq defalarca neredeyse battı. “Belki de biraz erken başladık” dedi. 2023’te Groq, 88 milyon dolar zarar karşılığında 3 milyon dolar gelir elde etti. Groq’a ilk olarak 2021’de yatırım yapan Alumni Ventures’ın baş yatırım sorumlusu Mark Edwards’ın aktardığına göre 2024 ortasında 2,8 milyar dolar değerleme üzerinden 640 milyon dolar yatırım aldığında bile gelir hala “nispeten ihmal edilebilir” durumdaydı. İki kaynak, Nvidia anlaşması sırasında Groq’un yıllık gelirinin yaklaşık 100 milyon dolara yakın olduğunu, bunun da 2025 için başlangıçta öngörülen 2 milyar doların ve daha sonra revize edilen 500 milyon doların oldukça altında kaldığını Forbes’a söyledi. En dikkat çekici anlaşması ve ana müşterisi Suudi Arabistan’ın egemen varlık fonuydu. Ross, Groq’un fena gitmediğini, bazı hedeflere ulaştığını ve başka büyük müşterilerle görüşmeler yaptığını söyledi ancak 2025 geliri hakkında yorum yapmadı. Nvidia anlaşmasından önceki aylarda Ross, Suudi bağlantılı ortaklığı öne çıkararak bunun şirket için büyük gelir yaratacağını söylemişti. Bir yıl önce 20VC podcast’inde, “1,5 milyar dolar yatırım almadık. Bu gelir. Aslında OpenAI’ın gelirinin yaklaşık yüzde 30’u” demişti.
Ancak eski bir çalışan Forbes’a bu rakamın “inşa edecekleri hizmetlerin kümülatif değerine” atıfta bulunduğunu söyledi. Bu rakam muhtemelen Groq çiplerini barındıracak veri merkezinin inşa maliyetini, çiplerin değerini ve çiplerin üreteceği hesaplama gücünün değerini içeriyordu. Groq’un Suudi Arabistan’la, özellikle devlet petrol şirketinin teknoloji iştiraki Aramco Digital ile yaptığı anlaşma, üç eski çalışana göre gelir paylaşımı modeline dayanıyordu. Groq, yapay zeka çiplerini Aramco’ya nispeten ucuza satacak. Aramco bu çipleri barındıracak veri merkezini finanse edecek ve iki taraf çiplerin ürettiği hesaplama gelirini paylaşacaktı.
Groq’un diğer dikkat çekici ortaklıklarından biri olan Avustralya’daki veri merkezi REIT’i Equinix ile anlaşmada, Groq müşteriydi; LPU’ları barındırmak için Equinix’e 300 milyon dolara kadar ödeme yapıyor ve ardından bunları kendi bulut müşterilerine satıyordu. Bir kaynak, “Bu daha çok hem para alışverişinin olduğu hem de ciddi ölçüde mal takasının yapıldığı bir yapı gibiydi” dedi.
Şirketin hedefi her zaman Nvidia ile çalışmaktı
Bu düzenlemelerin Nvidia çatısı altında nasıl devam ettiği veya Nvidia görüşmelerinin ne kadar parçası olduğu belirsiz. Ross, bunun yalnızca Groq’un bağımsız şirketinin Suudi müşterilerini desteklemeye devam etmesi açısından önemli olduğunu söyledi. Nvidia’nın tanıttığı entegrasyon, Groq’un üçüncü nesil çipini kullanıyor. Ross’a göre geciken ikinci nesil henüz yaygınlaşmamıştı ancak Nvidia ile entegrasyon süresi üçüncü nesilden başlamakla aynı olacağı için Groq yeni bir versiyona geçti. Tüm zorluklara rağmen Ross, süreç boyunca kendinden emin olduğunu ve büyük hayaller kurduğunu söyledi. Eski bir çalışan Groq’un hedefinin her zaman Nvidia ile çalışmak olduğunu söylese de Ross başlangıçta iki şirketin teknolojilerinin iyi entegre olacağından emin değildi. Geçen yıl Huang’a sunduğu fikir için “Neredeyse yapmıyorduk” dedi. Şimdi Nvidia’da başkan yardımcısı olan Madra’nın onu ikna ettiğini söyledi. Sonunda hem iş hem de kültür açısından mükemmel bir uyum gibi hissettirdiğini belirtti.
Artık bahis, anlaşma teorisinden ürün gerçekliğine kayıyor. LPX adı verilen Nvidia-Groq sisteminin performansını değerlendirmek için henüz erken; çünkü bu sistem Nvidia’nın Vera Rubin platformuna isteğe bağlı bir entegrasyon olarak konumlandırılmış durumda ve henüz büyük ölçekte kullanılmıyor. Pazartesi günkü konferansta Huang, bunun gigawatt başına yıllık 300 milyar dolar gelir potansiyeli açığa çıkarabileceğini ve GPU iş yüklerinin yaklaşık yüzde 25’inin Groq çipleriyle entegre olacağını öngördüğünü söyledi. Ross, Nvidia’ya katılmayı “şeker dükkanındaki çocuklar gibiydik” sözleriyle anlattı. “Bir anda her şeye erişimimiz oldu.”