Local Yapay Zekâ Modeli: Veriyi Şirket İçinde Tutan Kapalı Model Mimarisi

Üretim reçeteleri, müşteri sözleşmeleri, Ar-Ge dokümanları veya kişisel veriler söz konusu olduğunda şirketler haklı olarak “Bu bilgi nereye gidiyor?” diye soruyor. Local (yerel) yapay zekâ modeli, modelin ve çoğu zaman ilgili veri katmanının şirketin kontrol ettiği sunucuda veya özel bulut ortamında çalışmasıdır.

Kapalı model ifadesi iki farklı anlama gelebilir

Piyasada “kapalı model” bazen modeli geliştiren sağlayıcının ağırlıklarını paylaşmadığı ticari servisleri; bazen de internete açık olmayan, şirket ağı içinde çalışan özel sistemi anlatır. Proje başında bu iki anlam ayrıştırılmalıdır. Ticari API tabanlı model güçlü ve hızlı bir başlangıç sunabilir; şirket içi yerel model ise veri akışı ve altyapı üzerinde daha fazla kontrol sağlar.

Üç temel kurulum modeli

1. Yönetilen özel API

Model sağlayıcının altyapısında çalışır. Kurumsal sözleşme, veri saklama politikası, bölge seçimi ve erişim anahtarları güvenlik çerçevesini belirler. İlk pilot için hızlıdır ve donanım yatırımı gerektirmez.

2. On-premise yerel model

Model şirketin veri merkezinde veya tesisindeki sunucuda çalışır. İnternetsiz senaryolar, düşük gecikme ve sıkı veri egemenliği için uygundur. Buna karşılık GPU kapasitesi, yedeklilik, güncelleme ve izleme sorumluluğu kuruma aittir.

3. Hibrit mimari

Hassas işlemler yerel modelde; genel ve yüksek kapasiteli görevler kontrollü bir bulut modelinde çalışır. Bir yönlendirme katmanı, sorunun veri sınıfına ve görev türüne göre doğru modeli seçer.

Konya sanayisinde nerede değer üretir?

• Makine ve otomotiv: Teknik resim açıklamaları, bakım kılavuzları, arıza kayıtları ve yedek parça eşleştirme
• Tarım ve gıda: Kalite kayıtlarının özetlenmesi, üretim prosedürlerinde arama ve saha notlarının sınıflandırılması
• Savunma ve Ar-Ge: Yetki kontrollü doküman asistanı ve internetsiz bilgi erişimi
• Lojistik: Sevkiyat belgelerinden alan çıkarma, gecikme açıklamalarını sınıflandırma ve operasyon özeti
• Eğitim: Kurum içi materyallerle çalışan özel öğrenme asistanı ve soru üretimi

Donanım seçerken yalnızca model boyutuna bakmayın

Gerekli altyapıyı eşzamanlı kullanıcı, bağlam uzunluğu, cevap süresi, model hassasiyeti ve günlük istek sayısı belirler. Sıkıştırılmış küçük bir model tek GPU’da yeterli olabilirken uzun dokümanlarla çalışan yoğun bir sistem daha fazla bellek ve ölçeklendirme gerektirebilir. Donanım satın almadan önce gerçek isteklerle yük testi yapmak, atıl kapasite veya yetersiz performans riskini azaltır.

KVKK ve bilgi güvenliği açısından kontrol noktaları

Modelin şirket içinde çalışması tek başına uyumluluk sağlamaz. Kişisel verinin işlenme amacı, hukuki sebebi, saklama süresi ve erişim yetkileri ayrıca tasarlanmalıdır. Aşağıdaki kontroller teknik mimarinin parçası olmalıdır:

1. Veri envanteri ve sınıflandırma
2. Aktarımda ve depolamada şifreleme
3. Rol bazlı erişim ve çok faktörlü kimlik doğrulama
4. İstek ve cevaplarda hassas veri maskeleme
5. Denetim kayıtları ve anomali izleme
6. Modelin istem dışı veri sızdırmasına karşı güvenlik testleri
7. Yedekleme, felaket kurtarma ve silme prosedürleri
8. Kritik kararlarda insan onayı

Yerel modelin toplam maliyeti nasıl hesaplanır?

Karşılaştırma yalnızca “API ücreti mi, GPU fiyatı mı?” düzeyinde yapılmamalıdır. Elektrik, barındırma, yedek donanım, sistem yönetimi, model güncelleme, izleme, güvenlik ve kapasite artışı toplam sahip olma maliyetine eklenir. Bulut modelinde ise kullanım hacmi, bağlam uzunluğu, veri çıkış ücretleri ve sağlayıcı bağımlılığı hesaba katılır.

90 günlük gerçekçi yol haritası

1. İlk 15 gün: Kullanım senaryosu, veri sınıfı, başarı ölçütü ve mimari kısıtlar belirlenir.
2. 16–35. gün: İki veya üç aday model gerçek şirket verisinin anonimleştirilmiş örnekleriyle karşılaştırılır.
3. 36–60. gün: RAG, kimlik doğrulama, kayıt tutma ve hedef sistem bağlantılarıyla pilot geliştirilir.
4. 61–75. gün: Güvenlik, doğruluk, yük ve kullanıcı kabul testleri yapılır.
5. 76–90. gün: Sınırlı kullanıcı grubuyla canlı kullanım başlatılır; metriklere göre ölçek kararı verilir.

En iyi model, kısıtlarınıza uyan modeldir

Her şirketin verisi, ekibi ve risk iştahı farklıdır. Bazı süreçlerde güçlü bir ticari model; bazılarında küçük bir yerel model; çoğu kurumda ise hibrit yaklaşım en iyi dengeyi verir. KARSEM’in Konya Yapay Zekâ Danışmanlığı ve kapalı model entegrasyonu hizmetiyle kullanım senaryonuzu, donanım ihtiyacını ve güvenlik gereksinimlerini tarafsız bir teknik değerlendirmede buluşturabilirsiniz.