GPU Sunucu Üzerinde Kendi Yapay Zeka (AI) Botunuzu Çalıştırın

• 2026 yılı itibarıyla yapay zeka (AI) teknolojileri, kurumların ve geliştiricilerin vazgeçilmez bir parçası haline geldi. ChatGPT, Claude veya Gemini gibi popüler dil modelleri (LLM) son derece yetenekli olsalar da, kurumsal firmalar için devasa bir risk barındırıyorlar: Veri Gizliliği.
  
  Müşteri verilerinizi, finansal raporlarınızı veya şirketinize ait özel yazılım kodlarını üçüncü parti bulut servislerine yüklemek istemiyorsanız, çözüm kendi yerel yapay zekanızı (Self-Hosted AI) kurmaktır. Üstelik açık kaynak kodlu modellerin inanılmaz gelişimi sayesinde, artık kendi özel botunuzu kurmak saatler değil, sadece dakikalar alıyor.
  
  Bu kapsamlı teknik rehberde; yüksek işlem gücüne sahip bir GPU sunucu kiralayarak, Ollama altyapısı ile donanımınız üzerinde nasıl %100 gizli, sansürsüz ve hızlı bir yapay zeka botu çalıştıracağınızı adım adım anlatacağız.

Neden Kendi Yapay Zeka Modelinizi Barındırmalısınız?

• Bulut servislerine aylık abonelik ücretleri ödemek yerine kendi altyapınızı kurmanın işletmenize katacağı stratejik avantajlar şunlardır:

1. Tam Veri Güvenliği: Sunucunuza sorduğunuz sorular ve işlediğiniz tüm veriler fiziksel olarak kendi diskinizde kalır. Hiçbir dış sunucuya gönderilmez.
2. Sansürsüz Özelleştirme: Ticari API'lerin getirdiği kullanım kısıtlamalarına veya sansürlere takılmazsınız. Açık kaynaklı modelleri şirketinizin iç tüzüğüne veya müşteri destek diline göre özel olarak eğitebilirsiniz (Fine-tuning).
3. Maliyet Avantajı: Yüksek sorgu sayısına (API isteğine) sahip projelerde, kendi donanımınızı kullanmak uzun vadede bulut API maliyetlerini ciddi oranda düşürür.

Yapay Zeka İçin Donanım İhtiyaçları ve GPU'nun Önemi

Yapay zeka modellerini eğitmek ve çalıştırmak devasa bir paralel işlem gücü gerektirir. Standart CPU (İşlemci) çekirdekleri bu hesaplamalarda çok yavaş kalırken, NVIDIA ekran kartları (GPU) içerdikleri binlerce CUDA çekirdeği sayesinde saniyede milyonlarca işlemi aynı anda yapabilir.

• VRAM (Video RAM): Seçtiğiniz modelin boyutuna göre GPU belleği çok kritiktir. 8B (8 Milyar parametre) boyutundaki bir Llama 3 modelini akıcı çalıştırmak için en az 8 GB - 12 GB arası VRAM'e sahip bir GPU sunucusuna ihtiyacınız vardır.
• Eğer hali hazırda yüksek donanımlı kendi fiziksel sunucunuz ve ekran kartlarınız varsa, yüksek hızlı internet altyapımız ve güvenli veri merkezi ortamımız için sunucu barındırma (Co-Location) hizmetimizi tercih ederek altyapınızı Febzen güvencesine emanet edebilirsiniz.

Disk Performansının Yapay Zekaya (AI) Etkisi

• Model dosyaları genellikle 5 GB ile 40 GB arasında devasa dosyalardır. Yapay zeka bota bir soru sorduğunuzda, bu dev dosyanın diskten okunup GPU belleğine (VRAM) aktarılması gerekir. Bu noktada klasik HDD veya yavaş SSD'ler sistemde büyük bir darboğaz (bottleneck) yaratır.
• AI projelerinizde kesinlikle yeni nesil NVMe SSD'ler kullanmalısınız. Sunucunuzun disk performansından emin değilseniz, işletim sisteminiz üzerinden disk okuma/yazma hızlarını test etmek için hazırladığımız özel rehberimizi inceleyebilirsiniz.

Adım Adım GPU Üzerinde Ollama Kurulumu

Kurulumu Linux (Ubuntu 22.04 LTS veya 24.04 LTS) işletim sistemi üzerinden gerçekleştireceğiz. Geliştiricilerin işini inanılmaz kolaylaştıran "Ollama" aracı sayesinde hiçbir karmaşık Python kütüphanesiyle uğraşmayacağız.

1. Adım: NVIDIA Sürücüleri ve CUDA Toolkit Yükleme

• Öncelikle sunucumuzun içindeki ekran kartını işletim sistemine tanıtmamız gerekiyor. Sunucunuza SSH ile bağlanın ve sistemi güncelleyip sürücüleri kurmak için aşağıdaki komutu girin:

sudo apt update && sudo apt upgrade -y
sudo apt install nvidia-driver-535 nvidia-cuda-toolkit -y

• Kurulum tamamlandıktan sonra değişikliklerin uygulanması için sunucunuzu yeniden başlatın (reboot). Daha fazla teknik konfigürasyon için NVIDIA Geliştirici dökümanlarını inceleyebilirsiniz. Yeniden başlatma sonrası terminale nvidia-smi yazarak ekran kartınızın aktif olduğunu doğrulayın.

2. Adım: Ollama Yazılımının Kurulumu

• Ollama, yapay zeka modellerini tıpkı Docker container'ları kurar gibi saniyeler içinde indirip çalıştırmanızı sağlayan devrimsel bir araçtır. Detaylı bilgi için Ollama resmi web sitesine göz atabilirsiniz.
• Yazılımı sunucuya kurmak için SSH terminalinize şu tek satırlık komutu kopyalayıp yapıştırın:

curl -fsSL https://ollama.com/install.sh | sh

• Kurulum betiği otomatik olarak NVIDIA GPU'nuzu tanıyacak ve hesaplamaları CPU yerine GPU üzerine yönlendirecek şekilde kendini optimize edecektir.

3. Adım: Dil Modelini (LLM) İndirme ve Test Etme

• Ollama'yı kurduk. Şimdi sıra konuşacağımız beyni (modeli) indirmeye geldi. Meta'nın açık kaynak olarak sunduğu ve şu an dünyanın en başarılı modellerinden biri olan Llama 3 modelini kuracağız.
• Terminale şu komutu yazın ve Enter'a basın:

ollama run llama3

• Model dosyası (yaklaşık 4.7 GB) NVMe diskinize hızlıca indirilecek ve otomatik olarak GPU VRAM'ine yüklenecektir. İndirme bittiğinde terminal ekranında >>> şeklinde bir sohbet imleci belirecektir.
• Tebrikler! Artık yapay zekanız hazır. Terminal üzerinden "Bana Python ile 1'den 100'e kadar asal sayıları bulan bir kod yaz" diyerek hızını ve zekasını hemen test edebilirsiniz.

Yapay Zekayı Gelişmiş Web Arayüzü ile Kullanma (Open WebUI)

• Siyah bir terminal ekranında kod yazarak sohbet etmek zorunda değilsiniz. Tıpkı ChatGPT'nin tasarımına benzeyen ve tamamen ücretsiz olan Open WebUI yazılımını Docker üzerinden kurarak, yapay zekanıza tarayıcınızdan görsel bir arayüzle erişebilirsiniz.
• Sisteminizde Docker kuruluysa şu komutu terminale yapıştırmanız yeterlidir:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• Kurulum tamamlandıktan sonra web tarayıcınızı açıp http://sunucu-ipadresiniz:3000 adresine girdiğinizde modern bir AI paneli ile karşılaşacaksınız. Üstelik bu panele PDF veya Word belgeleri yükleyerek, botunuzun kendi şirket belgelerinizi analiz etmesini (RAG) sağlayabilirsiniz.

Özet ve Performans İpuçları

• Veri gizliliğinin tartışılmaz bir zorunluluk olduğu günümüzde, açık kaynaklı dil modellerini yerel sunucularda barındırmak hem güvenlik hem de maliyet açısından en akılcı çözümdür. Ollama gibi araçlar sayesinde kurulum süreçleri artık teknik bir engel olmaktan çıkmıştır.
• Yapay zeka projelerinizde takılmalar, yavaş cevap süreleri (düşük token/saniye) yaşamamak için sistemin kalbini GPU ve NVMe diskler oluşturur. Kendi yapay zeka uygulamanızı, chatbot'unuzu veya otomasyon sistemlerinizi yüksek performansla hayata geçirmek için yeni nesil ekran kartlarıyla donatılmış ekran kartlı sunucu paketlerimizi inceleyebilir, saniyeler içinde kendi özel AI merkezinizi kurabilirsiniz.