Yapay zeka model piyasasında son iki yılın en sık kullanılan cümlesi şu: "Daha büyük, daha iyi." Meta, 405 milyar parametreli Llama'sını duyurdu. Google, Gemini Ultra'yı lanse etti. Herkes büyük rakamlarla rekabet ederken NVIDIA sessizce farklı bir bahis koydu.
Nemotron ailesi, basitçe "en büyük model" olmaya çalışmıyor. Asıl soru şu: Aynı donanım bütçesiyle en zekice davranan model hangisi olabilir?
Nemotron Ailesi: Kimden Ne Beklenmeli?
| Model | Parametre | Kullanım Amacı | Gereksinim |
|---|---|---|---|
| Nemotron-Mini 4B | 4B | Sohbet, RAG, fonksiyon çağırma, oyun NPC | ~4 GB VRAM / ~8 GB RAM |
| Nemotron-4 15B | 15B | Genel amaçlı, kod, analiz | ~12 GB VRAM |
| Llama-3.1-Nemotron-70B | 70B | Kurumsal, karmaşık akıl yürütme, API | 2× A100 80GB |
| Nemotron-4 340B | 340B | Sentetik veri üretimi, eğitim hattı | Çoklu A100/H100 |
Nemotron-Mini 4B — Küçük Ama Nasıl Bu Kadar İyi?
NVIDIA farklı bir yol seçti: önce Nemotron-4 15B büyük modeli eğitti, ardından üç aşamalı sıkıştırma uyguladı:
- Budama (Pruning): Düşük katkılı bağlantılar kaldırıldı.
- Damıtma (Distillation): Büyük modelin "bilgisi" küçük modele aktarıldı.
- Niceleme (Quantization): Ağırlıklar daha az bellek harcayacak formata dönüştürüldü.
Sonuç: 4 milyar parametreyle 15 milyar parametre eğitiminin muhakemesini taşıyan bir model.
Llama-3.1-Nemotron-70B — Benchmark'larda #1
| Benchmark | Nemotron-70B | GPT-4o | Claude 3.5 Sonnet | Llama 3.1 405B |
|---|---|---|---|---|
| Arena Hard | 85.0 | 79.3 | 79.2 | 69.3 |
| AlpacaEval 2 LC | 57.6 | 57.5 | 52.4 | 39.3 |
| MT-Bench | 8.98 | 8.74 | 8.81 | 8.49 |
Ekim 2024 itibarıyla Llama-3.1-Nemotron-70B, üç büyük otomatik uyum benchmark'ında eş zamanlı olarak birinci sıraya oturdu; GPT-4o ve Claude 3.5 Sonnet'i geride bıraktı.
Derinlemesine Rakip Analizi
Meta — Llama 3.1 / 3.2 / 3.3
Gerçek avantaj: Fine-tuning için en geniş topluluk, en çok örnek, en fazla araç entegrasyonu.
Gizlenen dezavantaj: Llama 3.1 8B, aynı kalite için Nemotron-Mini'den iki kat fazla VRAM tüketiyor. 405B ise ciddi veri merkezi altyapısı olmadan çalıştırılamaz.
Kim için: Mevcut açık kaynak araçlarla (LangChain, vLLM) deep fine-tuning yapacak geliştiriciler.
Mistral AI — Mistral 7B / Mixtral 8x7B
Gerçek avantaj: Mixture-of-Experts (MoE) mimarisiyle Mixtral, aktif ~12B parametre kullanır; büyük modelin kalitesini orta donanımda sunma iddiasındadır.
Gizlenen dezavantaj: Mixtral için minimum 24 GB VRAM gerçekten gerekli; CPU'da pratik değil. Ayrıca ticari lisans politikaları daha kısıtlayıcı olabilir.
Kim için: AB veri egemenliği gerektiren projeler.
Microsoft — Phi-3 / Phi-4
Gerçek avantaj: Phi-3-Mini (3.8B) telefon donanımında çalışıyor; edge/IoT için idealdir.
Gizlenen dezavantaj: Uzun bağlam ve karmaşık yönergelerde Nemotron'un gerisinde; Phi-4 matematikle sınırlı alanda güçlü.
Kim için: Edge cihaz ve gömülü sistem uygulamaları.
Google — Gemma 2 (2B / 9B / 27B)
Gerçek avantaj: 2B versiyonu son derece hafif; Google altyapısından damıtılmış kalite.
Gizlenen dezavantaj: İçerik güvenliği filtreleri production'da aşırı kısıtlayıcı olabilir; Türkçe ve küçük dillerde kalite düşüyor.
Kim için: İngilizce ağırlıklı, Google Cloud altyapısında çalışacak projeler.
OpenAI GPT-4o / Anthropic Claude 3.5
Gerçek avantaj: Kurulum gerekmez, ölçeklenebilir API.
Gizlenen dezavantaj: Verileriniz yabancı sunuculara gidiyor — KVKK/GDPR için sorunlu. Token başı maliyet yoğun kullanımda aylık binlerce Euro'ya ulaşabilir. Fine-tuning sınırlı ve ücretli.
Kim için: Hızlı prototip, düşük hacimli chatbot, bütçe kritik değilse genel asistan.
Benchmark Özet Tablosu
| Model | Parametre | Arena Hard | AlpacaEval 2 | MT-Bench | Min. VRAM | Açık Kaynak |
|---|---|---|---|---|---|---|
| Nemotron-70B | 70B | 85.0 | 57.6 | 8.98 | 2×80 GB | ✅ |
| GPT-4o | — | 79.3 | 57.5 | 8.74 | — | ❌ (API) |
| Claude 3.5 Sonnet | — | 79.2 | 52.4 | 8.81 | — | ❌ (API) |
| Llama 3.1 405B | 405B | 69.3 | 39.3 | 8.49 | 4×80 GB | ✅ |
| Nemotron-Mini 4B | 4B | — | — | — | ~4 GB | ✅ |
| Phi-4 | 14B | — | — | — | ~12 GB | ✅ |
| Mistral 7B | 7B | — | — | — | ~6 GB | ✅ |
| Gemma 2 9B | 9B | — | — | — | ~8 GB | ✅ |
Donanım Gereksinimleri Karşılaştırması
| Model | Parametre | FP16 VRAM | INT4 VRAM | CPU RAM (INT4) | CPU Hızı | GPU Hızı |
|---|---|---|---|---|---|---|
| Nemotron-Mini 4B | 4B | ~8 GB | ~3–4 GB | ~8 GB | 4–8 tk/sn | 50–80 tk/sn |
| Llama 3.1 8B | 8B | ~16 GB | ~5–6 GB | ~12 GB | 2–5 tk/sn | 35–60 tk/sn |
| Mistral 7B | 7B | ~14 GB | ~5 GB | ~10 GB | 3–6 tk/sn | 40–70 tk/sn |
| Phi-3 Mini 3.8B | 3.8B | ~8 GB | ~3 GB | ~7 GB | 5–9 tk/sn | 55–90 tk/sn |
| Gemma 2 9B | 9B | ~18 GB | ~6 GB | ~14 GB | 2–4 tk/sn | 30–55 tk/sn |
| Llama 3.1 70B | 70B | ~140 GB | ~40–45 GB | — | Pratik değil | 10–25 tk/sn |
| Mixtral 8x7B | 47B | ~95 GB | ~26 GB | ~50 GB | Pratik değil | 15–30 tk/sn |
API mi, Kendi Sunucu mu? — Maliyet Karşılaştırması
Günlük 500.000 token işleyen bir müşteri destek botu senaryosu:
| Yöntem | Aylık Maliyet | Veri Gizliliği | Kontrol |
|---|---|---|---|
| OpenAI GPT-4o (API) | ~$150–300 | ❌ ABD sunucuları | ❌ |
| Anthropic Claude API | ~$125–250 | ❌ ABD sunucuları | ❌ |
| EuroVDC Cloud VPS Medium Pro (CPU) | €84,99/ay sabit | ✅ AB veri merkezi | ✅ |
| EuroVDC Cloud VPS Large Plus (CPU+büyük RAM) | €149,99/ay sabit | ✅ AB veri merkezi | ✅ |
Yüksek hacimli uygulamalarda kendi altyapınız genellikle 6–12 ay içinde kendini amorti eder.
EuroVDC'de Hangi Sunucu? — Gerçek Fiyatlarla Öneri
Senaryo 1 — Test ve Prototip (Nemotron-Mini 4B, CPU)
- Cloud VPS Medium Pro — 4 vCPU, 12 GB RAM — €84,99/ay
- Cloud VPS Medium Max — 4 vCPU, 16 GB RAM — €104,99/ay
Yanıt hızı ~5–10 sn/yanıt; kişisel asistan ve test için yeterli.
Senaryo 2 — Şirket İçi RAG Sistemi
- Cloud VPS Large Plus — 6 vCPU, 24 GB RAM — €149,99/ay
- Cloud VPS XL Pro — 8 vCPU, 32 GB RAM — €199,99/ay
Model + vektör veritabanı (Qdrant/Chroma) + API servisi aynı anda çalışabilir.
Senaryo 3 — Yoğun Kullanım API Servisi
- Cloud VPS Ultra — 16 vCPU, 64 GB RAM — €379,99/ay
- Cloud VPS Ultra Plus — 16 vCPU, 96 GB RAM — €429,99/ay
Nemotron-70B INT4 (~40–45 GB) büyük CPU sunucusunda koşabilir; vLLM ile throughput artışı sağlanır.
Senaryo 4 — GPU ile Gerçek Zamanlı Üretim
| GPU Tipi | VRAM | Uygun Model | Beklenen Hız |
|---|---|---|---|
| NVIDIA L4 | 24 GB | Nemotron-Mini / 15B | 60–100 tk/sn |
| NVIDIA A10G | 24 GB | Nemotron-Mini / 15B | 55–90 tk/sn |
| NVIDIA A100 40GB | 40 GB | Nemotron-70B (INT4) | 15–30 tk/sn |
| 2× NVIDIA A100 80GB | 80 GB her | Nemotron-70B (FP16) | 20–40 tk/sn |
Kurulum (Linux Bulut Sunucu)
# Ollama kurulumu
curl -fsSL https://ollama.com/install.sh | sh
# Nemotron-Mini'yi çalıştır
ollama run nemotron-mini
# API olarak kullan (port 11434)
curl http://localhost:11434/api/generate \
-d '{"model":"nemotron-mini","prompt":"Ürün iadesi için nasıl başvurabilirim?","stream":false}'Sıkça Sorulan Sorular
Nemotron-Mini 4B Türkçe anlıyor mu?
Evet, anlıyor. En iyi sonuç için sistem promptunu İngilizce yazıp kullanıcı girişini Türkçe kabul edebilir ya da Türkçe veriyle fine-tuning yapabilirsiniz.
RAG sistemi kurabilir miyim?
Evet, Nemotron-Mini özellikle RAG görevleri için optimize edilmiş. LangChain veya LlamaIndex ile vektör veritabanı (Qdrant, Chroma) entegrasyonu birkaç satır kod gerektiriyor.
Fonksiyon çağırma (function calling) destekleniyor mu?
Evet. Nemotron-Mini 4B, function calling için açıkça optimize edilmiş — bu özelliği çoğu küçük modelden daha güvenilir kullanıyor.
NVIDIA'nın lisansı ticari kullanıma izin veriyor mu?
Nemotron-Mini 4B, NVIDIA Community Model License kapsamında ticari kullanıma açık.
