AI Altyapısı
DeepSeek-R1 ve Açık Kaynak Reasoning Modellerini Yerelde Çalıştırma (Ollama & vLLM)
DeepSeek-R1 ve damıtılmış (distilled) açık kaynak modelleri kendi sunucunuzda vLLM veya Ollama ile sıfır API maliyetiyle nasıl çalıştıracağınızı öğrenin.
4 dk
Açık Kaynak Akıl Yürütme Devrimi
DeepSeek-R1, kapalı kaynak reasoning modellerinin performansını açık ağırlıklı (open-weights) olarak sunarak yerel geliştirme ortamlarında çığır açmıştır.
Ollama ile tek bir komutla 7B, 14B veya 32B boyutundaki damıtılmış modelleri çalıştırabilirsiniz:
terminal
# Ollama ile DeepSeek-R1 14B modelini yerelde çalıştırın
ollama run deepseek-r1:14b
# vLLM ile yüksek throughput'lu OpenAI uyumlu sunucu başlatın
python3 -m vllm.entrypoints.openai.api_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --port 8000