AI मॉडल के अनुमान को अनुकूलित करने और सेवा के रूप में चलाने के डेवलपर उपकरण।
कुशल मॉडल सेवा और अनुमान और PyTorch फाउंडेशन पृष्ठ अपनी परियोजनाओं में vLLM को सूचीबद्ध करता है।
- वेबसाइट की दर्ज भाषाएँ
- English
आधिकारिक स्रोत: vllm.ai
संबंधित लिंक
SGLang
AI मॉडल के अनुमान को अनुकूलित करने और सेवा के रूप में चलाने के डेवलपर उपकरण।
DeepSpeed™
वितरित AI प्रशिक्षण, अनुमान और कार्यभार बढ़ाने के उपकरण।
Transformers (Hugging Face)
मशीन लर्निंग फ्रेमवर्क, डेवलपर दस्तावेज़ और मॉडल प्रशिक्षण उपकरण।
Safetensors
मॉडल प्रारूप, पारस्परिक संगतता और मॉडल डेटा लोड करने के उपकरण।
Replit
सॉफ्टवेयर प्रोजेक्ट बनाने, चलाने और प्रकाशित करने का ऑनलाइन विकास मंच।
Ollama
भाषा मॉडल चलाने और प्रबंधित करने के उपकरण।
NVIDIA NeMo
मशीन लर्निंग फ्रेमवर्क, डेवलपर दस्तावेज़ और मॉडल प्रशिक्षण उपकरण।
Streamlit
डेटा और एआई ऐप बनाने और साझा करने के लिए Python उपकरण।