AI మోడల్ ఇన్ఫరెన్స్ను మెరుగుపరచడానికి, సేవగా అందించడానికి డెవలపర్ సాధనాలు.
సమర్థవంతమైన మోడల్ సర్వింగ్ మరియు ఇన్ఫరెన్స్ మరియు PyTorch ఫౌండేషన్ పేజీ దాని ప్రాజెక్ట్లలో vLLMని జాబితా చేస్తుంది.
- నమోదైన వెబ్సైట్ భాషలు
- English
అధికారిక మూలాలు: vllm.ai
సంబంధిత లింకులు
SGLang
AI మోడల్ ఇన్ఫరెన్స్ను మెరుగుపరచడానికి, సేవగా అందించడానికి డెవలపర్ సాధనాలు.
DeepSpeed™
పంపిణీ విధానంలో AI శిక్షణ, ఇన్ఫరెన్స్, పనిభార విస్తరణకు సాధనాలు.
Transformers (Hugging Face)
మెషీన్ లెర్నింగ్ ఫ్రేమ్వర్క్, డెవలపర్ పత్రాలు, మోడల్ శిక్షణ సాధనాలు.
Safetensors
మోడల్ ఫార్మాట్లు, పరస్పర అనుకూలత, మోడల్ డేటాను లోడ్ చేసే సాధనాలు.
Replit
సాఫ్ట్వేర్ ప్రాజెక్టులను సృష్టించడానికి, అమలు చేయడానికి మరియు ప్రచురించడానికి ఆన్లైన్ అభివృద్ధి వేదిక.
Ollama
భాషా నమూనాలను అమలు చేయడానికి, నిర్వహించడానికి సాధనాలు.
NVIDIA NeMo
మెషీన్ లెర్నింగ్ ఫ్రేమ్వర్క్, డెవలపర్ పత్రాలు, మోడల్ శిక్షణ సాధనాలు.
Streamlit
డేటా, ఏఐ యాప్లు రూపొందించడానికి మరియు పంచుకోవడానికి Python సాధనాలు.