AI ਮਾਡਲ ਦੇ ਅਨੁਮਾਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਅਤੇ ਸੇਵਾ ਵਜੋਂ ਚਲਾਉਣ ਦੇ ਸਾਧਨ।
ਕੁਸ਼ਲ ਮਾਡਲ ਸਰਵਿੰਗ ਅਤੇ ਅਨੁਮਾਨ ਅਤੇ ਪਾਈਟੋਰਚ ਫਾਊਂਡੇਸ਼ਨ ਪੇਜ vLLM ਨੂੰ ਇਸਦੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਸੂਚੀਬੱਧ ਕਰਦਾ ਹੈ।
- ਵੈੱਬਸਾਈਟ ਦੀਆਂ ਦਰਜ ਭਾਸ਼ਾਵਾਂ
- English
ਅਧਿਕਾਰਤ ਸਰੋਤ: vllm.ai
ਸੰਬੰਧਿਤ ਲਿੰਕ
SGLang
AI ਮਾਡਲ ਦੇ ਅਨੁਮਾਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਅਤੇ ਸੇਵਾ ਵਜੋਂ ਚਲਾਉਣ ਦੇ ਸਾਧਨ।
DeepSpeed™
ਵੰਡੇ ਹੋਏ AI ਸਿਖਲਾਈ ਕਾਰਜਾਂ, ਅਨੁਮਾਨ ਅਤੇ ਕੰਮ ਦਾ ਪੈਮਾਨਾ ਵਧਾਉਣ ਦੇ ਸਾਧਨ।
Transformers (Hugging Face)
ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਫਰੇਮਵਰਕ, ਡਿਵੈਲਪਰ ਦਸਤਾਵੇਜ਼ ਅਤੇ ਮਾਡਲ ਸਿਖਲਾਈ ਦੇ ਸਾਧਨ।
Safetensors
ਮਾਡਲ ਫਾਰਮੈਟ, ਆਪਸੀ ਅਨੁਕੂਲਤਾ ਅਤੇ ਮਾਡਲ ਡਾਟਾ ਲੋਡ ਕਰਨ ਦੇ ਸਾਧਨ।
Replit
ਸਾਫਟਵੇਅਰ ਪ੍ਰੋਜੈਕਟ ਬਣਾਉਣ, ਚਲਾਉਣ ਅਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਲਈ ਆਨਲਾਈਨ ਵਿਕਾਸ ਪਲੇਟਫਾਰਮ।
Ollama
ਭਾਸ਼ਾ ਮਾਡਲ ਚਲਾਉਣ ਅਤੇ ਪ੍ਰਬੰਧਨ ਕਰਨ ਲਈ ਸਾਧਨ।
NVIDIA NeMo
ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਫਰੇਮਵਰਕ, ਡਿਵੈਲਪਰ ਦਸਤਾਵੇਜ਼ ਅਤੇ ਮਾਡਲ ਸਿਖਲਾਈ ਦੇ ਸਾਧਨ।
Streamlit
ਡਾਟਾ ਅਤੇ ਏਆਈ ਐਪ ਬਣਾਉਣ ਅਤੇ ਸਾਂਝੇ ਕਰਨ ਲਈ Python ਸਾਧਨ।