AI മോഡലുകളുടെ ഇൻഫറൻസ് മെച്ചപ്പെടുത്താനും സേവനമായി പ്രവർത്തിപ്പിക്കാനുമുള്ള ഉപകരണങ്ങൾ.
കാര്യക്ഷമമായ മോഡൽ സെർവിംഗും അനുമാനവും PyTorch Foundation പേജും vLLM അതിൻ്റെ പ്രോജക്റ്റുകളിൽ പട്ടികപ്പെടുത്തുന്നു.
- രേഖപ്പെടുത്തിയ വെബ്സൈറ്റ് ഭാഷകൾ
- English
ഔദ്യോഗിക ഉറവിടങ്ങൾ: vllm.ai
