Czy jesteś deweloperem tej aplikacji? Zweryfikuj własność, aby zarządzać tym listingiem.
OpenRelay to platforma infrastruktury AI do wnioskowania o hostowanych modelach i obliczeń na żądanie za pomocą procesora graficznego. Umożliwia programistom i zespołom uruchamianie obciążeń AI za pośrednictwem ujednoliconego interfejsu API zgodnego z OpenAI, z dostępem do modeli od dostawców takich jak DeepSeek, Llama, Qwen, Mistral, Gemma i GPT-OSS. Żądania mogą być automatycznie kierowane na podstawie opóźnień, kosztów, dostępności i wydajności modelu.
Platforma obsługuje wnioskowanie bezserwerowe, dedykowane maszyny wirtualne GPU i zadania wsadowe zarówno w przypadku obciążeń interaktywnych, jak i dużych. Użytkownicy mogą wybierać zasoby procesora graficznego, wdrażać niestandardowe środowiska, łączyć się przez SSH i używać stałych woluminów do przechowywania danych, które przetrwają ponowne uruchomienie. OpenRelay zapewnia także automatyczne przełączanie awaryjne i równoważenie obciążenia w dostępnej infrastrukturze, a także integrację z wierszem poleceń i MCP w celu zarządzania wdrożeniami, wykorzystaniem i zasobami obliczeniowymi z poziomu narzędzi programistycznych lub zautomatyzowanych przepływów pracy.
Zastrzeżenie: WebCatalog nie jest powiązany, stowarzyszony, upoważniony ani wspierany przez OpenRelay ani w żaden sposób oficjalnie z nim związany. Wszystkie nazwy produktów, logo i marki są własnością ich odpowiednich właścicieli.