Το OpenRelay είναι μια πλατφόρμα υποδομής τεχνητής νοημοσύνης για εξαγωγή συμπερασμάτων φιλοξενούμενων μοντέλων και υπολογισμούς GPU κατ' απαίτηση. Επιτρέπει σε προγραμματιστές και ομάδες να εκτελούν φόρτους εργασίας AI μέσω ενός ενοποιημένου, συμβατού με OpenAI API, με πρόσβαση σε μοντέλα από παρόχους όπως DeepSeek, Llama, Qwen, Mistral, Gemma και GPT-OSS. Τα αιτήματα μπορούν να δρομολογηθούν αυτόματα με βάση την καθυστέρηση, το κόστος, τη διαθεσιμότητα και την απόδοση του μοντέλου.

Η πλατφόρμα υποστηρίζει εξαγωγή συμπερασμάτων χωρίς διακομιστή, αποκλειστικές εικονικές μηχανές GPU και εργασίες δέσμης τόσο για διαδραστικούς όσο και για μεγάλου όγκου φόρτους εργασίας. Οι χρήστες μπορούν να επιλέξουν πόρους GPU, να αναπτύξουν προσαρμοσμένα περιβάλλοντα, να συνδεθούν μέσω SSH και να χρησιμοποιήσουν μόνιμους τόμους για δεδομένα που επιβιώνουν από την επανεκκίνηση. Το OpenRelay παρέχει επίσης αυτόματη ανακατεύθυνση και εξισορρόπηση φορτίου σε όλη τη διαθέσιμη υποδομή, μαζί με ενσωματώσεις γραμμής εντολών και MCP για τη διαχείριση αναπτύξεων, χρήσης και υπολογιστικών πόρων από εργαλεία ανάπτυξης ή αυτοματοποιημένες ροές εργασίας.

Αποποίηση ευθύνης: Το WebCatalog δεν συνδέεται, σχετίζεται, εξουσιοδοτείται, εγκρίνεται από ούτε συνδέεται επίσημα με οποιονδήποτε τρόπο με το OpenRelay. Όλα τα ονόματα προϊόντων, τα λογότυπα και οι επωνυμίες αποτελούν ιδιοκτησία των αντίστοιχων κατόχων τους.