OpenRelay, barındırılan model çıkarımı ve isteğe bağlı GPU bilgi işlem için bir yapay zeka altyapı platformudur. Geliştiricilerin ve ekiplerin AI iş yüklerini, DeepSeek, Llama, Qwen, Mistral, Gemma ve GPT-OSS gibi sağlayıcıların modellerine erişim sağlayan birleşik, OpenAI uyumlu bir API aracılığıyla çalıştırmasına olanak tanır. İstekler gecikme, maliyet, kullanılabilirlik ve model performansına göre otomatik olarak yönlendirilebilir.

Platform, hem etkileşimli hem de yüksek hacimli iş yükleri için sunucusuz çıkarımı, özel GPU sanal makinelerini ve toplu işleri destekler. Kullanıcılar GPU kaynaklarını seçebilir, özel ortamlar dağıtabilir, SSH aracılığıyla bağlanabilir ve yeniden başlatmalardan sonra hayatta kalan veriler için kalıcı birimleri kullanabilir. OpenRelay ayrıca, geliştirme araçlarından veya otomatik iş akışlarından dağıtımları, kullanımı ve bilgi işlem kaynaklarını yönetmek için komut satırı ve MCP entegrasyonlarının yanı sıra mevcut altyapı genelinde otomatik yük devretme ve yük dengeleme sağlar.

Yasal Uyarı: WebCatalog, OpenRelay ile bağlantılı, ilişkili, yetkilendirilmiş, desteklenmiş veya herhangi bir şekilde resmî olarak bağlantılı değildir. Tüm ürün adları, logolar ve markalar ilgili sahiplerinin mülkiyetindedir.