OpenRelay

OpenRelay là nền tảng cơ sở hạ tầng AI để suy luận mô hình được lưu trữ và tính toán GPU theo yêu cầu. Nó cho phép các nhà phát triển và nhóm chạy khối lượng công việc AI thông qua API hợp nhất, tương thích với OpenAI, với quyền truy cập vào các mô hình từ các nhà cung cấp như DeepSeek, Llama, Qwen, Mistral, Gemma và GPT-OSS. Các yêu cầu có thể được định tuyến tự động dựa trên độ trễ, chi phí, tính khả dụng và hiệu suất của mô hình.

Nền tảng này hỗ trợ suy luận không có máy chủ, máy ảo GPU chuyên dụng và tác vụ hàng loạt cho cả khối lượng công việc tương tác và khối lượng lớn. Người dùng có thể chọn tài nguyên GPU, triển khai môi trường tùy chỉnh, kết nối thông qua SSH và sử dụng ổ đĩa ổn định cho dữ liệu còn tồn tại sau khi khởi động lại. OpenRelay cũng cung cấp khả năng chuyển đổi dự phòng và cân bằng tải tự động trên cơ sở hạ tầng có sẵn, cùng với tích hợp dòng lệnh và MCP để quản lý việc triển khai, sử dụng và tính toán tài nguyên từ các công cụ phát triển hoặc quy trình làm việc tự động.

Tuyên bố miễn trừ trách nhiệm: WebCatalog không liên kết, hợp tác, được ủy quyền, chứng thực bởi hoặc có bất kỳ mối liên hệ chính thức nào với OpenRelay. Tất cả tên sản phẩm, logo và thương hiệu là tài sản của các chủ sở hữu tương ứng.