Êtes-vous le développeur de cette app ? Vérifiez que vous en êtes propriétaire pour gérer cette fiche.
RunInfra est une plate-forme d'infrastructure d'IA permettant de créer et de déployer des points de terminaison d'inférence d'IA de production à partir d'un anglais simple. Il est conçu pour aider les développeurs et les équipes à transformer un cas d'utilisation décrit en une API en direct sans gérer YAML, la configuration manuelle du GPU ou les flux de travail DevOps.
L'application prend en charge une gamme de charges de travail d'IA, notamment de grands modèles linguistiques, la synthèse vocale, la synthèse vocale, les intégrations et les pipelines multimodèles. Il peut sélectionner des modèles, comparer les GPU, appliquer des étapes d'optimisation et déployer des points de terminaison HTTP compatibles OpenAI pour une utilisation dans les applications de production. RunInfra prend également en charge les chatbots à faible latence, les pipelines de synthèse par lots et le routage de modèles pour différents besoins en termes de performances et de coûts.
Les fonctionnalités clés incluent l'inférence GPU gérée, le déploiement automatique de modèles, l'optimisation des performances, les options de mise à l'échelle telles que les déploiements à l'échelle jusqu'à zéro ou toujours actifs, et la prise en charge des modèles open source de Hugging Face. La plate-forme est destinée aux utilisateurs qui ont besoin d'un moyen plus simple d'exécuter des modèles d'IA en tant qu'API de production avec moins de surcharge d'infrastructure.
Clause de non-responsabilité : WebCatalog n'est ni affilié, ni associé, ni autorisé, ni soutenu par, ni officiellement lié de quelque manière que ce soit à RunInfra. Tous les noms de produits, logos et marques sont la propriété de leurs détenteurs respectifs.
