Plataforma de inferência de IA que usa transferência de cache KV para reduzir o tempo e o custo de execução de modelos de linguagem, com acesso gerenciado a modelos abertos.

Você é o desenvolvedor deste app? Verifique a propriedade para gerenciar esta listagem.

Tenha um app para desktop dedicado ao OneTriangle no Mac, Windows e Linux com o WebCatalog Desktop.

  • Abra o OneTriangle direto do Dock ou da barra de tarefas.
  • Trabalhe sem distrações em uma janela dedicada, separada das abas do navegador.
  • Gerencie várias contas do OneTriangle e alterne entre elas sem sair.

Saiba mais sobre o WebCatalog Desktop

OneTriangle é uma plataforma de inferência de IA projetada para reduzir o tempo e o custo de servir grandes modelos de linguagem. Ele usa transferência de cache KV entre modelos para executar tarefas de pré-preenchimento em um modelo menor enquanto usa um modelo maior para decodificação, ajudando a melhorar os tempos de resposta do primeiro token e a reduzir os custos de inferência para cargas de trabalho de contexto longo. A plataforma fornece acesso gerenciado a modelos de linguagem abertos de fornecedores como Meta, Alibaba Cloud, Mistral, Google e DeepSeek. OneTriangle lida com atendimento de modelo e infraestrutura de GPU, permitindo que as equipes integrem inferência otimizada com alterações mínimas de configuração. Seu roteamento de pares de modelos avalia a qualidade e a latência, usando o caminho de inferência padrão quando a abordagem otimizada não atende aos requisitos de desempenho.

Aviso: A WebCatalog não é afiliada, associada, autorizada, endossada por ou de qualquer forma oficialmente vinculada a OneTriangle. Todos os nomes de produtos, logotipos e marcas são propriedade de seus respectivos proprietários.