Wafer

Wafer è pensato per i team di ingegneria che sviluppano prodotti basati sull’IA e hanno bisogno di risposte rapide e affidabili dai modelli anche con carichi di traffico reali. Aiuta a superare i colli di bottiglia in termini di latenza e prestazioni che possono interessare applicazioni come gli agenti vocali, gli assistenti alla programmazione e altre funzionalità di IA che effettuano chiamate ripetute ai modelli. I team possono fornire un modello, i pattern del traffico di produzione e gli obiettivi di prestazione per creare un endpoint di inferenza dedicato. Wafer analizza il carico di lavoro di serving e ottimizza le configurazioni del modello, del motore di inferenza, dei kernel e dell’hardware, valutando anche opzioni come il batching, la memorizzazione nella cache e il decoding. Verifica la correttezza e l’affidabilità delle configurazioni candidate, quindi continua ad analizzare e ottimizzare il sistema quando cambiano il traffico o i modelli. Wafer può essere adatto ai team che desiderano un serving dei modelli specifico per il proprio carico di lavoro, senza dover gestire autonomamente l’ottimizzazione delle prestazioni di inferenza.

Esclusione di responsabilità: WebCatalog non è affiliata, associata, autorizzata, approvata né in alcun modo ufficialmente collegata a Wafer. Tutti i nomi dei prodotti, i loghi e i marchi sono di proprietà dei rispettivi titolari.