Wafer

Wafer is bedoeld voor engineeringteams die AI-producten bouwen en bij realistisch verkeer snelle, betrouwbare modelreacties nodig hebben. Het helpt bij het aanpakken van knelpunten op het gebied van latentie en prestaties die van invloed kunnen zijn op toepassingen zoals spraakagenten, programmeerassistenten en andere AI-functies waarbij herhaaldelijk modellen worden aangeroepen. Teams kunnen een model, hun verkeerspatronen in productie en prestatiedoelen aanleveren om een speciaal inference-eindpoint op te zetten. Wafer brengt de serving-workload in kaart en stemt configuraties af voor het model, de inference-engine, kernels en hardware, met onder meer keuzes voor batching, caching en decoding. Het controleert kandidaatconfiguraties op correctheid en betrouwbaarheid en blijft de workload in kaart brengen en optimaliseren wanneer het verkeer of de modellen veranderen. Wafer kan geschikt zijn voor teams die model serving willen afstemmen op hun specifieke workload, in plaats van zelf de prestaties van inference te moeten optimaliseren.

Disclaimer: WebCatalog is niet gelieerd aan, verbonden met, geautoriseerd door, onderschreven door of op enige wijze officieel verbonden met Wafer. Alle productnamen, logo's en merken zijn eigendom van hun respectieve eigenaren.