Wafer

Wafer jest przeznaczony dla zespołów inżynierskich tworzących produkty AI, które wymagają szybkich i niezawodnych odpowiedzi modeli przy rzeczywistym ruchu. Pomaga rozwiązywać problemy z opóźnieniami i wydajnością, które mogą wpływać na działanie takich aplikacji jak agenci głosowi, asystenci programistyczni i inne funkcje AI wymagające wielokrotnego wywoływania modeli. Zespoły mogą dostarczyć model, wzorce ruchu produkcyjnego i docelowe parametry wydajności, aby utworzyć dedykowany endpoint wnioskowania. Wafer analizuje obciążenie związane z obsługą modelu i dostraja konfiguracje obejmujące model, silnik wnioskowania, jądra obliczeniowe i sprzęt, uwzględniając takie opcje jak przetwarzanie wsadowe, buforowanie i dekodowanie. Sprawdza poprawność i niezawodność potencjalnych konfiguracji, a następnie kontynuuje analizę i optymalizację, gdy zmienia się ruch lub modele. Wafer może być odpowiednim rozwiązaniem dla zespołów, które potrzebują obsługi modeli dostosowanej do konkretnego obciążenia, zamiast samodzielnie zarządzać dostrajaniem wydajności wnioskowania.

Zastrzeżenie: WebCatalog nie jest powiązany, stowarzyszony, upoważniony ani wspierany przez Wafer ani w żaden sposób oficjalnie z nim związany. Wszystkie nazwy produktów, logo i marki są własnością ich odpowiednich właścicieli.