Spanlens

Spanlens เป็นแพลตฟอร์มโอเพนซอร์สสำหรับสังเกตการณ์และตรวจสอบ LLM เพื่อใช้ติดตามการใช้งานโมเดล AI ในระบบใช้งานจริง ทีมต่าง ๆ สามารถตรวจสอบการใช้โทเค็น ค่าใช้จ่าย เวลาแฝง ข้อผิดพลาด และการตอบกลับแบบสตรีมผ่านผู้ให้บริการที่รองรับได้ โดยส่งคำขอไปยังโมเดลผ่านพร็อกซีหรือ SDK ที่นำมาใช้แทนของเดิม โดยยังคงเรียกใช้ SDK ที่มีอยู่ได้เช่นเดิม แพลตฟอร์มนี้แสดงรายละเอียด trace ของการทำงานของเอเจนต์ AI รวมถึงการเรียกใช้โมเดลแบบซ้อนกัน เครื่องมือ และขั้นตอนการดึงข้อมูล พร้อมทั้งแจ้งเตือนเมื่อค่าใช้จ่ายพุ่งสูง เกิดข้อผิดพลาด หรือเวลาแฝงเปลี่ยนแปลง ทีมต่าง ๆ สามารถจัดการเวอร์ชันของพรอมป์ต์ เปรียบเทียบประสิทธิภาพของโมเดลและพรอมป์ต์ด้วยการประเมินผลและการทดลอง รวมถึงเรียกใช้การตรวจสอบผลประเมินใน CI ได้ นอกจากนี้ Spanlens ยังรองรับการแคชแบบจับคู่ตรงกันทุกประการ, OpenTelemetry, การส่งออกข้อมูล และการโฮสต์แพลตฟอร์มด้วยตนเอง

ข้อสงวนสิทธิ์: WebCatalog ไม่มีความเกี่ยวข้อง เชื่อมโยง ได้รับอนุญาต รับรองโดย หรือมีความเชื่อมโยงอย่างเป็นทางการกับ Spanlens ไม่ว่าในลักษณะใด ชื่อผลิตภัณฑ์ โลโก้ และแบรนด์ทั้งหมดเป็นทรัพย์สินของเจ้าของที่เกี่ยวข้อง