LLMOps: app dan perangkat lunak terbaik

Flutch

Flutch memantau, menguji, dan menerapkan agen AI: melacak jejak keputusan, mengukur kualitas & biaya, mencegah regresi, dan menyebarkan chat UI/agen lintas platform.

PromptWaveAI

PromptWaveAI adalah aplikasi untuk menyimpan, mengorganisir, dan berbagi petunjuk, serta membuat dan mengoptimalkan petunjuk untuk aplikasi berbasis AI.

AcruxCore

AcruxCore membantu tim mengelola versi prompt, melacak dan mengevaluasi panggilan LLM, serta memperbarui prompt produksi tanpa menerapkan ulang aplikasi.

Spanlens

Spanlens memantau permintaan, biaya, latensi, kesalahan, dan alur agen LLM dari OpenAI, Anthropic, dan Gemini; bersifat sumber terbuka dan dapat di-host sendiri.

Vigil

Vigil memantau dan merutekan panggilan API AI, serta menampilkan biaya, penggunaan token, latensi, dan kesalahan dari berbagai penyedia.

Tensorant

Tensorant membantu menyiapkan dataset, melakukan fine-tuning dan evaluasi model berbobot terbuka, serta menerapkannya melalui API di akun GPU cloud Anda.

Promptic

Promptic membantu tim membandingkan model, menyempurnakan prompt dan agen, serta mengevaluasi kualitas, biaya, dan latensi aplikasi AI generatif.

ReasonBlocks

ReasonBlocks menganalisis jejak kerja agen AI untuk mendeteksi pemborosan, mengoptimalkan penggunaan model dan konteks, serta menggunakan kembali pola penalaran yang relevan.

Mentlio

Mentlio menganalisis penggunaan, biaya, dan produktivitas AI tim teknik, serta membantu mengoptimalkan token, perutean model, konteks, dan kompresi log melalui dasbor terpusat.

Belvedir

Belvedir menghubungkan jejak agen AI melalui SDK untuk melatih, mengevaluasi, menerapkan, dan meningkatkan model AI khusus secara privat.

Experiential Labs

Platform gateway AI untuk mengakses, merutekan, dan mengelola berbagai model melalui satu API, dengan kontrol akses, pemantauan penggunaan, serta pelacakan biaya.

qRaptor

qRaptor adalah platform untuk membuat, mengintegrasikan, menerapkan, dan memantau aplikasi serta agen AI melalui pengembangan visual, alur kerja, dan tata kelola terpusat.

Bursora

Aplikasi untuk memantau dan membatasi biaya penggunaan AI per pelanggan, agen, dan alur kerja, serta memblokir permintaan sebelum melebihi anggaran.

Syrin AI

Aplikasi pemantauan dan kontrol agen AI untuk melihat aktivitas, mendeteksi penyimpangan, debug, dan mengubah konfigurasi secara cepat.

Polarity

Polarity memantau keputusan agen AI di produksi, mendeteksi pola kegagalan, dan mengubah jejak eksekusi menjadi evaluasi untuk meningkatkan keandalan.

Plurai

Plurai membantu mengevaluasi, menguji, dan melindungi agen AI dengan data latihan, validasi, serta pagar pembatas waktu nyata untuk meningkatkan keandalan.

Tracium.ai

Lapisan observabilitas untuk sistem AI yang melacak biaya, request, kegagalan, perbandingan prompt/model, dan drift secara real-time.

Respan

Respan adalah platform observasi LLM untuk pengembangan dan pemantauan aplikasi AI; merekam jejak eksekusi, memantau kinerja, mengevaluasi kegagalan, dan mengoptimalkan prompt serta alur kerja.

Hicap

Hicap menyediakan infrastruktur AI perusahaan untuk menjalankan model OpenAI, Gemini, Anthropic dengan biaya inferensi hingga 25% lebih rendah, pemantauan, dan kapasitas GPU terjadwal.

GTWY.AI

GTWY.AI menyediakan API terpadu untuk mengakses berbagai model dan penyedia AI, menyederhanakan integrasi, perutean, pemantauan, pengelolaan kuota, dan mekanisme fallback.

ZeroEval

Platform yang menganalisis kegagalan agen, menjelaskan penyebabnya, memungkinkan pencarian jejak, eksperimen dengan data produksi, dan pengujian sebelum rilis.

EvalsOne

EvalsOne adalah platform evaluasi untuk mengukur dan membandingkan kinerja model bahasa besar (LLM), menjalankan uji A/B, dan mengoptimalkan prompt secara iteratif berdasarkan metrik.

Langwatch

Langwatch adalah platform untuk mengelola dan mengoptimalkan model bahasa besar, menawarkan alat pemantauan, analisis, dan integrasi dengan penyedia LLM.

Weave

Weave menggunakan machine learning untuk mengukur rekayasa perangkat lunak, memindai setiap PR untuk memperlihatkan durasi dan kualitas ulasan serta jenis pekerjaan.