LLMOps: aplikasi dan perisian terbaik

Dify

Dify ialah platform sumber terbuka untuk membangunkan, mengurus dan menyepadukan aplikasi berasaskan model bahasa besar (LLM), menyediakan alatan aliran kerja, RAG, ejen dan API.

LangSmith

LangSmith ialah platform untuk membangunkan, mengesan, memantau dan menilai aplikasi LLM; ia membantu debugging panggilan LLM, mengukur latensi dan penggunaan token serta sokong ujian.

Wordware

Wordware ialah IDE kolaboratif untuk mereka bentuk, menguji dan mengurus arahan (prompt), agen dan aplikasi AI; menyokong sambungan API, kawalan versi dan pertukaran model.

Langfuse

Langfuse ialah platform sumber terbuka untuk LLMOps yang membolehkan pasukan membangun, memantau, menilai dan menyahpepijat aplikasi AI; sokongan self-host, SDK, integrasi dan papan pemuka metrik.

Humanloop

Platform perusahaan untuk membangun, melatih, menilai dan memantau aplikasi LLM; menyokong anotasi NLP, pembelajaran aktif dan maklum balas manusia.

Klu.ai

Klu.ai ialah platform untuk mereka bentuk, menyebarkan dan mengoptimumkan aplikasi AI generatif; menyokong pelbagai LLM, analisis prestasi, penilaian automatik, RAG dan keselamatan data.

Agenta

Agenta ialah platform sumber terbuka untuk membangunkan, memantau dan menilai aplikasi LLM; menyokong eksperimen prompt, pemversionan, A/B, jejak, kos dan integrasi maklum balas.

LLM Gateway

LLM Gateway menyatukan akses ke pelbagai model bahasa melalui satu API, merute, mengurus dan menganalisis permintaan, dengan kawalan akses, log audit serta pemantauan penggunaan dan kos.

Laminar AI

Laminar AI ialah platform sumber terbuka untuk pemerhatian dan analitik aplikasi LLM; ia mengesan panggilan model, menilai output, bina dataset dan urus saluran rantaian untuk penalaan.

Promptly

Segera ialah platform low-code untuk perusahaan membina, menguji dan mengoptimumkan prompt LLM dengan kawalan versi, log terperinci, kolaborasi dan penilaian prestasi.

Arkor

Arkor membantu pembangun melatih dan menggunakan model AI tersuai tanpa menyediakan GPU atau menulis kod latihan Python, lalu menyediakan API serasi OpenAI untuk aplikasi.

Promptmonitor

Memantau dan mengoptimumkan keterlihatan jenama di ChatGPT, Claude, Gemini, Grok, DeepSeek dan LLM lain untuk meningkatkan trafik, petunjuk dan jualan.

Inworld

Inworld ialah platform AI untuk membina, menjalankan dan menskalakan aplikasi pengguna; mengautomasikan operasi model, menyokong eksperimen A/B, TTS masa nyata dan penempatan fleksibel.

Traceloop

Traceloop memantau kualiti aplikasi LLM di produksi, memberi amaran, wawasan, jejak permintaan dan alat ujian serta rollout untuk debug dan pengoptimuman.

Vellum

Vellum ialah platform pembangunan untuk aplikasi LLM: menyediakan alat untuk kejuruteraan prompt, carian semantik, kawalan versi, ujian kuantitatif dan pemantauan prestasi.

Helicone

Helicone ialah platform pemerhatian untuk pemaju LLM yang mengumpul, menjejak dan menganalisis panggilan model (teks/imej), membantu debug, pemantauan prestasi dan pengurusan versi.

Galileo

Platform untuk menilai, memantau dan melindungi aplikasi AI generatif, dengan metrik, log jejak, ujian model dan pemantauan masa nyata.

Maxim AI

Maxim AI ialah platform penilaian dan pemerhatian untuk membantu pasukan membangunkan, menguji, memantau dan mengurus dataset bagi model AI secara berpusat.

Confident AI

Confident AI ialah platform untuk menilai, menguji, membandingkan, memantau dan red-team aplikasi model bahasa besar (LLM), dibina atas kerangka DeepEval.

Mastra

Mastra ialah rangka kerja sumber terbuka TypeScript untuk membina, menguji dan menyebar aplikasi AI produksi; menyediakan agen autonomi, aliran kerja tahan lama, RAG dan alat pemantauan.

Lamini

Lamini membolehkan organisasi membina, melatih dan mengurus model bahasa besar menggunakan data proprietari dalam infrastruktur sendiri (premis/awan), dengan fokus ketepatan, keselamatan dan integrasi JSON.

GradientJ

GradientJ membantu pasukan produk membina, membanding, memantau dan memperbaiki model bahasa besar (LLM) untuk penggunaan berskala.

AI Monitor

Memantau dan mengurus kehadiran jenama dalam hasil yang dijana oleh platform AI (contoh: ChatGPT, Google AI).

TrueFoundry

TrueFoundry ialah PaaS cloud-native untuk pasukan ML membina, menyebar dan mengurus aplikasi ML/LLM pada infrastruktur sendiri dengan kawalan tadbir urus, skala dan kawalan kos.

Test AI Models

Uji prompt anda serentak pada pelbagai model AI tanpa persediaan. Papar perbandingan masa nyata: kualiti, kelajuan dan kos. Tiada kunci API — tampal prompt dan dapat jawapan dalam 30 saat.

Deepchecks

DeepChecks ialah platform untuk menilai, mengesahkan dan memantau model bahasa besar dan pembelajaran mesin; menjalankan ujian automatik, mengesan bias dan drift serta menghasilkan laporan terperinci.

Orq.ai

Orq.ai ialah platform kerjasama AI yang membolehkan pasukan membangun, menguji, menyebar dan memantau aplikasi LLM dengan kawalan keluaran dan pematuhan keselamatan.

FinetuneDB

FinetuneDB ialah platform untuk menala LLM: buat dan urus dataset, log dan nilaikan output, bangunkan prompt secara kolaboratif dan urus kerja kumpulan.

Weavel

Weavel ialah platform analitik prestasi dan ujian untuk aplikasi LLM. Bina dataset, jalankan ujian berkumpulan, nilaikan prestasi automatik atau manual, dan pantau penggunaan produksi.

Patronus AI

Platform penilaian automatik yang mengesan ralat model bahasa besar, menguji dan memantau aliran kerja LLM untuk membantu perusahaan menggunakan AI generatif dengan selamat.

SiliconFlow

SiliconFlow ialah platform infrastruktur AI untuk pemaju yang mempercepat inferens, fine-tuning dan penerapan model bahasa dan multimodal melalui API fleksibel dan kawalan penempatan.

Braintrust

Braintrust membolehkan pasukan membina, menilai dan menyempurnakan aplikasi/model AI; menyediakan pemantauan, pengurusan dataset, integrasi API selamat dan alat kolaborasi.

CoreCtic AI

Proksi dan platform analitik AI yang menghubungkan pelbagai penyedia model, mengurangkan panggilan berulang melalui caching, serta memantau penggunaan, kos, prestasi dan pelanggan.

Not Diamond

Not Diamond ialah platform AI multi-model yang menyesuaikan prompt untuk pelbagai model dan meramalkan serta mengarahkan LLM paling sesuai bagi setiap input, serta mengurus kebolehpercayaan dan integrasi.

LLMTest

LLMTest menghalakan panggilan OpenAI/Anthropic, menjejak kos, menanda aras 340+ model, dan mengoptimumkan gesaan berdasarkan trafik sebenar.

Entry Point AI

Entry Point AI ialah platform untuk mengurus, melatih dan menilai model bahasa besar (LLM) melalui fine-tuning; menyokong integrasi, kolaborasi, templat, import/eksport dan penerapan satu klik.

Augento

Augento ialah platform perkhidmatan penyempurnaan model seperti DeepSeek R1. Pengguna tunjukkan ralat agen melalui UI; Augento gunakan maklum balas dan pembelajaran pengukuhan untuk memperbaiki model.

Ultra AI

Ultra AI ialah pusat kawalan AI untuk menghubungkan pelbagai penyedia AI, dengan caching, pengurusan prompt, had pengguna, fallback model dan log/analitik. Serasi dengan OpenAI API.

AgentOps

AgentOps ialah alat untuk menguji, debug dan memantau ejen AI; merakam interaksi, cap waktu, dan peristiwa; integrasi dengan platform seperti OpenAI; memerlukan kunci API untuk digunakan.

Fiddler

Fiddler ialah platform untuk memantau, menerangkan dan mengawal model AI, aplikasi LLM dan AI agenik merentas pembangunan serta pengeluaran.

MosaicML

MosaicML ialah platform untuk membina, melatih, menempatkan dan mengurus model pembelajaran mesin khusus domain, dengan pengurusan data dan ciri keselamatan.

Gentrace

Gentrace menguji dan memantau aplikasi AI, menilai kualiti, kelajuan dan kos menggunakan input manusia, AI dan heuristik untuk penambahbaikan berterusan.

AnyApiAI

Platform API untuk mengakses, menguji, dan mengurus 400+ model AI dari pelbagai pembekal melalui satu API serasi OpenAI.

Bellaire AI

Bellaire AI ialah platform untuk membina, melatih dan mengurus ejen AI, chatbot dan model bahasa—menyokong banyak LLM, integrasi, aliran kerja, pemantauan dan tadbir urus.

Parea

Parea AI membantu pembangun membina dan menguji produk LLM dengan mengurus prompt, rantai, versi, kes ujian dan penilaian prestasi dalam aliran kerja LLM.

Toolhouse

Toolhouse ialah platform backend-as-a-service untuk membina, menyebar dan mengurus ejen AI berasaskan LLM; menukar ejen kepada titik akhir API, menyokong RAG, pelaksanaan kod, CLI/SDK dan log pemantauan.

LaminarFlow

LaminarFlow mengautomasikan penciptaan, pengurusan dan penerbitan kandungan, mempermudah aliran kerja dengan tugas berulang, gabungan sumber data dan penerbitan automatik.

Pioneer

Pioneer ialah platform untuk memperhalusi, menilai, dan menempatkan model bahasa sumber terbuka secara automatik, serta menambah baiknya menggunakan data inferens langsung.

Lang.ai EU

Lang.ai EU ialah platform tanpa kod untuk automasi sokongan pelanggan yang membolehkan pasukan membina dan mengawal model AI, terintegrasi dengan Zendesk dan Salesforce, automasi tugas manual.

Athina AI

Athina membantu pembangun memantau dan menilai aplikasi LLM dalam pengeluaran. Menyediakan keterlihatan penuh pada saluran RAG dan 40+ metrik siap untuk mengesan halusinasi dan mengukur prestasi.

Mosaic

Mosaic ialah ejen AI untuk suntingan video. Ia mempercepatkan proses suntingan dari jam kepada saat; pengguna terangkan suntan dengan bahasa semula jadi dan ia dilaksanakan serta‑merta.

PromptPilot

Platform untuk membangun dan mengoptimumkan prompt bagi aplikasi model besar, dari penjanaan prompt hingga penalaan berasaskan data dan API.

Relyable

Relyable membolehkan anda cepat menghantar ejen suara AI berprestasi tinggi, menjalankan perbualan simulasi antara ejen, menilai panggilan langsung, dan integrasi asli dengan Vapi & Retell AI.

Parlance

Parlance menggunakan AI suara untuk membolehkan pelanggan bercakap semula jadi dan berhubung cepat semasa panggilan telefon; menyediakan sokongan pengurusan dan perkhidmatan kepada organisasi.

OrcaRouter

OrcaRouter ialah API AI serasi OpenAI yang menghala permintaan ke 200+ model daripada pelbagai pembekal melalui satu titik akhir.

Tracer

Tracer ialah platform AI yang menggabungkan dan menghala model terbuka untuk menyesuaikan pemprosesan tugas, mengoptimumkan inferens serta menilai prestasi sistem.

Ramp Router

Ramp Router menyediakan satu titik akhir API untuk mengakses dan menghalakan permintaan kepada pelbagai model AI berdasarkan kos, kualiti, prestasi dan ketersediaan.

Nirixa AI

Nirixa AI memantau panggilan LLM merentas penyedia, menjejak kos token, hanyut prompt, risiko halusinasi dan latensi dalam satu papan pemuka.

ModelRiver

Gerbang API AI tunggal untuk pelbagai penyedia LLM, menyokong aliran data, konfigurasi tersuai, pakej terbina, penghalaan, had kadar, failover dan analitik.

Draft'n run

Draft'n Run ialah platform ejen AI sumber terbuka untuk membina, menyebar dan memantau ciri berasaskan AI seperti chatbot, automasi aliran kerja dan integrasi DevOps.