LLMOps - 인기 앱 및 소프트웨어

Dify

Dify는 오픈소스 LLM 애플리케이션 개발·배포 플랫폼으로, 시각적 워크플로 빌더, RAG 파이프라인, 에이전트·도구 통합, 모델 관리·모니터링 및 API·호스팅 옵션을 제공합니다.

LangSmith

LangSmith는 LLM 애플리케이션 개발 및 최적화를 위한 종합 개발 플랫폼으로, LangChain과 통합되어 다양한 평가 기능을 제공합니다.

Wordware

Wordware는 AI 에이전트 및 응용 프로그램 생성을 위한 협업 IDE로, 사용자 친화적 인터페이스와 효율적인 도구를 제공합니다.

Langfuse

Langfuse는 AI 응용 프로그램을 개발, 모니터링, 평가 및 디버깅할 수 있는 오픈 소스 LLMOps 플랫폼입니다.

Klu.ai

KLU.AI는 AI 애플리케이션, 특히 대형 언어 모델의 개발 및 최적화를 지원하는 플랫폼입니다. 협업 및 성능 분석 기능을 제공합니다.

Humanloop

Humanloop는 LLM 애플리케이션 개발 및 평가를 위한 플랫폼으로, 인간 피드백을 통합하여 모델의 성능을 최적화합니다.

Agenta

Agenta는 LLM 기반 애플리케이션의 개발·모니터링·평가를 지원하는 오픈소스 플랫폼으로 프롬프트 버전관리, A/B 테스트, 성능·비용 추적 및 디버깅을 제공합니다.

Laminar AI

Laminar AI는 LLM 애플리케이션의 추적, 분석, 및 프롬프트 관리 도구를 제공하는 오픈 소스 플랫폼입니다.

Promptly

Promptly는 기업을 위한 저코드 생성 AI 플랫폼으로, 사용자들이 효과적으로 LLM 시스템 프롬프트를 작성하고 관리할 수 있도록 지원합니다.

LLM Gateway

LLM 게이트웨이는 단일 API로 여러 제공업체의 LLM 요청을 관리하고 분석하여 효율적인 interop과 운영을 지원하는 플랫폼입니다.

Promptmonitor

Promptmonitor 앱은 마케팅 담당자가 ChatGPT, Claude, Gemini 등에서 브랜드 가시성을 추적하고 최적화하는 도구입니다.

Arkor

Arkor는 코딩 에이전트와 함께 데이터셋과 TypeScript 학습 프로젝트를 만들고, 관리형 GPU에서 개방형 모델을 미세 조정한 뒤 OpenAI 호환 API로 배포하는 플랫폼입니다.

Inworld

Inworld는 소비자용 애플리케이션을 위한 AI 런타임 플랫폼으로, AI 운영 자동화, 실시간 음성·대화 에이전트 지원, 실험·메트릭 관리 및 유연한 배포로 확장성과 유지보수를 줄입니다.

Traceloop

Traceloop는 LLM 애플리케이션의 품질을 모니터링하고 프롬프트 및 모델 구성을 테스트하는 도구입니다.

Vellum

Vellum은 AI 기반 응용 프로그램의 개발, 배포 및 모니터링을 지원하는 엔드 투 엔드 개발 플랫폼입니다.

Galileo

Galileo는 생성형 AI 앱의 평가, 모니터링, 디버깅, 안전성 점검을 지원하는 플랫폼입니다.

Helicone

Helicone은 LLM 애플리케이션의 관측 가능성 및 모니터링을 위한 오픈 소스 프레임워크로, 성능 추적과 최적화를 지원합니다.

Maxim AI

Maxim AI는 AI 팀이 애플리케이션을 품질, 신뢰성, 속도로 개발하고 평가할 수 있도록 지원하는 플랫폼입니다.

Confident AI

자신감 AI는 대형 언어 모델(LLM) 응용 프로그램을 평가하고 모니터링하며 개선하기 위한 플랫폼입니다.

Mastra

Mastra는 TypeScript 기반 오픈소스 프레임워크로, 워크플로·자율 에이전트·RAG·평가 도구를 제공해 생산 환경용 AI 애플리케이션을 개발·배포·모니터링합니다.

Lamini

Lamini는 기업이 독점 데이터를 활용하여 자체 대형 언어 모델을 개발하고 관리할 수 있는 플랫폼입니다. 맞춤형 모델과 통합 기능을 제공합니다.

GradientJ

GradientJ는 대형 언어 모델을 개발하고 배포하며, 실시간 성능 모니터링과 인공지능 애플리케이션 최적화를 지원하는 플랫폼입니다.

AI Monitor

AI Monitor는 브랜드가 ChatGPT, Google AI Overview 등 AI 기반 플랫폼의 생성 결과를 모니터링하고 노출을 관리합니다.

TrueFoundry

TrueFoundry는 AI 및 기계 학습 애플리케이션을 구축하고 배포할 수 있도록 지원하는 클라우드 기반 플랫폼입니다. 간편한 통합 및 자동화 기능을 제공합니다.

Test AI Models

실제 프롬프트를 여러 AI 모델에 동시 입력해 설정 없이 품질·속도·비용을 실시간 비교해주는 도구입니다. API 키 불필요, 프롬프트 붙여넣으면 30초 내 결과 제공.

Deepchecks

DeepChecks는 대형 언어 모델의 평가 및 검증을 자동화하여 성능 모니터링과 데이터 검증, 편향 탐지를 지원하는 플랫폼입니다.

Orq.ai

Orq.ai는 사용자가 AI 애플리케이션을 개발, 배포 및 최적화할 수 있도록 돕는 생성 AI 협업 플랫폼입니다.

FinetuneDB

FinetuneDB는 대형 언어 모델을 위해 데이터 세트를 생성하고 관리하는 AI 미세 조정 플랫폼입니다.

Weavel

Weavel은 LLM 애플리케이션용 성능 분석 및 테스트 플랫폼으로, 데이터셋 구축, 배치 테스트 실행, 성능 분석, 생산 사용 모니터링을 지원합니다.

Patronus AI

Patronus AI는 대형 언어 모델의 오류를 자동으로 평가하고 모니터링하여 기업이 생성 AI를 안전하게 활용하도록 지원하는 플랫폼입니다.

SiliconFlow

개발자를 위한 클라우드 AI 인프라로, 언어 및 멀티모달 모델의 추론·파인튜닝·배포를 OpenAI 호환 API로 지원하고 데이터 비저장 방식으로 운영합니다.

Braintrust

Braintrust는 AI 앱 개발을 위한 플랫폼으로, 모델 평가, 실험 비교 및 데이터 관리 기능을 제공합니다.

CoreCtic AI

CoreCtic AI는 여러 LLM API를 하나의 인터페이스로 연결하고, 사용량·비용·성능을 모니터링하며 캐싱, 고객 관리, 청구 분석을 지원하는 플랫폼입니다.

Not Diamond

Not Diamond는 프롬프트를 모델별로 자동 변환하고 입력에 따라 최적의 LLM을 예측해 요청을 라우팅하는 플랫폼입니다.

LLMTest

LLMTest는 OpenAI·Anthropic 호출을 프록시하고 비용을 추적하며, 340개 이상 모델을 벤치마크하고 실제 트래픽으로 프롬프트를 최적화하는 앱입니다.

Entry Point AI

Entry Point AI는 대형 언어 모델 관리, 학습, 평가를 위한 플랫폼으로, 학습 데이터를 최적화하고 협업 기능을 제공합니다.

Augento

Augento는 사용자 피드백을 통해 에이전트를 개선하는 서비스 플랫폼으로, 강화 학습을 이용해 성능 향상을 지원합니다.

Ultra AI

Ultra AI는 여러 AI 제공업체에 대한 통합 API를 제공하여 효율적이고 비용 효과적인 AI 애플리케이션 개발을 지원하는 AI 명령 센터입니다.

AgentOps

AgentOps는 AI 에이전트의 테스트와 디버깅을 위한 도구로, 성능 모니터링과 기록 기능을 제공합니다.

Fiddler

Fiddler는 AI/ML 모델과 LLM, 에이전트를 모니터링·설명·관리하고, 성능·드리프트·안전성을 분석하는 관찰 가능성 및 보안 플랫폼입니다.

MosaicML

MosaicML은 기계 학습 모델을 개발, 배포 및 관리할 수 있는 플랫폼으로, 사용자 정의 도메인 모델을 지원합니다.

Gentrace

Gentrace는 AI 애플리케이션을 테스트하고 모니터링하는 개발자 플랫폼으로, 효율성과 신뢰성을 향상시킵니다.

AnyApiAI

400개 이상 AI 모델을 단일 API로 연결·전환·관리하고, RAG·에이전트·라우팅·모니터링 기능을 제공하는 AI API 플랫폼입니다.

Bellaire AI

Bellaire AI는 지능형 에이전트를 개발하고 자동화 작업을 지원하는 포괄적 AI 플랫폼입니다. 다양한 LLM과 통합 기능을 제공합니다.

Parea

Parea AI는 개발자가 생산 준비가 된 LLM 제품을 빠르게 구축할 수 있도록 지원하며, 전체 LLM 워크플로우를 관리합니다.

Relyable

Relyable은 AI 음성 에이전트를 빠르게 배포하고 에이전트 간 시뮬레이션 대화와 라이브 통화 평가를 수행하며 Vapi·Retell AI와 네이티브로 통합됩니다.

Toolhouse

Toolhouse는 AI 에이전트를 생성하고 관리하는 클라우드 인프라 플랫폼으로, 사용자 정의 API로 배포하고 자동화 작업을 지원합니다.

LaminarFlow

LaminarFlow는 콘텐츠 생성 및 출판 프로세스를 자동화하는 플랫폼으로, 사용자가 효율적으로 관리하고 발행할 수 있도록 지원합니다.

Pioneer

오픈소스 언어 모델을 대화형으로 미세 조정하고 배포하며, 실시간 추론 데이터를 바탕으로 데이터 생성·평가·재학습을 자동화하는 AI 플랫폼입니다.

Lang.ai EU

Lang.ai는 고객 지원 팀이 AI 모델을 구축하여 지원 프로세스를 자동화하는 무코드 서비스 플랫폼입니다. Zendesk와 Salesforce와 통합됩니다.

Athina AI

Athina는 개발자가 LLM 애플리케이션을 모니터링하고 평가하는 도구로, RAG 파이프라인을 시각화하고 40개 이상의 평가 지표를 제공합니다.

Mosaic

모자이크는 비디오 편집을 위한 AI 에이전트로, 사용자가 자연어로 편집 내용을 설명하면 즉시 편집을 수행합니다.

PromptPilot

대규모 언어모델용 프롬프트 생성·조정·배포·개선까지 지원하는 전주기 최적화 플랫폼입니다.

Parlance

Parlance는 대화형 AI를 사용하여 고객이 전화로 쉽게 연결할 수 있도록 돕는 서비스입니다. 의료 및 교육 분야에서 25년 이상의 경험을 바탕으로 합니다.

OrcaRouter

OrcaRouter는 여러 AI 모델 제공자를 하나의 OpenAI 호환 API로 연결해 요청을 라우팅하고, 모델 선택·대체·비용 추적을 지원하는 게이트웨이입니다.

Tracer

Tracer는 여러 오픈소스 AI 모델을 하나의 시스템으로 조정하고, 작업별로 적합한 모델을 선택·연결해 추론과 AI 워크플로를 관리하는 플랫폼입니다.

Nirixa AI

Nirixa AI는 OpenAI, Anthropic, Gemini, Groq 등의 LLM 호출을 추적해 토큰 비용, 드리프트, 환각 위험, 지연을 모니터링하는 관찰 플랫폼입니다.

ModelRiver

여러 LLM 제공자를 하나의 AI API 게이트웨이로 통합하여 스트리밍 응답, 사용자 설정, 내장 패키지, 라우팅, 속도 제한, 장애 전환 및 분석 기능을 제공한다.

Draft'n run

Draft'n run은 오픈소스 AI 에이전트 플랫폼으로, 프롬프트 기반 로우코드로 AI 에이전트를 설계·배포·모니터링합니다.

Flutch

Flutch는 AI 에이전트의 배포·테스트·관찰을 제공하는 플랫폼입니다. 실행 추적, 품질·비용 측정, 수용 테스트·A/B·버전 관리, 프레임워크 무관 배포 및 채팅/서비스 인터페이스 지원.