可観測性とトレーシング
エージェントの動作を手順の構造化されたタイムラインとして追跡し、何が起きたのか、どの順序で起きたのか、なぜ起きたのかをチームが把握できるようにします。
LangSmithは、AIエージェントの可観測性、評価、デプロイを支援するLangChainのエンジニアリングプラットフォームです。エージェントの動作を追跡し、評価を実行して、本番環境へ展開できます。
LangChainは、AIエージェントの可観測性、評価、デプロイを支援するLangSmithを提供するとともに、エージェント構築のためのオープンソースフレームワークを提供しています。このプラットフォームは、エージェントの実験を再現可能にし、テストやレビューのワークフローで品質を向上させ、より高い制御性を備えた本番システムを提供したい開発者やチームを対象としています。
この製品はエージェント開発のライフサイクル全体をカバーします。動作を把握するためのトレーシングと分析、エージェントを人間および自動のフィードバックで評価するための評価ツール、長時間稼働する協調型エージェント向けのデプロイインフラストラクチャ、そして日常的なタスクを定期実行エージェントに変換するFleetを備えています。LangSmithは特定のフレームワークに依存せず、Python、TypeScript、Go、JavaのSDKをサポートしています。
エージェントの動作を手順の構造化されたタイムラインとして追跡し、何が起きたのか、どの順序で起きたのか、なぜ起きたのかをチームが把握できるようにします。
オフラインおよびオンライン評価を実行し、プロンプトやモデルのバージョンを比較するとともに、人間のフィードバックを使って自動スコアリングを調整します。
メモリ、会話スレッド、永続的なチェックポイント、Human-in-the-loopのインタラクションを備えたエージェントをデプロイします。
LangSmith Engine上にエージェントを構築し、本番環境の障害をクラスタリングして、トレースとコードから根本原因を特定し、レビュー用の修正案を提示します。
Fleetで日常的なタスク向けの定期実行エージェントを作成します。テンプレート、ツール接続、APIトリガー、共有フィードバックループを利用できます。
Python、TypeScript、Go、JavaのSDKを使用し、フレームワークに依存しないトレーシングを通じてエージェントスタックに接続できます。
トレース、スレッド履歴、分析を調べ、長大または分岐するエージェントフローのどの箇所で問題が発生したのかを特定します。
厳選したデータセットと本番トラフィックをオンラインおよびオフライン評価にかけ、バージョンを比較し、リリース前にリグレッションを検出します。
メモリ、会話状態、チェックポイント、Human-in-the-loopの手順を必要とする長時間稼働エージェントを、デプロイインフラストラクチャを使って本番環境に展開します。
調査、フォローアップ、ステータス確認などの定期的な作業を、日常的な言葉やAPI呼び出しでトリガーできるエージェントに変換します。
アノテーションキューと共有スコアリング基準を使って専門家のフィードバックを収集し、評価者ベースの評価を調整します。
いいえ。LangSmithは特定のフレームワークに依存せず、SDKまたはAPIを通じてLangGraph、カスタムPython、その他のフレームワークと利用できます。
LangSmithは、アノテーションキューによる人間の評価、ヒューリスティックチェック、LLM-as-a-judge評価、ペアワイズ比較、PythonまたはTypeScriptによるカスタム評価に対応しています。
はい。LangSmithはpytest、Vitest、GitHubワークフローと統合でき、すべてのPRまたは夜間ビルドで評価を実行できます。
料金ページには、Developerプラン、Plusプラン、Enterpriseプランが掲載されています。Developerは個人ユーザー向けのセルフサービス、Plusはチーム向け、Enterpriseは高度なホスティング、セキュリティ、サポート、デプロイのニーズに対応します。
いいえ。LangSmithは顧客データをトレーニングに使用せず、トレース、プロンプト、出力は組織内で非公開のまま保持されます。
トラフィックデータは参考情報としてご利用ください。
livekit.io
LiveKitは、PythonまたはTypeScriptで音声・ビデオ・物理AIエージェントを構築、デプロイ、監視できるオープンソース開発者向けプラットフォームです。LiveKit Cloudにも対応します。
arize.com
AIエージェントとAIアプリの追跡・評価・改善を支援するAIエンジニアリング基盤
agent.xfyun.cn
iFLYTEKの企業向けAIエージェント開発基盤。Prompt、Workflow、Agentic Workflowで構築・公開。
truefoundry.com
TrueFoundryは、SaaSまたはプライベートインフラ上でLLMとエージェントのワークロードをデプロイ、統制、可観測化する企業向けAI・MCPゲートウェイです。
deerflow.tech
DeerFlowは、サンドボックス化されたツール、メモリ、サブエージェントを使って調査・コーディング・創作を行うスーパーエージェントを構築できる、LangChainベースのオープンソースフレームワークです。深い調査、分析、コンテンツ生成など、長時間にわたる複数ステップのタスクに適しています。
www.thesys.dev
インタラクティブUIのAIエージェントをノーコードで構築・展開