Baseten logo

Baseten

Freemium
訪問

Basetenは、オープンソース、カスタム、ファインチューニング済みAIモデルを本番環境にデプロイ、提供、スケーリングするための推論プラットフォームです。AI・ML・プロダクト開発チームに対応します。

Basetenとは?

Basetenは、オープンソース、カスタム、ファインチューニング済みモデルを本番環境にデプロイし、運用するためのAI推論プラットフォームです。Baseten Inference Stackにマネージドインフラストラクチャ、モデルAPI、自動スケーリングを組み合わせ、Baseten Cloud、顧客のVPC、またはハイブリッド環境でのデプロイに対応します。

このプラットフォームでは、専用モデルサービング、プロトタイピングや評価に利用できる最適化済みのModel APIs、同一スタック上でのトレーニングジョブをサポートしています。モデル開発から信頼性の高い本番推論へ移行する必要があるチームを対象としており、LLM、画像生成、文字起こし、テキスト読み上げ、埋め込み、複合AIシステムなどのワークロードに対応します。

Basetenでできること

専用モデルデプロイ

オープンソース、カスタム、独自開発、ファインチューニング済みのモデルを、本番ワークロード向けの専用推論サービスとしてデプロイできます。

最適化済みModel APIs

すぐに利用できるAPIを通じて対応モデルにアクセスし、サービングスタックを先に構築することなく、ワークロードのテスト、プロダクトのプロトタイピング、モデルの選択肢の評価を行えます。

クロスクラウド自動スケーリング

受信トラフィックに応じて、クラウドやリージョンをまたいでレプリカをスケーリングします。レイテンシーの維持と不要なコンピューティング使用の回避を目指します。

推論最適化インフラストラクチャ

Baseten Inference Stackには、カスタムカーネル、デコーディング技術、キャッシュ、GPUプロビジョニング、コールドスタート最適化などのパフォーマンス向上施策が含まれます。

柔軟なデプロイ先

Baseten Cloud、セルフホスト型デプロイによる顧客VPC、またはBaseten Cloudのキャパシティを追加するハイブリッド構成でワークロードを実行できます。

トレーニングと複合AIツール

Loops SDKでトレーニングジョブを実行し、トレーニング済みモデルを同じ推論スタックにデプロイできます。Baseten Chainsは複合AIシステム向けのインフラストラクチャを提供します。

利用シーン

“本番LLMサービング”

顧客向けアプリケーションを構築するチームは、カスタムまたはオープンソースの言語モデルをデプロイし、リクエスト量の変化に応じて推論をスケーリングできます。

“迅速なモデル評価”

プロダクトチームやエンジニアリングチームは、最適化済みのModel APIsを使用して対応モデルをテストし、ワークロードのプロトタイプを作成したり、専用デプロイを決定する前に選択肢を比較したりできます。

“リアルタイム音声アプリケーション”

音声エージェント、電話、翻訳、文字起こしのプロダクトは、リアルタイム音声ストリーミング、音声テキスト変換、テキスト読み上げのワークロードに対する本プラットフォームの対応を利用できます。

“画像生成とワークフロー”

チームは、特定のアプリケーション向けにファインチューニングしたモデルを含め、カスタム画像生成モデルやComfyUIワークフローをサービングできます。

“トレーニングから本番までのワークフロー”

モデルチームはBasetenのLoops SDKでモデルをトレーニングし、デプロイのためにBasetenの推論スタックへ移行できます。トレーニングとサービングを同一プラットフォーム内で行えます。

よくある質問

Basetenではどのようなモデルをデプロイできますか?

Basetenは、オープンソース、カスタム、独自開発、ファインチューニング済みのAIモデルに対応すると説明しています。サイトでは、LLM、画像生成、文字起こし、テキスト読み上げ、埋め込み、複合AIのワークロードも紹介されています。

モデルはどこで実行できますか?

デプロイ先は、Baseten Cloud、セルフホスト型デプロイによる顧客VPC、または顧客インフラストラクチャとBaseten Cloudのキャパシティを併用するハイブリッド構成から選択できます。

Basetenはすぐに使えるモデルAPIを提供していますか?

はい。Basetenは対応モデル向けに最適化済みのModel APIsを提供しており、新しいワークロードのテスト、プロダクトのプロトタイピング、モデルの評価を目的として利用できます。料金ページには、Model APIの料金が100万トークン単位で記載されています。

専用推論の料金体系を教えてください。

料金ページでは、専用デプロイを従量課金のコンピューティングとして説明しており、分単位で利用量に応じて請求され、ボリュームディスカウントも利用できます。料金はインスタンスタイプによって異なるため、最新の料金ページで確認してください。

Basetenではトレーニングジョブも実行できますか?

はい。サイトでは、トレーニングジョブ向けのオンデマンドコンピューティング、開発者体験、インフラストラクチャについて説明しており、Loops SDKでトレーニングしたモデルを同じスタック上で本番推論にデプロイできるとしています。

クイック情報

カテゴリー
AI推論プラットフォーム
主なユーザー
AI、ML、プロダクトエンジニアリングチーム
デプロイオプション
Baseten Cloud、セルフホスト型、ハイブリッド、専用デプロイ
モデルタイプ
オープンソース、カスタム、独自開発、ファインチューニング済みモデル
料金モデル
従量課金プラン。Model APIsは100万トークン単位、専用デプロイはコンピューティング使用量に基づいて料金が設定されます
トレーニングワークフロー
Loops SDKでトレーニングし、Basetenの推論スタックにデプロイ

Baseten のトラフィック分析

トラフィックデータは参考情報としてご利用ください。

ドメイン評価
77

Basetenの代替品

Chutes logo

Chutes

chutes.ai

Chutesは、オープンソースAIモデルを実行する分散型サーバーレス推論基盤です。API経由でホスト済みモデルを利用できるほか、機密性を備えたGPU環境に独自の処理を非公開でデプロイできます。

FriendliAI logo

FriendliAI

friendli.ai

FriendliAIは、オープンウェイトモデルやカスタムAIモデルを本番環境で提供するための推論クラウドです。サーバーレスAPI、専用GPUエンドポイント、BYOGに対応し、エージェントやマルチモーダルの推論に利用できます。

SambaNova logo

SambaNova

sambanova.ai

SambaNovaは、大規模なオープンソースモデルやエージェント型ワークロードを提供・運用するためのAI推論プラットフォームです。開発者や企業、インフラ運用者は、クラウドサービスまたは導入可能なハードウェアとソフトウェアを使い、クラウド、オンプレミス、ハイブリッド、エアギャップ環境で利用できます。

Hyperbolic logo

Hyperbolic

hyperbolic.xyz

Hyperbolicは、H100・H200・B200などのGPUをオンデマンドまたは専用クラスターで利用できる、AI開発向けのオープンアクセス型GPU・AIクラウドです。実験、学習、ファインチューニング、推論から本番運用まで対応します。

Ray logo

Ray

www.ray.io

Rayは、Pythonアプリケーションを分散実行・拡張するオープンソースのフレームワークです。データ処理、モデルの学習・推論・提供、強化学習などの計算負荷の高い処理を、手元の環境から大規模なGPUクラスターまで実行できます。

Bento logo

Bento

www.bentoml.com

Bentoは、AI・機械学習モデルを本番環境でパッケージ化、デプロイ、最適化、運用するための推論プラットフォームです。自社クラウド、オンプレミスのKubernetes、Bento Cloudでオープンソースモデルやカスタムモデルを提供できます。