Superlinked SIE

Superlinked SIEは、独自クラウドでモデルを動かせるオープンソースの推論レイヤーです。プロンプトや文書を社内に保ちながら、埋め込み、再ランキング、抽出、OCRなどのエージェント処理を1つのクラスタで提供します。

Superlinked SIE とは

Superlinked の SIE は、エージェントアプリケーション向けのオープンソース推論レイヤーです。外部の個別 API にリクエストを振り分けるのではなく、独自クラウド内のクラスタからエージェントが呼び出すモデルを実行するよう設計されています。

この製品はエンドツーエンドでオープンモデルに重点を置いており、埋め込み、再ランキング、OCR、抽出、ガードレール、エージェントループ実行をサポートします。サイトでは、プロンプトや文書を自社インフラ内に保持しながら、1 つのデプロイで複数のモデルタスクを提供したいチーム向けに位置づけられています。

主な機能

セルフホスト型エージェント推論

SIE は、プロンプトや文書を第三者のホストに送信せずに、推論、解析、再ランキング、抽出、ガードレールをエージェントワークフローから呼び出せるよう、クラウド内の単一クラスタからモデルを提供します。

2 つのデプロイモード

デプロイドキュメントでは、シンプルな Docker サーバーと、本番スケーリング向けの gateway、config service、NATS JetStream、GPU ワーカーポッドを備えた Kubernetes クラスタの両方が説明されています。

複数の統合パス

統合ドキュメントでは、フレームワークアダプター、ネイティブ SDK、OpenAI 互換エンドポイントがサポートされており、既存の RAG コードを接続したり段階的に移行したりできます。

複数出力のモデルワークフロー

ドキュメントには、dense、sparse、multivector の埋め込み出力タイプに加え、エンティティ、関係、分類、物体検出のための再ランキングと抽出が示されています。

運用制御

デプロイガイドには、初回リクエスト時のモデル読み込み、永続キャッシュ、特定モデルの起動、オフライン環境向けのミラー済みスナップショットを使ったエアギャップインストールが記載されています。

一般的なユースケース

RAG と検索スタック
既存の LangChain、LlamaIndex、Haystack、Qdrant、Weaviate、Chroma、LanceDB、DSPy、または CrewAI のスタック内で、dense、sparse、multivector の埋め込みと再ランキングを必要とする検索パイプラインを支えるために SIE を使用します。
カスタムエージェントワークフロー
構造化出力、抽出、バッチ処理・タイミング・モデル選択の細かな制御を備えたカスタムエージェントパイプラインが必要な場合は、ネイティブ SDK を使用します。
文書処理とエンリッチメント
エージェントが下流のステップに構造化データを渡す前に、PDF、スキャン文書、Office ファイル、その他の文書を処理する必要がある場合は、OCR、document-to-markdown、抽出、ガードレールの機能を使用します。
ローカルおよび本番デプロイ
ローカル開発や低トラフィックのサービスには Docker の方法を使い、オートスケーリング、高可用性、またはクラウド GPU ノードプールでの scale-to-zero が必要な場合は Kubernetes に移行します。

Pros and Cons

Pros

プロンプトや文書を自社クラウドまたはエアギャップ環境内に保持できます。
モデルごとに別サーバーを立てる代わりに、1 つのクラスタから複数のモデルタスクをサポートします。
フレームワークアダプター、ネイティブ SDK、OpenAI 互換性を含む複数の統合オプションがあります。
開発用のシンプルな Docker サーバーとしても、本番用の Kubernetes クラスタとしても実行できます。
オープンモデルと、埋め込み、再ランキング、抽出、OCR、ガードレールを含む幅広いワークフローをサポートします。

Cons

ソースには公開された料金ページがないため、プランの詳細と費用は確認できません。
Kubernetes のセットアップには GPU ノード、ingress、クラスタサービスなど複数の前提条件があり、Docker の方法より本番デプロイが複雑です。
デプロイガイドによると、Kubernetes 上の scale-to-zero デプロイは再び利用可能になるまで 5〜7 分かかる場合があります。

FAQ

SIE はどのようにデプロイしますか?

SIE は 1 つの Docker サーバーとしても、Kubernetes クラスタとしても実行できます。デプロイガイドによると、Docker は単一サーバーまたは低トラフィックのサービスに最も簡単な方法であり、Kubernetes は水平スケーリング、ゼロへの自動スケーリング、高可用性向けです。

SIE は既存のスタックにどのように組み込めますか?

統合ガイドでは 3 つの方法が示されています。一般的な RAG スタック向けのフレームワークアダプター、機能をフルに利用するためのネイティブ SDK、そしてすでに OpenAI の embeddings エンドポイントを呼び出している既存コード向けの OpenAI 互換性です。

SIE は GPU なしで実行できますか?

はい。デプロイドキュメントによると、SIE は開発および低トラフィックのワークロード向けに CPU で実行できますが、特にバッチエンコーディングでは、大規模な本番推論には GPU が強く推奨されます。

SIE はどの環境をサポートしていますか?

ホームページとドキュメントでは、SIE は AWS、GCP、Azure、およびエアギャップ環境をサポートしていることが示されています。デプロイガイドには、AWS EKS、GCP GKE、Azure AKS 上の Kubernetes クラスタ構成も記載されています。

料金は公開されていますか?

提供された URL では料金ページにアクセスできず 404 が返るため、現在のプランや料金体系はソースでは確認できません。

Quick Facts

カテゴリ: AI インフラストラクチャ
ソースドメイン: superlinked.com
デプロイ: Docker または Kubernetes
記載のクラウド: AWS, GCP, Azure
ライセンス: Apache 2.0
モデル: 112 モデル