Dagster logo

Dagster

认领

Dagster 是一款 AI 原生数据编排平台,帮助团队构建、调度、监控并运维可靠的数据管道。支持基于资产的工作流、混合部署及面向个人到企业团队的托管方案。

Dagster preview

概述

Dagster 是一款现代数据编排平台,也是面向需要构建、调度、监控并激活可靠数据管道团队的 AI 原生 DataOps 平台。该产品以资产而非孤立任务为中心,因此可以将血缘、依赖关系、新鲜度和质量信号直接附加到工作流所生成的数据上。

该平台旨在同时支持传统分析管道和更新的 AI 导向工作流。网站将 Dagster+ 描述为数据与 AI 系统的运维层,其部署选项包括本地开发、云端、本地部署以及混合执行,具体取决于方案和架构。

核心功能

基于资产的编排

Dagster 围绕其所生成的资产来定义工作流,这使得血缘、依赖关系和健康状况成为编排模型的一部分,而不是事后补充。

内置可观测性

该平台提供血缘、依赖关系、数据健康、资产元数据和资产级视图,帮助团队了解哪些内容发生了变化以及会影响什么。

分支部署

分支部署让团队可以在类似生产的环境中验证变更,再让其影响真实数据,从而在管道更新期间降低风险。

面向运维的 AI 上下文

Dagster+ AI 使用资产、运行、血缘、新鲜度、失败情况和自动化历史等运行上下文,以支持更快的诊断和行动。

混合控制平面模型

混合部署允许团队在自己的基础设施中运行计算,同时由 Dagster 管理控制平面,支持云端、本地和混合环境。

安全与访问控制

企业方案增加了安全与治理功能,包括 RBAC、SSO、SCIM 配置、审计日志和保留策略。

常见用例

  • 运维以资产为中心的数据管道

    使用 Dagster 围绕资产构建管道,这样工程师在开发和运维数据工作流时可以看到血缘、新鲜度和依赖关系。

  • 在云端、本地或混合环境中运行编排

    当团队需要将计算保留在自己的基础设施中,但仍希望通过 Dagster 的控制平面进行编排管理时,可使用混合部署。

  • 支持 AI 辅助运维

    当你希望从运行、失败、新鲜度和历史中获得运维上下文,以支持更快的调试和更有把握的操作时,可使用 Dagster+ AI。

  • 应用治理和访问控制

    当团队需要生产变更控制、基于角色的权限以及更大规模或受监管环境所需的可审计性时,可使用企业功能。

  • 按团队规模匹配方案

    使用公开的定价层级,从个人或小团队使用开始,随着编排需求增长再转向联系销售的方案。

Pros and Cons

Pros

  • 以资产为中心的编排让血缘和依赖关系在数据资产层面清晰可见。
  • 内置可观测性将资产健康、元数据和失败上下文集中呈现。
  • 混合部署支持云端、本地和混合环境。
  • Dagster+ AI 旨在利用现有运行上下文,这有助于团队更快诊断问题。
  • 定价已公开,包含 30 天免费试用和自助入门方案,同时也为更大的团队提供联系销售选项。

Cons

  • 某些功能取决于方案,企业级功能如 RBAC、SSO、SCIM、审计日志和高级支持仅在更高等级方案中说明。
  • 公开网站提供的具体集成细节少于产品本身可能支持的内容,因此在所查看的营销页面中,一些生态覆盖信息并不可见。

FAQ

什么是 Dagster?

Dagster 是一款 AI 原生 DataOps 平台,可在整个技术栈中编排、监控并激活数据。其 FAQ 将其描述为以资产为中心而非以任务为中心,因此它围绕工作流所产生的数据资产来设计,而不仅仅关注某个作业是否完成。

Dagster 与 Apache Airflow 有什么不同?

该网站称 Dagster 以资产为中心,而 Apache Airflow 以任务为中心。Dagster 会将血缘、质量信号和依赖上下文附加到资产上,这有助于展示哪里出了问题、为什么出问题,以及哪些内容会受影响。

Dagster 支持 dbt 和 Snowflake 吗?

是的。首页和 FAQ 都说明 Dagster 原生支持 dbt、Snowflake 和 Fivetran 集成,企业页面也强调了 dbt + Snowflake 支持。

Dagster 可以在我自己的基础设施中运行吗?

可以。Dagster 支持混合部署,这意味着你可以在自己的云环境或本地基础设施中运行计算,而由 Dagster 管理控制平面。

是否有免费试用或付费方案?

Dagster 提供 30 天免费试用。定价页面还展示了自助服务方案与联系销售的企业方案组合,Solo 和 Starter 采用基于使用量的积分。

Quick Facts

类别
数据编排平台
产品类型
AI 原生 DataOps 平台
主要用户
数据团队、平台团队和开发者
部署模式
本地、云端、本地部署和混合选项
定价模式
免费试用、自助服务方案和联系销售的企业方案
网站
dagster.io