当前位置: 首页 > 滚动 > >正文

一站式数据可观测性平台 Datavines 正式开源啦

来源:博客园    时间:2023-06-22 16:29:35

Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数,目前作为 Datavane开源组织的重点推荐项目,正式开源,欢迎大家使用。

核心特性数据目录

定时获取数据源元数据,构造数据目录


【资料图】

定时监听元数据变更情况

支持元数据的标签管理

数据质量监控

内置 27个数据质量检查规则,开箱即用

支持 4种数据质量检查规则类型

单表单列检查类型

单表自定义SQL检查类型

跨表准确性检查类型

两表值比对检查类型

支持配置定时任务进行定时检查

支持配置 SLA 用于检查结果告警

数据概览

支持定时执行数据探测,输出数据概览报告

支持自动识别列的类型自动匹配合适的数据概况指标

支持表行数趋势监控

支持列的数据分布情况查看

插件化设计

平台以插件化设计为核心,以下模块都支持用户自定义插件进行扩展

数据源:已支持 MySQLImpalaStarocksDorisPrestoTrinoClickHousePostgreSQL检查规则:内置空值检查、非空检查、枚举检查等27个检查规则作业执行引擎:已支持SparkLocal两种执行引擎。Spark 引擎目前仅支持Spark2.4版本,Local引擎则是基于JDBC开发的本地执行引擎,无需依赖其他执行引擎。告警通道:已支持邮件错误数据存储:已支持 MySQL本地文件(仅支持Local执行引擎)注册中心:已支持 MySQLPostgreSQLZooKeeper多种运行模式

提供Web页面配置检查作业、运行作业、查看作业执行日志、查看错误数据和检查结果

支持在线生成作业运行脚本,通过 datavines-submit.sh来提交作业,可与调度系统配合使用

容易部署&高可用

平台依赖少,容易部署

最小仅依赖 MySQL既可启动项目,完成数据质量作业的检查

支持水平扩容,自动容错

无中心化设计Server节点支持水平扩展提高性能

作业自动容错,保证作业不丢失和不重复执行

项目架构CatalogManager

CatalogManager是负责管理元数据的组件,主要负责元数据的存储、查询以及元数据获取任务的调度和容错处理等。

DataQualityCenter

DataQualityCenter是负责数据质量管理的组件,主要负责数据质量规则的管理、数据质量作业的调度、执行和自动容错处理等。

快速上手数据概览

进行数据概览只需下面3步:

创建数据源(或者选择创建好的数据源)点击相应的表点击右上角 运行概览并选择想要探查的列数据质量检查

进行数据质量检查只需下面4步:

点击想要进行检查的列,点击 添加作业选择 检查规则并填入参数选择 检查公式,比如 实际值/期望值 x100%,填入比较符和阈值点击保存并运行即可加入我们

Datavines 的目标是成为更好的数据可观测性领域的开源项目,为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建设中来,和我们一起成长,携手共建更好的社区。

项目地址:https://github.com/datavane/datavines问题和建议:https://github.com/datavane/datavines/issues贡献代码:https://github.com/datavane/datavines/pulls关于Datavane

Datavane 是一个专注于大数据领域的开源组织(社区),由一群大数据领域优秀的开源项目作者共同创建,旨在帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,宗旨是:只为做一个好软件。目前已经聚集了一批优质的开源项目,涉及到数据集成、大数据组件管理、数据质量等。

Datavane社区中,所有的项目都是开源开放的,代码质量和架构设计优质的潜力项目。社区保持开放中立、协作创造、坚持精品,鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作,创新创造,建设一个更加强大的开源社区。

官 网: http://www.datavane.org/Github : https://github.com/datavane

X 关闭

推荐内容

最近更新

Copyright ©  2015-2022 欧洲服装网版权所有  备案号:沪ICP备2022005074号-23   联系邮箱: 58 55 97 3@qq.com