开源数据中台（开源数据中台 springboot）

本篇文章给大家谈谈开源数据中台，以及开源数据中台 springboot对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

1、ETL数据融合平台，实现业务数据集成
2、有哪些值得推荐的开源数据管理系统
3、微软开源跨平台的数据（库）管理工具——Azure Data Studio

ETL数据融合平台，实现业务数据集成

ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来，统一标准化管理。因此，ETL是构建数据仓库的重要的、必不可少的一环。

RestCloud ETL平台是怎样的？

RestCloud ETL数据融合平台是基于微服务架构研发的新一代数据融合平台，是为企业提供业务系统数据之间的集成，以及异构数据源之间的数据传输于一体的一站式的数据处理平台。

RestCloud ETL平台——功能

1、全web化配置，开箱即用；

2、可实现多种异构数据源之间通过平台快速进行数据交换，快速帮助企业构建数据融合平台，同时通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。

3、平台通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能。

RestCloud ETL平台——优势

RestCloud ETL从架构、易用性、传输性能、可视化、功能丰富性等方面均全面超越常见的开源ETL工具。通过容器化技术RestCloud ETL支持大规模的分布式部署架构，可以根据资源利用率，实现动态的弹性伸缩，实现上万流程的同时调度与并发运行。

RestCloud ETL平台——适用场景

通过RestCloud ETL数据融合平台可以在多个业务系统之间实现复杂的数据分发以及推送、同时也支持跨集团公司的数据传输与共享发布，协助企业快速构建轻量级的数据中台等场景，同时RestCloud支持实时数据流的处理，可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。

开源数据中台（开源数据中台 springboot）,开源数据中台,信息,文章,采集,第1张

有哪些值得推荐的开源数据管理系统

一、Facebook Scribe

贡献者：Facebook

简介：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。

Scribe的系统架构

二、Cloudera Flume

贡献者：Cloudera

简介：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

Cloudera Flume构架：

三、logstash

简介：logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。

微软开源跨平台的数据（库）管理工具——Azure Data Studio

Azure Data Studio是一种跨平台数据库工具，适用于在Windows，MacOS和Linux上使用Microsoft系列内部部署和云数据平台的数据专业人员。此前已发布预览版名称 SQL Operations Studio 下，Azure Data Studio 提供了与 IntelliSense、代码段、源代码管理集成和集成的终端的现代编辑器体验。它在设计时考虑了数据平台用户，内置了查询结果集和可自定义的仪表板。

Github仓库：

官网介绍：

目前官方支持的数据库有SQL Server、Azure SQL 数据库服务器、Azure SQL 数据仓库和pgsql（PostgresSql），其中pgsql是通过插件的方式来实现的。

笔者这里只介绍SQLServer和pgSql的连接和使用，其它的请参考官方文档，文档中详细介绍了各种强大的功能，我这里只是通过截图的方式大致的演示下。下载和安装就不说了，可以到官网下载或者github上下载

安装好后，打开，点击第一个服务器栏

在右侧弹出面板填入你的数据库连接信息，其中上半部分是已经保存的连接，下面是编辑或者添加连接：

其中还有一些高级的配置，暂时用不到

设置好连接后，点击Connect按钮进行连接，连接成功左边服务器列表就会出现，下面截图是我设置好的本地SQL Server和PgSql

选择刚刚创建的数据库

PostgresSql连接需要安装一个PostgresSql扩展，，目前扩展还是技术预览版，但已经可以使用了，记得安装完扩展后重启下工具

后续连接和SQLServer类似就不在介绍了。

这块的功能和SSMS类似