开源数据中台（开源数据中台 springboot）

本篇文章给大家谈谈开源数据中台，以及开源数据中台 springboot对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、ETL数据融合平台，实现业务数据集成
• 2、有哪些值得推荐的开源数据管理系统
• 3、微软开源跨平台的数据（库）管理工具——Azure Data Studio

ETL数据融合平台，实现业务数据集成

ETL的应用是将企业业务系统的数据经过抽取、清洗、转换之后加载到数据仓库的一个过程。用ETL的目的是为了把企业散落在各个系统中的数据集中起来，统一标准化管理。因此，ETL是构建数据仓库的重要的、必不可少的一环。

RestCloud ETL平台是怎样的？

RestCloud ETL数据融合平台是基于微服务架构研发的新一代数据融合平台，是为企业提供业务系统数据之间的集成，以及异构数据源之间的数据传输于一体的一站式的数据处理平台。

RestCloud ETL平台——功能

1、全web化配置，开箱即用；

2、可实现多种异构数据源之间通过平台快速进行数据交换，快速帮助企业构建数据融合平台，同时通过叠加API服务平台即可快速落地构建一个轻量级的数据中台。

3、平台通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能。

RestCloud ETL平台——优势

RestCloud ETL从架构、易用性、传输性能、可视化、功能丰富性等方面均全面超越常见的开源ETL工具。通过容器化技术RestCloud ETL支持大规模的分布式部署架构，可以根据资源利用率，实现动态的弹性伸缩，实现上万流程的同时调度与并发运行。

RestCloud ETL平台——适用场景

通过RestCloud ETL数据融合平台可以在多个业务系统之间实现复杂的数据分发以及推送、同时也支持跨集团公司的数据传输与共享发布，协助企业快速构建轻量级的数据中台等场景， 同时RestCloud支持实时数据流的处理，可以实时接入物联网、Kafka等的实时数据流并进行实时运算处理后存入企业的实时数仓中。

有哪些值得推荐的开源数据管理系统

一、Facebook Scribe

贡献者：Facebook

简介：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。

Scribe的系统架构

二、Cloudera Flume

贡献者：Cloudera

简介：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

Cloudera Flume构架：

三、logstash

简介：logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。

微软开源跨平台的数据（库）管理工具——Azure Data Studio

Azure Data Studio是一种跨平台数据库工具，适用于在Windows，MacOS和Linux上使用Microsoft系列内部部署和云数据平台的数据专业人员。此前已发布预览版名称 SQL Operations Studio 下，Azure Data Studio 提供了与 IntelliSense、 代码段、 源代码管理集成和集成的终端的现代编辑器体验。 它在设计时考虑了数据平台用户，内置了查询结果集和可自定义的仪表板。

Github仓库：

官网介绍：

目前官方支持的数据库有SQL Server、Azure SQL 数据库服务器、Azure SQL 数据仓库和pgsql（PostgresSql），其中pgsql是通过插件的方式来实现的。

笔者这里只介绍SQLServer和pgSql的连接和使用，其它的请参考官方文档，文档中详细介绍了各种强大的功能，我这里只是通过截图的方式大致的演示下。下载和安装就不说了，可以到官网下载或者github上下载

安装好后，打开，点击第一个服务器栏

在右侧弹出面板填入你的数据库连接信息，其中上半部分是已经保存的连接，下面是编辑或者添加连接：

其中还有一些高级的配置，暂时用不到

设置好连接后，点击Connect按钮进行连接，连接成功左边服务器列表就会出现，下面截图是我设置好的本地SQL Server和PgSql

选择刚刚创建的数据库

PostgresSql连接需要安装一个PostgresSql扩展，，目前扩展还是技术预览版，但已经可以使用了，记得安装完扩展后重启下工具

后续连接和SQLServer类似就不在介绍了。

这块的功能和SSMS类似

数据导出支持Excel、Json和Xml

你可以根据当前查询的数据来生成各种不同的图表，方便数据专业人员进行数据分析，下面是一些图表的截图，感觉还不错，对专业的数据分析人员还是很有用的

这块功能和Visual Studio Code一样，就不在详细介绍了

扩展安装也是和VSCode类似，但是有些扩展可能需要离线安装，目前扩展还不是丰富，但是已经有很多不错的插件了

主题切换都是延续了VSCode类似的用法，目前扩展中已经有几款比较不错的主题了，你刚刚打开的软件是自带的主题，我上面已经用上了下载好的主题

切换主题也是一样的

笔者只是大致的试用体验了一下，总体来说是非常实用的，跨平台而且功能丰富，界面美观以及不错的数据分析功能，强大的可扩展性（官方提供了自己创建扩展的方法，等应用扩展商店的扩展扩展丰富之后，肯定会让它更加的强大）!

关于开源数据中台和开源数据中台 springboot的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。