开源数据中台搭建（开源 数据中台）

本篇文章给大家谈谈开源数据中台搭建，以及开源 数据中台对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、开源数据库的选择方法？
• 2、如何应用开源平台快速搭建企业的短信平台？
• 3、大数据平台是什么？什么时候需要大数据平台？如何建立大数据平台？
• 4、开源数据统计平台 -- GoAnalytics
• 5、如何快速搭建一个类似于神策数据或诸葛IO的数据分析平台

开源数据库的选择方法？

随着互联网的不断发展，有时候企业需要使用不同的开源数据库来搭建自己的在线平台。下面我们就一起来了解一下，在选择数据库的时候我们都有哪些方法可以使用。

有一个明确的目标

这一点看似简单，但在和很多人聊过MySQL、MongoDB、PostgreSQL之后，我觉得这一点才是重要的。面对繁杂的开源数据库，更需要明确自己的目标。无论这个数据库是作为开发用的标准化数据库后端，抑或是用于替换遗留代码中的原有数据库，这都是一个明确的目标。目标一旦确定，就可以集中精力与开源软件的提供方商讨更多细节了。

了解你的工作负载

尽管开源数据库技术的功能越来越丰富，但这些新加入的功能都不太具有普适性。譬如MongoDB新增了事务的支持、MySQL新增了JSON存储的功能等等。目前开源数据库的普遍趋势是不断加入新的功能，但很多人的误区却在于没有选择适合的工具来完成自己的工作——这样的人或许是一个自大的开发者，又或许是一个视野狭窄的主管——终导致公司业务上的损失。致命的是，在业务初期，使用了不适合的工具往往也可以顺利地完成任务，但随着业务的增长，很快就会到达瓶颈，尽管这个时候还可以替换更合适的工具，但成本就比较高了。例如，如果你需要的是数据分析仓库，关系数据库可能不是一个适合的选择;如果你处理事务的应用要求严格的数据完整性和一致性，就不要考虑NoSQL了。

不要重新发明轮子

在过去的数十年，开源数据库技术迅速发展壮大。开源数据库从新生，到受到质疑，再到受到认可，现在已经成为很多企业生产环境的数据库。企业不再需要担心选择开源数据库技术会产生风险，因为开源数据库通常都有活跃的社区，可以为越来越多的初创公司、中型企业甚至500强公司提供开源数据库领域的支持和三方工具。

先从简单开始

你的数据库实际上需要达到多少个9的可用性?对许多公司来说，“实现高可用性”仅仅只是一个模糊的目标。当然，常见的答案都会是“它是关键应用，我们无论多短的停机时间都是无法忍受的”。北京IT培训发现数据库环境越复杂，管理的难度就越大，成本也会越高。理论上你总可以将数据库的可用性提得更高，但代价将会是大大增加的管理难度和性能下降。所以，先从简单开始，直到有需要时再逐步扩展。

如何应用开源平台快速搭建企业的短信平台？

现在很多企业使用正规短信通知客户，都是和第三方短信公司合作，走正规106短信群发通道，发件人显示的是106开头的端口号码。如果单纯是去找三大运营商，第一月发送量达不到，第二不能找到具体负责人。

和第三方短信平台合作，有两种方式：1. 直接在短信公司开设一个独立的短信账户，直接编辑短信通知文案，导入客户目标号码数据，一键群发推广即可。 这种比较方便，因为短信公司有成熟的短信通道，以及搭建好的短信平台操作界面，有短息审核客服，有售后服务，还有平台技术维护等等， 企业不用浪费你那么多人力成本等等。

2. 自己开发一个网页版企业平台，里面涉及短信发送的菜单功能，去找短信公司合作106短信通道，技术人员提供相关语言开发，借助接口文档进行对接调试，以后可以直接在自己企业的网页版页面发送短信，下发给客户。不过需要技术人员维护自己的企业网页。接口短信一般只适合对接纯通知短信。尤其是像验证码这类的。

大数据平台是什么？什么时候需要大数据平台？如何建立大数据平台？

1、大数据平台目前业界也没有统一的定义，但一般情况下，使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架，建立计算集群，并在上面运行各种计算任务，这就是通常理解上的大数据平台。

2、至于一家企业什么时候需要大数据平台，这取决于这么几方面：

业务需求：业务需求引导是必须的，不能光为了建平台而建平台，建立平台的最终目的是为了服务业务，让业务发展的更好。企业内大数据平台一般是信息管理部门、IT部门承建并承接一些数据需求，业务部门其实不关心你是不是用大数据平台还是用Oracle数据库计算出来的，那么这怎么评估呢？其实主要还是数据量，比如业务部门是不是偶尔会提“去年全年的XX怎么样？”、“去年全年的销售按照渠道、产品类别几个维度进行细分”、“需要用户行为数据、订单数据结合来做用户画像”、“需要给用户打标签”、“设备传感器的数据都有了，需要做实时的故障预测”等等，在承接各种业务需求的时候，是不是偶尔会出现任务运行很久的情况？会不会出现有些需求根本难以实现，因为计算量太大的问题？这就说明，业务上已经有大数据的诉求了，技术上并没有满足。

说到业务需求，企业内的信息管理部门也要注意，自己不能光承担需求，更重要的是要深入业务，理解业务，本部门对技术了解，如果对业务也多了解一下，就能够利用技术优势做到“想业务部门所未想”，实现比业务部门能提出更好的需求，并且能用大数据技术实现这个需求，这时候，信息管理部门的价值就更突出了，在企业内就再也不是一个承接需求或者背锅的部门了。

数据量与计算量：涉及到数据量的评估，也包括2方面：

现有的情况：现在有多少数据？都存储在哪里？业务部门提的各种指标需求，每天需要多长时间计算完成？每天什么时候完成昨天经营情况的数据更新？

增长的情况：每天、每周、每个月的数据增量有多少？按照这个增速，现有的配置还能满足多长时间的需求？

以上2个方面需要综合评估，现有数据量较多或者增长较快，那就需要做大数据平台的打算了。

先进性：本企业在技术上的布局是否需要一定前瞻性？需要早在数据量不太大的时候就进行技术探索？亦或是未来会上马新项目，新项目会产生大量数据。

公有云与私有云的选择：如果企业对公有云比较接受，其实可以考虑直接数据上公有云，公有云在国内主要就是阿里云、腾讯云、百度云等，其中阿里云的技术最为成熟，此外还有亚马逊的AWS等，但这里说的是搭建自己的大数据平台，就不深入展开了。

3、如何搭建大数据平台

建设一个大数据平台不是一朝一夕能完成的，不是下载安装几个开源组件那么简单。

涉及到：

技术层面：如何进行系统架构设计？集群资源如何评估？需要哪些组件？Hadoop、Spark、Tez、Storm、Flink，这些组件有什么区别？它们之间如何有机的组合起来？

团队层面：现有的技术团队配比如何？有没有人力搭建并且运维这个平台？有没有能力运营好这个平台？

对于非常重视主营业务的传统企业，信息技术部门的团队规模一般比较有限，建设一个大数据平台的成本是很高的，这个成本不仅是经济成本，还包括人才投入的成本、时间消耗的成本等等，如何能快速满足企业的大数据平台需求。这时候就可以考虑直接采购商用的大数据平台。

商用的大数据平台，市场上也有很多可以选择，比如星环、华为，此外还有袋鼠云数栈。

数栈的目标是通过产品化的方式，帮助企业构建数据共享能力中心。数栈不仅仅是一个大数据平台，同时附加各类数据处理工具，包括：

开发套件：一站式大数据开发平台，帮助企业快速完全数据中台搭建

数据质量: 对过程数据和结果数据进行质量校验，帮助企业及时发现数据质量问题

数据地图: 可视化的数据资产中心，帮助企业全盘掌控数据资产情况和数据的来源去向

数据模型: 使企业数据标准化，模型化，帮助企业实现数据管理规范化

数据API: 快速生成数据API、统一管理API服务，帮助企业提高数据开放效率

主要特点有：

1.一站式。一站式数据开发产品体系，满足企业建设数据中台过程中的多样复杂需求。

2.兼容性强。支持对接多种计算引擎，兼容离线实时任务开发。

3.开箱即用。基于Web的图形化操作界面，开箱即用，快速上手。

4.性价比高。满足中小企业数据中台建设需求，降低企业投入成本。

有了数栈，企业搭建数据平台就不再是什么问题，核心需求也就会从搭建数据平台转为满足更多的业务诉求，实现真正的企业数据共享能力中心

开源数据统计平台 -- GoAnalytics

本项目用于移动端的数据统计，项目地址： 。开源的数据统计countly做的很好，但是基础免费版的功能实在不够看，因此我就决定用go语言来写了这个项目，一来可以在实践中学习go语言，二来也可以开发功能完整的开源平台。该项目正在开发中，欢迎有兴趣的gopher一起参与。

数据存储方面使用的是mongodb。由于数据统计业务几乎不涉及到事务以及严格的一致性场景，而且mongodb的自动分片功能可以支撑较大的数据量。使用大数据的存储组件的话就太过于重了。因此选用mongodb。

业务逻辑整体基于事件的发布订阅。当收到客户端请求， frontend 会对请求数据进行处理，然后发布响应的事件。 backend 收到事件后进行统计处理。

后台展示基于Vue-Admin-Template开发，本人前端能力基本就是依葫芦画瓢，希望有前端大神来开发后台页面，项目地址:

目前客户端API仅有2个。一个是上报 openApp 打开APP时间，一个是上报 usageTime 一次启动使用时长事件。SDK方面也需要移动端的大神开发，感兴趣的大佬可以一起开发。

下面放一点后台页面的效果图：

GoAnalytics是基于go实现的一个数据统计平台，用于统计移动端的数据指标，比如启动次数、用户增长、活跃用户、留存等指标分析。前端数据展示项目是 goanalytics-web 。目前正在积极开发中，欢迎提交新的需求和pull request。

Go版本需要支持module，本地开发测试

cmd/goanalytics_kafka 和 goanalytics_rmq 是分别基于 kafka 和 rocketmq 的发布订阅功能做的数据发布

和订阅处理，横向扩展能力比 local 高。另外由于 rocketmq 还没有原生基于 go 的客户端（原生客户端正在开发中

2.0.0 road map )，可能会存在问题。

项目结构

├── README.md

├── api

│ ├── authentication 用户认证、管理API

│ ├── middlewares GIN 中间件

│ └── router API route

├── cmd

│ ├── account 生成admin账号命令

│ ├── analytic_local 不依赖消息系统的goanalytics

│ ├── goanalytics_kafka 基于kafak的goanalytics

│ ├── goanalytics_rmq 基于rocketmq的goanalytics

│ └── test_data 生成测试数据命令

├── common

│ └── data.go

├── conf 配置

│ └── conf.go

├── event

│ ├── codec 数据编解码

│ └── pubsub 消息发布订阅

├── go.mod

├── go.sum

├── metric 所有的统计指标在这里实现

│ ├── init.go

│ └── user 用户相关指标的实现

├── schedule

│ └── schedule.go 定时任务调度

├── storage 存储模块

│ ├── counter.go 计数器接口

│ ├── data.go

│ └── mongodb 基于mongodb实现的存储及计数器

└── utils

├── date.go

├── date_test.go

├── errors.go

└── key.go

如何快速搭建一个类似于神策数据或诸葛IO的数据分析平台

自己开发搭建太麻烦啦，你可以选择开源的框架，比如Cobub Razor，代码有开放在github上，另外如果公司没有PHP人员，可以选择他们家的java商业版C4J，低成本性能挺强大，支持到50万日活，比你说的性价比高很多

开源数据中台搭建的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于开源 数据中台、开源数据中台搭建的信息别忘了在本站进行查找喔。