Skip to content

云雀 是一款数据集成工具,实现异构数据源的整合,帮助企业构建数据仓库、数据湖 等应用架构

License

Notifications You must be signed in to change notification settings

birdLark/yunque

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

253 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

EN doc CN doc

1.云雀的介绍

云雀,云代表大数据,雀代表平凡和自由。

云雀 是一款数据集成工具,实现异构数据源的整合,帮助企业构建数据仓库、数据湖 等应用架构。

2.目标及特点

1.云雀目前支持数据源达到14种,能够实现异构数据源的同步。

2.云雀支持拖拉拽的图形化的操作,用户可以通过页面的组装输入和输出组件,实现页面化简易操作。

3.云雀结合计算引擎,实现异构数据源数据统一汇聚,数据湖,数据仓库,实现数据的集成。

4.云雀结合消息队列,实现一份数据一次读取,多次下沉多种数据库和重复利用,支持海量数据,高速率的迁移数据。

5.云雀支持单机版和集群版部署,架构简易。

6.云雀打印日志友好,能实时监控迁移的数据量,迁移的状态,以及报错日志详细,便于排查。

7.云雀代码清晰,可读性强,代码之美,文档详细,资料齐全。

8.云雀支持Docker和K8S集群容器化部署。

9.云雀易于集成,能无缝对接开源的调度系统,以及集成系统,配置多样化。

10.云雀遵从Apache协议,可以进行商业化部署。

3.设计理念

V1.0的架构图

通过使用云雀,可以将多种数据库之间的数据互通和集成,实现将多种数据的迁移,脱敏,聚合操作。

4.框架设计

V1.0的架构图

框架分为3部分:Reader, Channel, Writer

Reader 作为数据源, 可以通过实现共同的Reader接口,可以通过SQL的方式对数据进行抽取操作。

Channel 作为队列, 可选的队列有默认的LinkedBlockingQueue,也可以使用kafka, 通过使用kafka做到一次写入多次读取。

Writer 作为目标数据源,可以通过实现共同的Writer接口,可以通过SQL的方式对数据进行下沉操作。

5.快速开始

下载:

yunque-1.0-SNAPSHOT-release.tar.gz

请点击:

用户使用手册

性能测试报告

6.开发人员

开发人员 :【 排名不计先后】

ZFCode陈小明zhaowendongbaiyaoming甲壳虫123wangzyunqueiyoukiForeverSingularity红叶起风了qtyblindychan556666

7.联系我们

可以添加官方微信【LarkMidTable2021】,添加时备注【yunque】,可以参与讨论啦!

本项目全部开源,可以进行商用没有限制,我们热切的盼望,希望有更多的开发者加入,开源数据集成的这个大家庭中,欢迎大家贡献和使用。

8.感谢人员

感谢云雀课堂的学员的支持,项目才得以进行下去,以下为第一期的云雀课堂学员,名次不分先后:

成空、起风了、孙#龙、王#田、如是、瞬间永恒、钟~俊

周~城、小田甜、重庆张#友、葡萄、景曦、江阔、徐祥静

Us、猪皮、曾攀、溪涣、A.wang、青鸟、朱古力、wingod

khj、吴志航、黄华、君临、qiuqiuqiu、Jerry、圈圈圈

明昌、Mr杨、Sokach、Forever、ShakeSpeare、东哥

Tony_cen、小小若木、无说有听、dearong、修真、sockstack

Cole、轮子、彪哥、倪#喜、冯#孝、Aphasia、Yezhiwei、农民

navy、object、JSZ、全儿、恒古指针、#漫、MikeChen、冲浪仔

iDrive、abc、火箭、云风叶、payne、黄#峰、余#忠、就这#

黎英杰、养乐多、heaven、不许敲自己、明朗、Ya!、小白龙

摸金校尉、Chandler、光、需要努力的Jade🎭、youke、xx、J.C

About

云雀 是一款数据集成工具,实现异构数据源的整合,帮助企业构建数据仓库、数据湖 等应用架构

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 12

Languages