bigdata

数据工程师学习资源清单

#时序数据库#TDengine是涛思数据专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。

#Mysql高可用中间件#ShardingSphere 是一个用于分表分库的数据库中间件，由JDBC、Proxy 和 Sidecar组成

专注大数据学习面试，大数据成神之路开启。Flink/Spark/Hadoop/Hbase/Hive...

#计算机科学#Out-of-Core hybrid Apache Arrow/NumPy DataFrame for Python, ML, visualization and exploration of big tabular data at a billion rows per second 🚀

翻译 - 适用于Python，ML的核心数据框，以每秒十亿行的速度可视化和探索大型表格数据🚀

𝗗𝗮𝘁𝗮, 𝗔𝗻𝗮𝗹𝘆𝘁𝗶𝗰𝘀 & 𝗔𝗜. Modern alternative to Snowflake. Cost-effective and simple for massive-scale analytics. https://databend.com

翻译 - 具有云原生架构的现代实时数据处理和分析 DBMS，旨在简化数据云

Upserts, Deletes And Incremental Processing on Big Data.

翻译 - 大数据的更新，删除和增量处理。

#计算机科学#A Cloud Native Batch System (Project under CNCF)

翻译 - Kubernetes本机批处理系统（CNCF下的项目）

Chunjun 纯钧，是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，已在上千家公司部署且稳定运行。

🔨 用 JSON 来生成结构化的 SQL 语句，基于 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor 实现，项目简单（重逻辑轻页面）、适合练手~

100+套大数据可视化炫酷大屏Html5模板；包含行业：社区、物业、政务、交通、金融银行等，全网最新、最多，最全、最酷、最炫大数据可视化模板。陆续更新中

Apache Avro 是通常用于RPC远程调用的序列化框架，类似于Thrift、Protocol Buffers，特点是Avro并不需要生成代码，模式和数据存放在一起

大数据学习，从零开始学习大数据，包含大数据学习各阶段学习视频、面试资料

#时序数据库#GridDB is a next-generation open source database that makes time series IoT and big data fast,and easy.

翻译 - 物联网和大数据的高性能，高可伸缩性和高可靠性数据库

基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join，支持原生flink SQL所有的语法

#计算机科学#.NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.

翻译 - .NET forApache®Spark™使.NET开发人员可以轻松访问Apache Spark™。

Data syncing in golang for ClickHouse.

翻译 - 一种基于ClickHouse的数据同步，存储，计算工具。

Apache Amoro (incubating) is a Lakehouse management system built on open data lake formats.

Apache YuniKorn Core

翻译 - YuniKorn Scheduler核心

Apache Celeborn is an elastic and high-performance service for shuffle and spilled data.