big-data · GitHub Topics

#面试#一份说明可伸缩、高可靠和高性能的大规模系统模式的阅读清单。案例学习都是从服务于数百万甚至数亿用用户的线上系统总结的。

system-design 后端 scalability 面试 architecture DevOps design-patterns Awesome Lists big-data Hackathon-Kit lists web-development 编程 system interview-practice 计算机科学 distributed-systems 机器学习

60.87 k

25 天前

apache / spark

Apache Spark - 用于大数据处理的统一分析引擎

Python Scala R Java big-data jdbc SQL Apache Spark

Scala 40.72 k

4 小时前

ClickHouse / ClickHouse

#数据库#ClickHouse是性能强悍、适合OLAP实时分析的列式数据库，支持SQL语法

dbms olap analytics SQL big-data mpp clickhouse Hacktoberfest C++Rust 人工智能 cloud-native 数据库 distributed embedded lakehouse 自托管

C++ 39.48 k

20 分钟前

donnemartin / data-science-ipython-notebooks

#计算机科学#Python 数据科学学习笔记：深度学习 (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, 大数据 (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python 核心, AWS, Linux命令

Python 机器学习深度学习数据科学 big-data Amazon Web Services Tensorflow theano caffe scikit-learn kaggle Apache Spark mapreduce hadoop matplotlib pandas NumPy SciPy Keras

Python 27.98 k

1 年前

apache / flink

Flink 是一个分布式批处理和流处理框架

Scala Java big-data flink Python SQL

Java 24.62 k

8 小时前

amark / gun

#区块链#An open source cybersecurity protocol for syncing decentralized graph data.

翻译 - 实时，分散，离线优先的图形协议，用于同步Web。

机器学习人工智能 big-data 区块链 P2P decentralized graph Cryptography crypto offline-first realtime crdt Protocol (disambiguation)数据库 end-to-end encryption dweb dapp web3 metaverse

JavaScript 18.33 k

4 天前

heibaiying / BigData-Notes

大数据入门指南 ⭐

hadoop hdfs Yarn mapreduce hive Apache Spark storm hbase Scala kafka zookeeper flume azkaban sqoop phoenix bigdata big-data

Java 16.25 k

1 年前

prestodb / presto

Presto 是用于大数据的高性能分布式SQL查询引擎

Java presto hive hadoop big-data SQL data lakehouse Query (disambiguation)

Java 16.24 k

5 小时前

andkret / Cookbook

The Data Engineering Cookbook

翻译 - 数据工程手册

data-engineer data-engineering big-data best-practices cookbook

Python 14.1 k

7 天前

apache / predictionio

PredictionIO, a machine learning server for developers and ML engineers.

Scala big-data

Scala 12.53 k

4 年前

yahoo / CMAK

CMAK is a tool for managing Apache Kafka clusters

kafka Scala cluster-management big-data

Scala 11.88 k

2 年前

vesoft-inc / nebula

A distributed, fast open-source graph database featuring horizontal scalability and high availability

翻译 - 具有水平可伸缩性和高可用性的分布式快速开源图形数据库

graph-database distributed 数据库 graphdb raft C++NebulaGraph nebula graph nebulagraph big-data distributed-systems scalability Hacktoberfest

C++ 11.14 k

1 个月前

trinodb / trino

trino 是一个分布式大数据 SQL 查询引擎（前身 PrestoSQL）

Java presto hive hadoop big-data SQL prestodb 数据库 distributed-systems distributed-database 数据科学 datalake jdbc query-engine trino analytics delta-lake iceberg

Java 10.98 k

4 小时前

provectus / kafka-ui

UI for Apache Kafka。一个Kafak 图形化管理工具

kafka-ui kafka-brokers kafka kafka-streams kafka-client Open Source kafka-connect kafka-producer streams big-data apache-kafka cluster-management web-ui kafka-manager kafka-cluster streaming-data event-streaming Hacktoberfest

Java 10.43 k

8 个月前

cython / cython

#编程语言#The most widely used Python to C compiler

翻译 - 使用最广泛的Python到C编译器

Python cython cpython cpython-extensions C C++performance big-data

Python 9.83 k

8 小时前

quickwit-oss / quickwit

#搜索#quickwit 是一个用于日志管理和分析的搜索引擎，是Datadog、Elasticsearch, Loki 和 Tempo 的替代品

Rust log-management logs tantivy cloud-native Open Source big-data cloud-storage distributed-tracing 搜索引擎

Rust 9.77 k

7 小时前

StarRocks / starrocks

StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。

Java 9.67 k

3 小时前

catboost / catboost

#计算机科学#A fast, scalable, high performance Gradient Boosting on Decision Trees library, used for ranking, classification, regression and other machine learning tasks for Python, R, Java, C++. Supports computa...

翻译 - 快速，可扩展，高性能的“决策树加速梯度”库，用于对Python，R，Java，C ++进行排名，分类，回归和其他机器学习任务。支持在CPU和GPU上进行计算。