宇宙湾

厚积薄发

本文主要介绍 Python 的概念与特性、环境部署、基本语法、标准库、第三方库、科学分析工具、Python 工程工具、实战技巧和踩过的一些坑。

阅读全文 »

什么是 Flink?

Apache Flink™ is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform computations at in-memory speed and at any scale.

核心组件布局

Apache Flink Stack

(图片来源:Apache Flink™ 官网)
阅读全文 »

什么是 Docker?

Docker™ provides a way to run applications securely isolated in a container, packaged with all its dependencies and libraries.

环境搭建

下载

MacOS

1
2
# https://docs.docker.com/desktop/mac/install/
# 根据芯片类型,下载并安装

Windows

 从 Toolbox 的 Archive 页面找到 DockerToolbox-19.03.1.exe 并下载

Toolbox 项目已经于 2021 年停止了维护

安装

 注意安装组件的时候,选择 Full installation,其他的均使用默认的选项,即可

配置

代理

1
$ vim ~/.docker/config.json
1
2
3
4
5
6
7
8
9
{
"proxies": {
"default": {
"httpProxy": "socks5://127.0.0.1:1080",
"httpsProxy": "socks5://127.0.0.1:1080",
"noProxy": "*.yuzhouwan.com"
}
}
}
阅读全文 »

有幸作为讲师参与了 ApacheCon 2022 大会,活动已经圆满结束,万分感谢主办方的邀请和筹划!

我的演讲主题是《Apache Druid 云原生架构演进》

以上是相关材料,欢迎大家自取 😄

期间,收到了主办方、观众和读者的一致好评。同时,还结识了一波大佬,这也是我本次最大的收获,感谢!

以下,则是本次演讲详细剖析的三个核心问题:

  1. 我们为什么要演进到云原生架构?
  2. 如果要实现云原生化,那我们又要做哪些事情呢?
  3. 而在这个过程中,可能还会踩到哪些坑呢?

感谢你们的关注与支持!!!

阅读全文 »

ZooKeeper 是什么?

 ZooKeeper 是一个基于 Google Chubby 论文实现的一款解决分布式数据一致性问题的开源实现,方便了依赖 ZooKeeper 的应用实现 数据发布 / 订阅负载均衡服务注册与发现分布式协调事件通知集群管理Leader 选举分布式锁和队列 等功能

基本概念

集群角色

 一般的,在分布式系统中,构成集群的每一台机器都有自己的角色,最为典型的集群模式就是 Master / Slave 主备模式。在该模式中,我们把能够处理所有写操作的机器称为 Master 节点,并把所有通过异步复制方式获取最新数据、提供读服务的机器称为 Slave 节点

(利用 Axure™ 绘制而成)

 而 ZooKeeper 中,则是引入了 领导者(Leader)跟随者(Follower)观察者(Observer) 三种角色 和 领导(Leading)跟随(Following)观察(Observing)寻找(Looking) 等相应的状态。在 ZooKeeper 集群中的通过一种 Leader 选举的过程,来选定某个节点作为 Leader 节点,该节点为客户端提供服务。而 FollowerObserver 节点,则都能提供服务,唯一的区别在于,Observer 机器不参与 Leader 选举过程 和 写操作"过半写成功"策略,Observer 只会被告知已经 commit 的 proposal。因此 Observer 可以在不影响写性能的情况下提升集群的读性能(详见下文 “性能优化 - 优化策略 - Observer 模式” 部分)

(利用 Axure™ 绘制而成)
阅读全文 »