厚积薄发

Gradle 是什么？

　Gradle™ 是一个基于 Apache Ant 和 Apache Maven 概念的项目自动化建构工具。它使用一种基于 Groovy 的特定领域语言来声明项目设置，而不是传统的 XML。当前其支持的语言限于 Java、Groovy 和 Scala，计划未来将支持更多的语言。 — wikipedia.org

特性

• DSL 声明项目的配置，更加直观
• 细粒度的传递依赖管理
• 增量编译
• 高效的内存执行

什么是 Golang？

　Go™ is a programming language built to resemble a simplified version of the C programming language.

特性

类别

• 静态语言
• 编译型语言

优点

• 语言层面支持并发
• 无依赖，直译机器码
• 内置 runtime，支持 GC
• 可跨平台编译
• 支持内嵌 C
• 丰富的标准库
• 学习曲线低

缺点

• 接口是枚举类型
• import 包不支持版本
• goroutine 一旦启动，切换将不受程序控制

环境配置

安装

　根据操作系统（这里以 MacOS 为例），在 Download 页面下载对应的安装包，进行安装

1
2
3

# 安装完成后，iTerm 中看到可以执行 go 命令了
$ which go
  /usr/local/go/bin/go

配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# 环境变量
$ vim ~/.bashrc
  export GOROOT=/usr/local/go
  export PATH=$PATH:$GOROOT/bin

# 工作目录
# bin: 存放可执行文件
# pkg: 存放编译好的库文件
# src: 存放 go 的源文件
$ mkdir -p /code/gopath
$ vim ~/.bashrc
  export GOPATH=/code/gopath
  export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

$ source ~/.bashrc

什么是人工智能

　人工智能（Artificial Intelligence, AI）亦称机器智能，是指由人工制造出来的系统所表现出来的智能。 — wikipedia.org

　从 深蓝到 AlphaZero，人工智能的智力水平、普适性、学习能力 正在以爆炸式地速度快速发展；
　从 棋类到 医学，人工智能开始在各类应用领域，都在大展身手；
　从 CPU / GPU 到 TPU，人工智能的计算能力正向着无法穷举的极限不断逼近 …

　但是，我们并不浮躁，踏踏实实地点亮 AI 知识树的每个枝叶，才是我们每位富有科学精神的人所应该做的

关于本文

　我们将分为三块对 AI 进行诠释

　首先，将介绍人工智能的主流思想和实用技巧，通过一些耳熟能详的有趣定理，我们可以对人工智能有些直观、初步的认识；随后，言归正传，我们将开始接触 AI 领域的几大理论支柱，由浅入深地学习 统计学、微积分、线性代数、概率论 等知识体系；最后，落地到实践，我们需要紧跟人工智能的技术发展前沿，对重大的突破性项目进行了解、学习，以及运用。如此，对人工智能领域进行横向分层，可以很方便地找到我们学习的突破点

　不过，出于文章编排的考虑，可能部分编码就要放在其他博文中了，如有不便，还望见谅（Python、Prolog、R、Java）。本文持续更新中，若有不妥之处，还请不吝赐教哈 (^o^)/

主流思想

演绎法 & 溯因法 & 归纳法

实用技巧

Occam 剃刀原理

　奥卡姆剃刀（Occam´s Razor），意为简约之法，是由 14 世纪逻辑学家、圣方济各会修士奥卡姆的威廉提出的一个解决问题的法则，即"切勿浪费较多资源，去做'用较少的资源，同样可以做好'的事情"，相同思想见于郑板桥的删繁就简三秋树

关于本文

　业余玩家的一些学习笔记（哈哈~ 浪起来吧~~~）

　微积分、线性代数、概率论 等知识可以参阅另一篇文章《人工智能》

函数

函数正交

　正交是线性代数的概念，是垂直这一直观概念的推广。作为一个形容词，只有在一个确定的内积空间中才有意义。若内积空间中两向量的内积为 0，则称它们是正交的。如果能够定义向量间的夹角，则正交可以直观的理解为垂直。物理中：运动的独立性，也可以用正交来解释

级数

级数

　在数学中，一个有穷或无穷的序列 $u_1, u_2, u_3, u_4 \ldots$ 的和 $s=u_1 + u_2 + u_3 + \ldots$ 称为级数。如果序列是有穷序列，其和称为有穷级数；反之，称为无穷级数（一般简称为级数）

格兰迪级数

　格兰迪级数（Grandi´s series），即 $1 − 1 + 1 − 1 + \cdots$，记做 $\sum_{n=0}^{+\infty}{(-1)^n}$。这是一种发散级数。在 1703 年由意大利数学家格兰迪发表，后来荷兰数学家丹尼尔·伯努利和瑞士数学家莱昂哈德·欧拉等人也都曾研究过它。格兰迪级数的欧拉和和切萨罗和均为 $\frac{1}2$

　比较简单的一种证法如下（下文 $p$ 进数中也有一段印证）：

$S = 1 - 1 + 1 - 1 + \cdots$
$1 - S = 1 - (1 - 1 + 1 - 1 + \cdots) = 1 - 1 + 1 - 1 + \cdots) = S$
$2S = 1$
$S = \frac{1}2$

傅里叶级数

　在数学中，傅里叶级数是把类似波的函数表示成简单正弦波的方式。更正式地说，它能将任何周期函数或周期信号分解成一个（可能由无穷个元素组成的）简单振荡函数的集合，即正弦函数和余弦函数（或者，等价地使用复指数）

　按照傅里叶的理论，任何周期性变化的信号量，都可以分解成对应的直流分量和许多交流分量的叠加。直流分量：幅值不随时间变化的量（也可以看作信号的时间均值）；交流分量，幅值随时间做周期性变化的量

基本概念

　Superset 是 Airbnb 开源的一个旨在视觉，直观和交互式的数据探索平台（曾用名 Panoramix、Caravel，现已进入 Apache 孵化器）

基础组件

Flask

　Python 几大著名 Web 框架之一，以其轻量级, 高可扩展性而著名

• Jinja2
  模板引擎

• Werkzeug
  WSGI 工具集

Gunicorn

　Gunicorn 是一个开源的 Python WSGI HTTP 服务器，移植于 Ruby 的 Unicorn 项目的采用 pre-fork 模式的服务器

WSGI

　WSGI，即 Python Web Server Gateway Interface，是专门用于 Python 应用程序或框架与 Web 服务器之间的一种接口，没有官方的实现，因为 WSGI 更像一个协议，只要遵照这些协议，WSGI 应用都可以在 任何服务器上运行，反之亦然

Pre-Fork

　一个进程处理一个请求，基于 select 模型，所以最多一次创建 1024 个进程
　预先创建进程，pre-fork 采用的是预派生子进程方式，用子进程处理不同的请求，每个请求对应一个子进程，进程之间是彼此独立的
　一定程度上加快了进程的响应速度

关于本文

　虽然接触 Java 已经 8 年之久，可惜学习之初的笔记文档没能很好地保存下来。本文是近几年工作学习中遇到的一些零散的知识点，包括了 基础概念、实用的编程技巧、代码可读性、设计模式、性能优化（工具 & 编码）、测试相关、JVM 相关、常用的工具和常见问题。本着好记性不如烂笔头的初衷，在不断地踩坑和爬坑的过程中，慢慢地记录成文。期待着本文能起到抛砖引玉的作用，以看到大家的真知灼见。

基础知识

注解

GuardedBy

　@GuardedBy 注解可以作用于某一个属性或者方法，约定在访问这些被注解标记的资源时，能被同步代码块保护着。简单的使用案例如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

@GuardedBy("obj")
private ConcurrentMap<String, String> map = new ConcurrentHashMap<>();
private final Object obj = new Object();

public void put(String k, String v) {
    synchronized (obj) {
        map.put(k, v);
    }
}

/**
 * If you use `error prone` tool to check this, this annotation should be `@SuppressWarnings("GuardedBy")`
 * {@see https://errorprone.info/bugpattern/GuardedBy}
 * {@see https://github.com/apache/incubator-druid/pull/6868#discussion_r249639199}
 */
@SuppressWarnings("FieldAccessNotGuarded")
public void remove(String k) {
    map.remove(k);
}

@Override
public String toString() {
    synchronized (obj) {
        return "GuardedByExample{" +
                "map=" + map +
                '}';
    }
}

Tips: Code Example from Apache Druid；另外，error-prone 工具支持对多种版本的 @GuardedBy 进行检查

大数据生态圈中，保证一致性的方式举不胜举

• Hadoop 用 Zookeeper（Zab，即支持事务顺序的 Paxos）
• ElasticSearch 用 Hash 路由算法（而非一致性 Hash）
• Cassandra 用 Gossip 闲话算法
• Redis 用 Raft 选举算法

他们各有什么区别，为什么会如此选型？

Paxos 选举算法

　Paxos 是最先解决拜占庭将军问题的算法，利用过半选举的机制，保证了集群数据副本的一致性（微服务中服务注册与发现的场景，其实已经不再适用了）

Raft 选举算法

　Redis 使用 Raft 实现了自己的分布式一致性。Raft 本身和 Paxos 并没有场景上的区别。更多的是，协议上的简化、Term 概念的强化、Log 只会从 Leader 到 Follower 单向同步，使得实现起来会很方便

Zab 原子广播协议

　Hadoop 偏向于离线的海量数据处理，利用 Zookeeper 来保证数据副本的一致性，是最为合适的

Hash 路由算法

　ElasticSearch 集群接收到为文档创建索引的请求时，需要选择在哪一个 shard（完整且独立的 Lucene 索引实例）上对文档进行索引。ElasticSearch 采用的是 djb2 哈希算法（俗称 times33），对要索引文档默认或指定的 key 进行哈希 hash(key)，然后再对 ElasticSearch 集群中 shard 的数量 n 进行取模，即 $hash(key) \, mod \, n$

一致性 Hash

　用于对数据存储进行负载均衡的算法。最新的进展，是在去年 Google 发表的一篇 有界负载的一致性 Hash 算法的论文。该算法保证了负载均衡一致性和稳定性的同时，在均匀性方面做出了实质性地改进。同时，Consistent Hashing with Bounded Loads 算法 也在 HaProxy 开源项目中得以应用，有效减少了其 8 倍的缓存带宽

Gossip 闲话算法

　Gossip 主要被 Cassandra 用于实现其分布式一致性。因为 Cassandra 框架，更看重 去中心化 和 容错 的特性，在不违背 CAP 定理的情况下，能够接受 最终一致性