厚积薄发

Kafka 是什么?

　Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, but with a unique design – Official website

为什么要有 Kafka?

分布式

　具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等，分布式所具备的特性

高吞吐量

　同时为数据生产者和消费者提高吞吐量

高可靠性

　支持多个消费者，当某个消费者失败的时候，能够自动负载均衡

离线 & 实时性

　能将消息持久化，进行批量处理

解耦

　作为各个系统连接的桥梁，避免系统之间的耦合

常用命令

adduser

1
2
3
4
5
6
7
8
9
10
11
12

# 以创建 Apache Eagle 用户为例
$ adduser eagle
$ passwd eagle            # ur password for eagle user
# 赋予用户可以 sudo 的权限
$ chmod u+w /etc/sudoers
$ vim /etc/sudoers
  # 找到 `root ALL=(ALL) ALL` 这行，并在下面添加 eagle 用户
  eagle    ALL=(ALL)    ALL
$ chmod u-w /etc/sudoers
# 切换到 eagle 用户
$ su - eagle

cat

1
2
3

# 查看系统版本
$ cat /etc/issue
  Yuzhouwan Group Enterprise Linux Server release 7.2

chown

1
2
3
4

# 软链接
$ chown -h superset:superset superset
# 所有子目录及文件
$ chown -R superset:superset superset-0.15.4

crontab

1
2
3
4
5
6
7

# 查看脚本是否执行
$ tail -f /var/log/cron
# 防止 nohup 的定时任务发邮件给 root，导致 var 目录堆积（/var/spool/cron）
$ crontab -e
  # 加在文件开头
  MAILTO=""

基础概念

Coprocessor

　Coprocessor 其实是一个类似 MapReduce 的分析组件，不过它极大简化了 MapReduce 模型。将请求独立地在各个 Region 中并行地运行，并提供了一套框架让用户灵活地自定义 Coprocessor

编程技巧

充分利用好 CellUtil

1
2
3
4

// 直接使用 byte[] 进行匹配，效率会更高
// Bad: cf.equals(Bytes.toString(CellUtil.cloneFamily(cell)))
CellUtil.matchingFamily(cell, cf) && CellUtil.matchingQualifier(cell, col)
// 同理，应尽量使用 `Bytes.equals`，来替代 `String#equals`

发挥好协处理的并行计算能力

1
2
3
4
5
6
7
8
9
10
11
12

// 某些很难使得表数据分布均匀的场景下，可以设置好预分区 [00, 01, 02, ..., 99]，并关闭自动分区（详见：常见命令-分区），则可保证每个 Region 上的只有单个 xx 前缀。这样，导表数据的时候，轮询地在 rowkey 前加上 xx 前缀，则可保证无热点 Region
// 在协处理器的程序中，则可先获取到 xx 前缀，并在构建 Scan 的时候，将前缀加在 startKey/endKey 前面即可
static String getStartKeyPrefix(HRegion region) {
    if (region == null) throw new RuntimeException("Region is null!");
    byte[] startKey = region.getStartKey();
    if (startKey == null || startKey.length == 0) return "00";
    String startKeyStr = Bytes.toString(startKey);
    return isEmpty(startKeyStr) ? "00" : startKeyStr.substring(0, 2);
}
private static boolean isEmpty(final String s) {
    return s == null || s.length() == 0;
}

处理好协处理器程序里的异常

　如果在协处理器里面有异常被抛出，并且 hbase.coprocessor.abortonerror 参数没有开启，那么，该协处理器会直接从被加载的环境中被删除掉。否则，则需要看异常类型，如果是 IOException 类型，则会直接被抛出；如果是 DoNotRetryIOException 类型，则不做重试，抛出异常。否则，默认将会尝试 10 次 （硬编码在 AsyncConnectionImpl#RETRY_TIMER 中了）。因此需要依据自己的业务场景，对异常做好妥善的处理

日志打印

1
2
3
4
5

// 只能使用 Apache Commons 的 Log 类，否则将无法打印
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
private static final Log log = LogFactory.getLog(CoprocessorImpl.class.getName());

部署

1
2
3
4
5
6
7
8
9
10
11
12

# 先上传 coprocessor 处理器 jar 包
$ hadoop fs -copyFromLocal /home/hbase/script/coprocessor-0.0.1.jar hdfs://yuzhouwan/hbase/coprocessor/
$ hadoop fs -ls hdfs://yuzhouwan/hbase/coprocessor/
# 卸载旧的 coprocessor
$ alter 'yuzhouwan', METHOD => 'table_att_unset', NAME =>'coprocessor$1'
# 指定新的 coprocessor
$ alter 'yuzhouwan', METHOD => 'table_att', 'coprocessor' => 'hdfs://yuzhouwan/hbase/coprocessor/coprocessor-0.0.1.jar|com.yuzhouwan.hbase.coprocessor.Aggregation|111|'
# 通过查看 RegionServer 的日志，可观察协处理器的运行状况
# jar 路径后的 111 指的是 coprocessor 执行的优先级 {@link Coprocessor.Priority}
# 最后一个分隔符后面，可以传参给 coprocessor，多个参数用逗号分隔 (e.g. k=v,k1=v1)

什么是 Python?

　Python is a programming language that lets you work quickly and integrate systems more effectively – Python Official Site

为什么要有 Python?

胶水语言

　胶水语言，能够把用其他语言制作的各种模块（尤其是 C/C++）很轻松地联结在一起

脚本语言

　ABC 语言的一种继承

　缩短传统的 编写 - 编译 - 链接 - 运行（edit-compile-link-run）过程

ElasticSearch 是什么？

　ElasticSearch 是一款基于 Lucene 开源的 搜索引擎，不但稳定、可靠、快速，同时具备良好的水平扩展能力

主要概念

Cluster 集群

　在一个分布式系统里面，可以通过多个 ElasticSearch 运行实例组成一个集群，这个集群里面有一个节点叫做主节点 (master)， ElasticSearch 是去中心化的，所以这里的主节点是动态选举出来的，不存在单点故障
　在同一个子网内，只需要在每个节点上设置相同的集群名， ElasticSearch 就会自动的把这些集群名相同的节点组成一个集群。节点和节点之间通讯，以及节点间的数据分配和平衡，全部都由 ElasticSearch 自动管理
　在外部看来 ElasticSearch 集群就是一个整体