发表于 | 更新于 | 分类于

什么是 Spark?

　Apache Spark™ is a unified analytics engine for large-scale data processing. – Official website

为什么要有 Spark?

分布式

　具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等分布式所具备的特性

高层次抽象

　RDD（Resilient Distributed Datasets）提供 一个可以被并行计算的 不变、分区的数据集 抽象

快速计算能力

　内存计算 基于内存的迭代计算框架，能够避免计算结果落地，磁盘 I/O 所带来的瓶颈
　Machine Learning、Data Mining 等都需要递归地计算，因此非常适合实现这些算法

高效性能

　DAG（Directed Acyclic Grap）利用有向无环图，构建优化任务中 父 RDD 和 子 RDD 的依赖关系（e.g. Ooize）

　依赖分为两种，一个为窄依赖，如 map / filter / union 等；另一种为宽依赖，如 groupByKey 等
　在划分依赖时，join 需要额外考虑 co-partitione：

  • 如果 RDD 和 cogroup 有相同的 数据结构，将会确定一个 OneToOneDependency

  • 反之，则说明 join 的时候，需要 shuffle（ShuffleDependency）

    [建议]：“因为，wide dependencies 只有等到所有 父 partiton 计算完，并传递结束，才能继续进行下一步运算，所以应该尽量减少宽依赖，避免失败后 recompute 的成本”

容错性

　Lineage 血统，能在计算失败的时候，将会找寻 最小重新计算损耗的 结点，避免全部重新计算

阅读全文 »

发表于 | 更新于 | 分类于

什么是 Flink？

　Apache Flink is an open source platform for distributed stream and batch data processing. Flink’s core is a streaming dataflow engine that provides data distribution, communication, and fault tolerance for distributed computations over data streams. Flink also builds batch processing on top of the streaming engine, overlaying native iteration support, managed memory, and program optimization.

核心组件布局

（图片来源：Apache Flink 官网）
阅读全文 »

发表于 | 更新于 | 分类于

实用技巧

Maven 提速

多线程

1
2
3
# 用 4 个线程构建，以及根据 CPU 核数每个核分配 1 个线程进行构建
$ mvn -T 4 clean install
$ mvn -T 1C clean install

跳过测试

1
2
3
4
5
6
7
8
9
10
-DskipTests               # 不执行测试用例，但编译测试用例类生成相应的 class 文件至 target/test-classes 下
-Dmaven.test.skip=true    # 不执行测试用例，也不编译测试用例类
# 结合上文的`并行执行`
$ mvn -T 1C clean install -Dmaven.test.skip=true
# 如果还是阻塞: 资源管理器 - shutdown all java app
# 如果 jar 包过大，可以下载按照路径放在 repository 中，之后可能还需要 mvn clean 来下载 groovy-all-2.3.11.pom 文件 (mvnrepository.com)
D:\apps\maven\repository\org\codehaus\groovy\groovy-all\2.3.11\groovy-all-2.3.11.jar

编译失败后，接着编译

1
2
3
# 如果是 Apache Eagle 之类带有几十个子项目的工程，如果从头编译所有的模块，会很耗功夫
# 通过指定之前失败的模块名，可以继续之前的编译
$ mvn -rf :moduleName clean install

跳过失败的模块，编译到最后再报错

1
$ mvn clean install --fail-at-end

使用 Nexus 本地私服

　可参考 Maven 学习（四）：使用 Nexus 搭建 Maven 私服

使用 Aliyun 国内镜像

1
2
3
4
5
6
<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>
阅读全文 »

发表于 | 更新于 | 分类于

常用命令

adduser

1
2
3
4
5
6
7
8
9
10
11
12
# 以创建 Apache Eagle 用户为例
$ adduser eagle
$ passwd eagle            # ur password for eagle user
# 赋予用户可以 sudo 的权限
$ chmod u+w /etc/sudoers
$ vim /etc/sudoers
  # 找到 `root ALL=(ALL) ALL` 这行，并在下面添加 eagle 用户
  eagle    ALL=(ALL)    ALL
$ chmod u-w /etc/sudoers
# 切换到 eagle 用户
$ su - eagle

chown

1
2
3
4
# 软链接
$ chown -h superset:superset superset
# 所有子目录及文件
$ chown -R superset:superset superset-0.15.4

crontab

1
2
3
4
5
6
7
# 查看脚本是否执行
$ tail -f /var/log/cron
# 防止 nohup 的定时任务发邮件给 root，导致 var 目录堆积（/var/spool/cron）
$ crontab -e
  # 加在文件开头
  MAILTO=""

date

1
2
# 该时间戳格式为 13 位毫秒级别
$ echo "`date -d '2017-04-21 10:00:00' +%s`000"
阅读全文 »

发表于 | 更新于 | 分类于

基础概念

Coprocessor

　Coprocessor 其实是一个类似 MapReduce 的分析组件，不过它极大简化了 MapReduce 模型。将请求独立地在各个 Region 中并行地运行，并提供了一套框架让用户灵活地自定义 Coprocessor

编程技巧

充分利用好 CellUtil
1
2
3
4
// 直接使用 byte[] 进行匹配，效率会更高
// Bad: cf.equals(Bytes.toString(CellUtil.cloneFamily(cell)))
CellUtil.matchingFamily(cell, cf) && CellUtil.matchingQualifier(cell, col)
// 同理，应尽量使用 `Bytes.equals`，来替代 `String#equals`
发挥好协处理的并行计算能力
1
2
3
4
5
6
7
8
9
10
11
12
// 某些很难使得表数据分布均匀的场景下，可以设置好预分区 [00, 01, 02, ..., 99]，并关闭自动分区（详见：常见命令-分区），则可保证每个 Region 上的只有单个 xx 前缀。这样，导表数据的时候，轮询地在 rowkey 前加上 xx 前缀，则可保证无热点 Region
// 在协处理器的程序中，则可先获取到 xx 前缀，并在构建 Scan 的时候，将前缀加在 startKey/endKey 前面即可
static String getStartKeyPrefix(HRegion region) {
    if (region == null) throw new RuntimeException("Region is null!");
    byte[] startKey = region.getStartKey();
    if (startKey == null || startKey.length == 0) return "00";
    String startKeyStr = Bytes.toString(startKey);
    return isEmpty(startKeyStr) ? "00" : startKeyStr.substring(0, 2);
}
private static boolean isEmpty(final String s) {
    return s == null || s.length() == 0;
}
处理好协处理器程序里的异常

　如果在协处理器里面有异常被抛出，并且 hbase.coprocessor.abortonerror 参数没有开启，那么，该协处理器会直接从被加载的环境中被删除掉。否则，则需要看异常类型，如果是 IOException 类型，则会直接被抛出；如果是 DoNotRetryIOException 类型，则不做重试，抛出异常。否则，默认将会尝试 10 次 （硬编码在 AsyncConnectionImpl#RETRY_TIMER 中了）。因此需要依据自己的业务场景，对异常做好妥善的处理

日志打印
1
2
3
4
5
// 只能使用 Apache Commons 的 Log 类，否则将无法打印
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
private static final Log log = LogFactory.getLog(CoprocessorImpl.class.getName());

部署

1
2
3
4
5
6
7
8
9
10
# 先上传 coprocessor 处理器 jar 包
$ hadoop fs -copyFromLocal /home/hbase/script/coprocessor-0.0.1.jar hdfs://yuzhouwan/hbase/coprocessor/
$ hadoop fs -ls hdfs://yuzhouwan/hbase/coprocessor/
# 卸载旧的 coprocessor
$ alter 'yuzhouwan', METHOD => 'table_att_unset', NAME =>'coprocessor$1'
# 指定新的 coprocessor
$ alter 'yuzhouwan', METHOD => 'table_att', 'coprocessor' => 'hdfs://yuzhouwan/hbase/coprocessor/coprocessor-0.0.1.jar|com.yuzhouwan.hbase.coprocessor.Aggregation|111|'
# 通过查看 RegionServer 的日志，可观察协处理器的运行状况
阅读全文 »