发表于 | 更新于 | 分类于

什么是 Spark?

　Apache Spark™ is a unified analytics engine for large-scale data processing. – Official website

为什么要有 Spark?

分布式

　具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等分布式所具备的特性

高层次抽象

　RDD（Resilient Distributed Datasets）提供 一个可以被并行计算的 不变、分区的数据集 抽象

快速计算能力

　内存计算 基于内存的迭代计算框架，能够避免计算结果落地，磁盘 I/O 所带来的瓶颈
　Machine Learning、Data Mining 等都需要递归地计算，因此非常适合实现这些算法

高效性能

　DAG（Directed Acyclic Grap）利用有向无环图，构建优化任务中 父 RDD 和 子 RDD 的依赖关系

Spark DAG

（图片来源：spark.apache.org）

　其中，依赖分为两种，一个为窄依赖（Narrow Dependencies），如 map / filter / union 等；另一种为宽依赖（Wide Dependencies），如 groupByKey 等

　在划分依赖时，join 需要额外考虑 co-partitione：

  • 如果 RDD 和 cogroup 有相同的 数据结构，将会确定一个 OneToOneDependency

  • 反之，则说明 join 的时候，需要 shuffle（ShuffleDependency）

    因为，宽依赖只有等到所有 父 partiton 计算完，并传递结束，才能继续进行下一步运算，所以应该尽量减少宽依赖，避免失败后 recompute 的成本

Narrow Dependencies and Wide Dependencies

（图片来源：spark.apache.org）

容错性

　Lineage 血统，能在计算失败的时候，将会找寻 最小重新计算损耗的 结点，避免全部重新计算

阅读全文 »

发表于 | 更新于 | 分类于

基础概念

Coprocessor

　Coprocessor 其实是一个类似 MapReduce 的分析组件，不过它极大简化了 MapReduce 模型。将请求独立地在各个 Region 中并行地运行，并提供了一套框架让用户灵活地自定义 Coprocessor

编程技巧

充分利用好 CellUtil
1
2
3
4
// 直接使用 byte[] 进行匹配，效率会更高
// Bad: cf.equals(Bytes.toString(CellUtil.cloneFamily(cell)))
CellUtil.matchingFamily(cell, cf) && CellUtil.matchingQualifier(cell, col)
// 同理，应尽量使用 `Bytes.equals`，来替代 `String#equals`
发挥好协处理的并行计算能力
1
2
3
4
5
6
7
8
9
10
11
12
// 某些很难使得表数据分布均匀的场景下，可以设置好预分区 [00, 01, 02, ..., 99]，并关闭自动分区（详见：常见命令-分区），则可保证每个 Region 上的只有单个 xx 前缀。这样，导表数据的时候，轮询地在 rowkey 前加上 xx 前缀，则可保证无热点 Region
// 在协处理器的程序中，则可先获取到 xx 前缀，并在构建 Scan 的时候，将前缀加在 startKey/endKey 前面即可
static String getStartKeyPrefix(HRegion region) {
    if (region == null) throw new RuntimeException("Region is null!");
    byte[] startKey = region.getStartKey();
    if (startKey == null || startKey.length == 0) return "00";
    String startKeyStr = Bytes.toString(startKey);
    return isEmpty(startKeyStr) ? "00" : startKeyStr.substring(0, 2);
}
private static boolean isEmpty(final String s) {
    return s == null || s.length() == 0;
}
处理好协处理器程序里的异常

　如果在协处理器里面有异常被抛出，并且 hbase.coprocessor.abortonerror 参数没有开启，那么，该协处理器会直接从被加载的环境中被删除掉。否则，则需要看异常类型，如果是 IOException 类型，则会直接被抛出；如果是 DoNotRetryIOException 类型，则不做重试，抛出异常。否则，默认将会尝试 10 次 （硬编码在 AsyncConnectionImpl#RETRY_TIMER 中了）。因此需要依据自己的业务场景，对异常做好妥善的处理

日志打印
1
2
3
4
5
// 只能使用 Apache Commons 的 Log 类，否则将无法打印
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
private static final Log log = LogFactory.getLog(CoprocessorImpl.class.getName());

部署

1
2
3
4
5
6
7
8
9
10
# 先上传 coprocessor 处理器 jar 包
$ hadoop fs -copyFromLocal /home/hbase/script/coprocessor-0.0.1.jar hdfs://yuzhouwan/hbase/coprocessor/
$ hadoop fs -ls hdfs://yuzhouwan/hbase/coprocessor/
# 卸载旧的 coprocessor
$ alter 'yuzhouwan', METHOD => 'table_att_unset', NAME =>'coprocessor$1'
# 指定新的 coprocessor
$ alter 'yuzhouwan', METHOD => 'table_att', 'coprocessor' => 'hdfs://yuzhouwan/hbase/coprocessor/coprocessor-0.0.1.jar|com.yuzhouwan.hbase.coprocessor.Aggregation|111|'
# 通过查看 RegionServer 的日志，可观察协处理器的运行状况
阅读全文 »

发表于 | 更新于 | 分类于

实用技巧

Maven 提速

多线程

1
2
3
# 用 4 个线程构建，以及根据 CPU 核数每个核分配 1 个线程进行构建
$ mvn -T 4 clean install
$ mvn -T 1C clean install

跳过测试

1
2
3
4
5
6
7
8
9
10
-DskipTests               # 不执行测试用例，但编译测试用例类生成相应的 class 文件至 target/test-classes 下
-Dmaven.test.skip=true    # 不执行测试用例，也不编译测试用例类
# 结合上文的`并行执行`
$ mvn -T 1C clean install -Dmaven.test.skip=true
# 如果还是阻塞: 资源管理器 - shutdown all java app
# 如果 jar 包过大，可以下载按照路径放在 repository 中，之后可能还需要 mvn clean 来下载 groovy-all-2.3.11.pom 文件 (mvnrepository.com)
D:\apps\maven\repository\org\codehaus\groovy\groovy-all\2.3.11\groovy-all-2.3.11.jar

编译失败后，接着编译

1
2
3
# 如果是 Apache Eagle 之类带有几十个子项目的工程，如果从头编译所有的模块，会很耗功夫
# 通过指定之前失败的模块名，可以继续之前的编译
$ mvn -rf :moduleName clean install

跳过失败的模块，编译到最后再报错

1
$ mvn clean install --fail-at-end

使用 Nexus 本地私服

　可参考 Maven 学习（四）：使用 Nexus 搭建 Maven 私服

使用 Aliyun 国内镜像

1
2
3
4
5
6
<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>
阅读全文 »

发表于 | 更新于 | 分类于

Git Blame

1
2
3
# 查看文件中，每一行的修改人和最后改动时间
$ git blame pom.xml
  ^e81ccde3 (BenedictJin 2018-06-04 11:16:19 +0800   1) <?xml version="1.0" encoding="UTF-8"?>

Git Branch

1
2
3
4
5
6
# 克隆当前分支，以此创建新的 branch，并切换
$ git checkout -b <branch>
# 重命名 branch 名称
$ git branch -m <old_name> <new_name>
$ git branch -m <new_name>

Git Cache

1
2
3
4
5
6
7
# 添加 .gitignore 文件之后，可能有些文件报错 `ignored tracked with git`
# 需要用 `git rm --cached` 进行删除
$ git rm --cached <file>
# 部分动态文件可能报错文件内容不一致 `the following files have staged content different from both the file and the HEAD`
# 需要增加 `-f` 参数进行强制删除
$ git rm --cached -f .idea/workspace.xml
阅读全文 »

发表于 | 更新于 | 分类于

常用命令

adduser

1
2
3
4
5
6
7
8
9
10
11
12
# 以创建 Apache Eagle 用户为例
$ adduser eagle
$ passwd eagle            # ur password for eagle user
# 赋予用户可以 sudo 的权限
$ chmod u+w /etc/sudoers
$ vim /etc/sudoers
  # 找到 `root ALL=(ALL) ALL` 这行，并在下面添加 eagle 用户
  eagle    ALL=(ALL)    ALL
$ chmod u-w /etc/sudoers
# 切换到 eagle 用户
$ su - eagle

chown

1
2
3
4
# 软链接
$ chown -h superset:superset superset
# 所有子目录及文件
$ chown -R superset:superset superset-0.15.4

crontab

1
2
3
4
5
6
7
# 查看脚本是否执行
$ tail -f /var/log/cron
# 防止 nohup 的定时任务发邮件给 root，导致 var 目录堆积（/var/spool/cron）
$ crontab -e
  # 加在文件开头
  MAILTO=""

date

1
2
# 该时间戳格式为 13 位毫秒级别
$ echo "`date -d '2017-04-21 10:00:00' +%s`000"
阅读全文 »