厚积薄发

　Apache Storm 和 Apache Kafka 相关知识，可以分别参考《Apache Storm 简介》和《Apache Kafka 分布式消息队列框架》

搭建 Storm 和 Kafka 的基础环境

搭建 Storm / Kafka 集群

　具体安装步骤，详见我的另一篇博客《Apache Eagle》

启动 Kafka

• Start the zookeeper and kafka server

  1 2	$ bin/zookeeper-server-start.sh config/zookeeper.properties $ bin/kafka-server-start.sh config/server.properties

• Create a topic

  1	$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-replicated-topic

• List topics

  1	$ bin/kafka-topics.sh --list --zookeeper localhost:2181

DIRT是什么？

　DIRT:数据密集型实时(data-intensive real-time)

为什么适用于 Node 开发 ?

轻量

　因为 Node 自身在 I/O 上非常轻量，它善于将数据从一个管道混排 或 代理到另一个管道上，这能在处理大量请求时持有很多开放的连接，并且只占用一小部分内存。(如同浏览器一样，保证了响应能力)

Web 发展形势

　不管是用实时组件增强已有程序，还是打造全新的程序，Web 都在朝着响应性和协作型环境逐渐进发。
而这种新型的 Web 应用程序需要一个能够实时相应大量并发请求的平台来支撑它们。(除此之外，还有 I/O 负载较重的程序也可以用到)

实用技巧

Maven 提速

多线程

1
2
3

# 用 4 个线程构建，以及根据 CPU 核数每个核分配 1 个线程进行构建
$ mvn -T 4 clean install
$ mvn -T 1C clean install

跳过测试

1
2
3
4
5
6
7
8
9
10

-DskipTests               # 不执行测试用例，但编译测试用例类生成相应的 class 文件至 target/test-classes 下
-Dmaven.test.skip=true    # 不执行测试用例，也不编译测试用例类

# 结合上文的`并行执行`
$ mvn -T 1C clean install -Dmaven.test.skip=true

# 如果还是阻塞: 资源管理器 - shutdown all java app

# 如果 jar 包过大，可以下载按照路径放在 repository 中，之后可能还需要 mvn clean 来下载 groovy-all-2.3.11.pom 文件 (mvnrepository.com)
D:\apps\maven\repository\org\codehaus\groovy\groovy-all\2.3.11\groovy-all-2.3.11.jar

编译失败后，接着编译

1
2
3

# 如果是 Apache Eagle 之类带有几十个子项目的工程，如果从头编译所有的模块，会很耗功夫
# 通过指定之前失败的模块名，可以继续之前的编译
$ mvn -rf :moduleName clean install

跳过失败的模块，编译到最后再报错

1

$ mvn clean install --fail-at-end

使用 Nexus 本地私服

　可参考 Maven 学习（四）：使用 Nexus 搭建 Maven 私服

使用 Aliyun 国内镜像

1
2
3
4
5
6

<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>