简述了 DIRT 相关概念。

阅读全文 »

Welcome

 Welcome to My Blog!

博客介绍

 吾生有涯而学无涯,以有涯而逐无涯(有点断章取义,不过追寻知识的热情是必要的)

大事件纪实

标题 内容 日期
混沌初开 建站第一天 2014-11-01
模糊的记忆 Hexo 框架 / next 主题 / 七牛图床 / Gulp 压缩 / 静态资源 CDN / 支持 MathJax 2014~2016
多说关闭 评论系统切换为 Disqus 2017-04-10
Order by Update 文章以最后更新时间倒排展示(避免养成隔一段时间水一篇的坏习惯) 2017-04-22
Aliyun 备案 苏 ICP 2017-05-25
全站 HTTPS TrustAsia 域名证书 2017-10-10
Coding.net 静态页面从 github.io 切换为 coding.net(香港服务器) 2017-11-15
不蒜子 502 页面统计切换为 Lean Cloud,之前的 PV / UV 统计无奈清零 2017-11-19
DDoS 攻击解除 回归不蒜子 2017-11-20
Gitment 延迟加载 Gitment 2018-05-29
回归 Github Page Github Page 开始支持 HTTPS 2019-04-20
全站 CDN 阿里云 DCDN 2019-04-21
简繁切换 支持简体与繁体切换 2019-04-27
支持 Gitalk Gitment 验证存在跨域问题,而 Gitalk 可以无缝迁移 2019-05-01
支持 DaoVoice 可以匿名留言,在线沟通 2019-05-02
暂闭 DaoVoice 出于其服务稳定性的考量,暂时关闭 2019-05-11
设计 Logo 新 Logo 寓意着浩瀚宇宙中的一处安心的港湾 2019-05-11
源站迁移 全站迁移至阿里云 OSS,代替 Github Page 作为源站 2020–01-01
镜像网站 搭建镜像网站 yuzhouwan.github.io 2020-02-09
阅读全文 »

Storm 是什么?

 Apache Storm™ is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing.

为什么要有 Storm?

分布式

 具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等分布式所具备的特性

可扩展性

 计算在多线程、进程 和 服务器之间并行进行

高可靠性

 能管理工作进程 和 节点的故障
 消息处理,能得到一次完成处理的保证

编程模型简单

 降低了并行批处理复杂性

高效实时

 利用 ZeroMQ 保证了消息的快速处理

支持热部署

 加速应用开发

阅读全文 »


 Apache Storm 和 Apache Kafka 相关知识,可以分别参考《Apache Storm 简介》和《Apache Kafka 分布式消息队列框架

搭建 Storm 和 Kafka 的基础环境

搭建 Storm / Kafka 集群

 具体安装步骤,详见我的另一篇博客《Apache Eagle

启动 Kafka

  • Start the zookeeper and kafka server
1
2
$ bin/zookeeper-server-start.sh config/zookeeper.properties
$ bin/kafka-server-start.sh config/server.properties
  • Create a topic
1
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-replicated-topic
  • List topics
1
$ bin/kafka-topics.sh --list --zookeeper localhost:2181
阅读全文 »