宇宙湾

厚积薄发

发表于 更新于 分类于
本文字数： 4.7k 阅读时长 ≈ 4 分钟


　Apache Storm 和 Apache Kafka 相关知识，可以分别参考《Apache Storm 简介》和《Apache Kafka 分布式消息队列框架》

搭建 Storm 和 Kafka 的基础环境

搭建 Storm / Kafka 集群

　具体安装步骤，详见我的另一篇博客《Apache Eagle》

启动 Kafka

  • Start the zookeeper and kafka server

    1
    2
    $ bin/zookeeper-server-start.sh config/zookeeper.properties
    $ bin/kafka-server-start.sh config/server.properties

  • Create a topic

    1
    $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-replicated-topic

  • List topics

    1
    $ bin/kafka-topics.sh --list --zookeeper localhost:2181
阅读全文 »

发表于 更新于 分类于
本文字数： 2.2k 阅读时长 ≈ 2 分钟

Welcome

　Welcome to My Blog!

博客介绍

　吾生有涯而学无涯，以有涯而逐无涯（有点断章取义，不过追寻知识的热情是必要的）

大事件纪实

标题 内容 日期
混沌初开 建站第一天 2014-11-01
模糊的记忆 Hexo 框架 / next 主题 / 七牛图床 / Gulp 压缩 / 静态资源 CDN / 支持 MathJax 2014~2016
多说关闭 评论系统切换为 Disqus 2017-04-10
Order by Update 文章以最后更新时间倒排展示（避免养成隔一段时间水一篇的坏习惯） 2017-04-22
Aliyun 备案 苏 ICP 2017-05-25
全站 HTTPS TrustAsia 域名证书 2017-10-10
Coding.net 静态页面从 github.io 切换为 coding.net（香港服务器） 2017-11-15
不蒜子 502 页面统计切换为 Lean Cloud，之前的 PV / UV 统计无奈清零 2017-11-19
DDoS 攻击解除 回归不蒜子 2017-11-20
Gitment 延迟加载 Gitment 2018-05-29
回归 Github Page Github Page 开始支持 HTTPS 2019-04-20
全站 CDN 阿里云 DCDN 2019-04-21
简繁切换 支持简体与繁体切换 2019-04-27
支持 Gitalk Gitment 验证存在跨域问题，而 Gitalk 可以无缝迁移 2019-05-01
支持 DaoVoice 可以匿名留言，在线沟通 2019-05-02
暂闭 DaoVoice 出于其服务稳定性的考量，暂时关闭 2019-05-11
设计 Logo 新 Logo 寓意着浩瀚宇宙中的一处安心的港湾 2019-05-11
源站迁移 全站迁移至阿里云 OSS，代替 Github Page 作为源站 2020–01-01
镜像网站 搭建镜像网站 yuzhouwan.github.io 2020-02-09
阅读全文 »

发表于 更新于 分类于
本文字数： 75k 阅读时长 ≈ 1:08

Kafka 是什么?

　Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, but with a unique design.

为什么要有 Kafka?

分布式

　具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等，分布式所具备的特性

高吞吐量

　同时为数据生产者和消费者提高吞吐量

高可靠性

　支持多个消费者，当某个消费者失败的时候，能够自动负载均衡

离线 & 实时性

　能将消息持久化，进行批量处理

解耦

　作为各个系统连接的桥梁，避免系统之间的耦合

阅读全文 »

发表于 更新于 分类于
本文字数： 25k 阅读时长 ≈ 23 分钟

介绍 Apache HBase 的基本概念、环境部署、常用命令、实战技巧、架构设计和性能优化，并记录了一些踩过的坑，及其解决方案。

阅读全文 »

发表于 更新于 分类于
本文字数： 43k 阅读时长 ≈ 39 分钟

基本概念

　Apache Eagle 是一个高度可扩展的监控警报平台，采用了设计灵活的应用框架和经过实践考验的大数据技术，如 Kafka，Spark 和 Storm。它提供了丰富的大数据平台监控程序，例如 HDFS / HBase / YARN 服务运行状况检查，JMX 指标，守护进程日志，审核日志 和 Yarn 应用程序。外部 Eagle 开发人员可以自定义应用来监视其 NoSQL 数据库或 Web 服务器，可以自己决定是否共享到 Eagle 应用程序存储库。它还提供最先进的警报引擎来报告安全漏洞，服务故障和应用程序异常，由警报策略定义高度可定制。

Site

　管理一组应用程序实例，用来区别某些被多次安装的应用程序

Application

　应用程序（或监控应用程序）是 Apache Eagle 中的一级公民，它代表端到端的监控 / 警报解决方案，通常包含监控源入站，源的 schema规范，警报策略和 仪表板定义

Stream

　Stream 是 Alert Engine 的输入，每个应用程序应该有自己的由开发人员定义的流。通常，流定义里面包含了一个类似 POJO 的结构。一旦定义完成，应用程序就有了将数据写入Kafka 的逻辑

阅读全文 »