宇宙湾

厚积薄发

发表于 更新于 分类于 本文字数： 1.2k 阅读时长 ≈ 1 分钟

主要利用一次从 HDFS 下载文件的任务，走读了一遍 Hadoop 内关于 RPC 的源码。文章最后一章提供了一个自己实现的 RPC 框架的代码，有兴趣的读者可以看看。

阅读全文 »

发表于 更新于 分类于 本文字数： 489 阅读时长 ≈ 1 分钟

简述了 DIRT 相关概念。

阅读全文 »

发表于 更新于 分类于 本文字数： 571 阅读时长 ≈ 1 分钟

Storm 是什么？

　Apache Storm™ is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing.

为什么要有 Storm？

分布式

　具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等分布式所具备的特性

可扩展性

　计算在多线程、进程 和 服务器之间并行进行

高可靠性

　能管理工作进程 和 节点的故障
　消息处理，能得到一次完成处理的保证

编程模型简单

　降低了并行批处理复杂性

高效实时

　利用 ZeroMQ 保证了消息的快速处理

支持热部署

　加速应用开发

阅读全文 »

发表于 更新于 分类于 本文字数： 4.3k 阅读时长 ≈ 4 分钟


　Apache Storm 和 Apache Kafka 相关知识，可以分别参考《Apache Storm 简介》和《Apache Kafka 分布式消息队列框架》

搭建 Storm 和 Kafka 的基础环境

搭建 Storm / Kafka 集群

　具体安装步骤，详见我的另一篇博客《Apache Eagle》

启动 Kafka

  • Start the zookeeper and kafka server
1
2
$ bin/zookeeper-server-start.sh config/zookeeper.properties
$ bin/kafka-server-start.sh config/server.properties
  • Create a topic
1
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-replicated-topic
  • List topics
1
$ bin/kafka-topics.sh --list --zookeeper localhost:2181
阅读全文 »

发表于 更新于 分类于 本文字数： 33k 阅读时长 ≈ 30 分钟

Apache IoTDB 是什么？

Apache IoTDB™ (Database for Internet of Things) is an IoT native database with high performance for data management and analysis, deployable on the edge and the cloud.

（图片来源：Apache IoTDB™ 官网）

特性

  • 高吞吐量读写
  • 高效的目录结构
  • 丰富的查询语义
  • 硬件成本低
  • 灵活的部署
  • 与开源生态系统的紧密集成

应用场景

  • 高端制造业
  • 本地控制器服务器
  • 云数据管理
阅读全文 »