Storm 与 Kafka 的整合之一:Storm

系列文章:


Storm 是什么?

 Apache Storm is a free and open source distributed realtime computation system. – Official website

为什么要有 Storm?

分布式

 具备经济、快速、可靠、易扩充、数据共享、设备共享、通讯方便、灵活等分布式所具备的特性

可扩展性

 计算在多线程、进程 和 服务器之间并行进行

高可靠性

 能管理工作进程 和 节点的故障
 消息处理,能得到一次完成处理的保证

编程模型简单

 降低了并行批处理复杂性

高效实时

 利用 ZeroMQ 保证了消息的快速处理

支持热部署

 加速应用开发

Storm 工作机制

一些主要概念

  • Topology(计算拓扑)
  • Stream(消息流)
  • Spout(消息源)
  • Bolt(消息处理者)
  • grouping(数据的分发方式)
  • Topology(拓扑)
  • Worker(工作进程)
  • Task(执行具体逻辑的任务)
  • Executor(执行 Task 的线程)
  • Configuration(配置)

更多资源,欢迎加入,一起交流学习

Technical Discussion Group:(人工智能 1020982(高级)& 1217710(进阶)| BigData 1670647)

  • Post author:Benedict Jin
  • Post link: https://yuzhouwan.com/posts/13977/
  • Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.