Apache IoTDB 是什么?

Apache IoTDB™ (Database for Internet of Things) is an IoT native database with high performance for data management and analysis, deployable on the edge and the cloud.

(图片来源:Apache IoTDB™ 官网)

特性

  • 高吞吐量读写
  • 高效的目录结构
  • 丰富的查询语义
  • 硬件成本低
  • 灵活的部署
  • 与开源生态系统的紧密集成

应用场景

  • 高端制造业
  • 本地控制器服务器
  • 云数据管理
阅读全文 »

什么是 Flink?

Apache Flink™ is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform computations at in-memory speed and at any scale.

核心组件布局

Apache Flink Stack

(图片来源:Apache Flink™ 官网)
阅读全文 »

基本概念

 Apache Eagle 是一个高度可扩展的监控警报平台,采用了设计灵活的应用框架和经过实践考验的大数据技术,如 KafkaSparkStorm。它提供了丰富的大数据平台监控程序,例如 HDFS / HBase / YARN 服务运行状况检查JMX 指标守护进程日志审核日志Yarn 应用程序。外部 Eagle 开发人员可以自定义应用来监视其 NoSQL 数据库或 Web 服务器,可以自己决定是否共享到 Eagle 应用程序存储库。它还提供最先进的警报引擎来报告安全漏洞服务故障应用程序异常,由警报策略定义高度可定制

Site

 管理一组应用程序实例,用来区别某些被多次安装的应用程序

Application

 应用程序(或监控应用程序)是 Apache Eagle 中的一级公民,它代表端到端监控 / 警报解决方案,通常包含监控源入站,源的 schema规范,警报策略仪表板定义

Stream

 Stream 是 Alert Engine 的输入,每个应用程序应该有自己的由开发人员定义的流。通常,流定义里面包含了一个类似 POJO 的结构。一旦定义完成,应用程序就有了将数据写入Kafka 的逻辑

阅读全文 »

Aapche Drill 是什么?

Apache Drill™ is a distributed MPP query layer that supports SQL and alternative query languages against NoSQL and Hadoop data storage systems. It was inspired in part by Google’s Dremel.

Drill

(图片来源:Pexels™ 官网,已确认无版权)

优缺点

优势

  • 支持自定义的嵌套数据结构
  • 兼容 Hive(包括 Hive 的 UDF,且支持自定义 UDF)
  • 高性能、低延迟的 SQL 查询
  • 支持多数据源(插件化,包括 Apache KafkaApache HBase、Apache Hive、OpenTSDB、S3
UDF(User Defined Funcation):用户定义普通函数,只作用于单行记录
UDAF(User Defined Aggregation Funcation):用户定义聚合函数,只作用于多行记录
UDTF(User Defined Table Generating Funcation):用户定义表生成函数,可以输入一行记录输出多行记录

劣势

  • 与标准 SQL 略有不同
  • 外部依赖较多(基于 Apache ZooKeeper 实现分布式、基于 Apache Calcite 实现 SQL 解析)
  • 比较小众,相关资料缺乏
阅读全文 »

介绍 Antlr 基本概念、特性、工作机制、内部运作流程,以及踩到的一些坑。

阅读全文 »