宇宙湾

Serverless 是什么？

Serverless computing is a cloud computing execution model in which the cloud provider runs the server, and dynamically manages the allocation of machine resources. Pricing is based on the actual amount of resources consumed by an application, rather than on pre-purchased units of capacity. It can be a form of utility computing. — wikipedia.org

Serverless architectures are application designs that incorporate third-party “Backend as a Service” (BaaS) services, and/or that include custom code run in managed, ephemeral containers on a “Functions as a Service” (FaaS) platform. — 《Serverless Architectures》

无服务器架构是基于互联网的系统，其中应用开发不使用常规的服务进程。相反，它们仅依赖于第三方服务（例如 AWS Lambda 服务），客户端逻辑和服务托管远程过程调用的组合。 — 亚马逊 AWS 官方博客

Serverless（无服务器架构）是指服务端逻辑由开发者实现，运行在无状态的计算容器中，由事件触发，完全被第三方管理，其业务层面的状态则存储在数据库或其他介质中。 — 《无服务架构实践手册》

If your PaaS can efficiently start instances in 20ms that run for half a second, then call it serverless. — Adrian Cockroft

优缺点

优势

低成本

运维成本

　服务器、中间件、数据库等均托管于 BaaS/FaaS 平台，用户无需再参与基础设施及软件的维护，省去了集群的运维成本

开发成本

　对比 IaaS 或者 PaaS 平台的服务器或者操作系统，Serverless 的架构中，用户操作的是服务化的组件，比如存储服务、授权服务等，可以缩短开发周期，节约时间成本

按需计费

　Serverless/FaaS 区别于 IaaS/PaaS 预先分配计算资源的计费方式，其计费方式通常是按请求次数及运行时间。如此一来，不仅可以最大程度地利用资源，还能实现真正的按需计费，以降低用户的使用成本

高扩展

　自动进行横向扩展（毫秒级部署，秒级生命周期）

高资源利用率

　提供细粒度的计算能力，最大限度满足实时需求，使得资源利用率大幅度提升

NoOps

　运维的发展经历了，人肉运维、自动化运维、DevOps、AiOps 等。而 Serverless 模式下，用户只需要关心业务编码，真正实现了零运维成本

实用技巧

List

1
2
3
4
5
6
7

List(1, 9, 2, 4, 5) span (_ < 3)       // (List(1), List(9, 2, 4, 5))  碰到不符合就结束

List(1, 9, 2, 4, 5) partition (_ < 3)  // (List(1, 2), List(9, 4, 5))  扫描所有

List(1, 9, 2, 4, 5) splitAt 2          // (List(1, 9), List(2, 4, 5))  以下标为分割点

List(1, 9, 2, 4, 5) groupBy (5 < _)    // Map(false -> List(1, 2, 4, 5), true -> List(9))  分割成 Map 对象，以 Boolean 类型为 Key

Iterator

grouped

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import scala.collection.{AbstractIterator, mutable}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.BigquerySparkSession._

val conf = new SparkConf()
val builder = SparkSession.builder().config(conf).enableHiveSupport()
val spark = builder.getOrCreateBigquerySparkSession()
val df = spark.sql("use db; select * from table")

val dataset = df.rdd.mapPartitions(iter => {

  // 将每个 partition 中的多行数据，以 100 为长度作为一组，进行一次批处理
  iter.grouped(100)
    .flatMap(rows => {
      val records = new mutable.MutableList[String]()
      rows.foreach(row => records.add(JSON.toJSONString(row, false)))
      records
    })
})

val filteredEmptyLine = dataset
  .filter(_ != null)
  .map(JSON.toJSONString(_, false))
  .filter(_.trim.length != 0)

本文主要介绍 Python 的概念与特性、环境部署、基本语法、标准库、第三方库、科学分析工具、Python 工程工具、实战技巧和踩过的一些坑。

介绍

InfluxDB™ is a time series database designed to handle high write and query loads. It is an integral component of the TICK stack. InfluxDB is meant to be used as a backing store for any use case involving large amounts of timestamped data, including DevOps monitoring, application metrics, IoT sensor data, and real-time analytics.

基本概念

DataBase

　类似于传统数据库中的 DataBase 概念

Measurement

　和 OLAP 中广义上的度量概念一致，部分 OLAP 数据库中又称为 Metric

Tag

　和 OLAP 中广义上的维度概念一致，部分 OLAP 数据库中又称为 TagKV

Field

　数值

Timestamp

　时间戳

Points

　数据点

Series

　数据点组成的序列

Retention Policy

　数据过期策略，即 TTL

本文主要介绍如何使用 Apache Spark 实现实时的机器学习。