宇宙湾

如何将 Mac 这个生产工具的效能发挥到极致呢（如何省出一个小长假）？本文将从 Mac 的基础环境配置、Java、Maven、高级命令、工具、快捷键和预先整理相关资源等方面，来阐述如何提升工作效率的。

ElasticSearch 是什么？

　ElasticSearch™ 是一款基于 Lucene 的搜索引擎，不但稳定、可靠、快速，同时具备良好的水平扩展能力

特性

• 功能丰富，且开箱即用
• 横向可扩展性
• 分片机制更好地解决热点问题
• 多副本有效保证了高可用
• 精确的熔断器机制
• 社区庞大，生态完善

主要概念

Cluster 集群

　在一个分布式系统里面，可以通过多个 ElasticSearch 节点组成一个集群。集群中会动态选举出一个主节点，保证了 ElasticSearch 集群不存在单点故障
　在同一子网内，只需要将进程设置为相同的集群名，ElasticSearch 就会把这些集群名相同的进程自动组成一个集群。集群中各节点间的通讯和数据负载均衡，全部都由 ElasticSearch 自动管理

Node 节点

　每一个 ElasticSearch 进程称为一个 Node 节点。在测试环境中，可以在一台服务器上运行多个 ElasticSearch 进程；但生产环境中，则建议每台服务器只运行一个 ElasticSearch 进程

Index 索引

　ElasticSearch 中的索引是文档数据存储的地方，相当于是传统关系数据库中的 DataBase 概念。更多逻辑上的对应关系，如下表所示：

Serverless 是什么？

Serverless computing is a cloud computing execution model in which the cloud provider runs the server, and dynamically manages the allocation of machine resources. Pricing is based on the actual amount of resources consumed by an application, rather than on pre-purchased units of capacity. It can be a form of utility computing. — wikipedia.org

Serverless architectures are application designs that incorporate third-party “Backend as a Service” (BaaS) services, and/or that include custom code run in managed, ephemeral containers on a “Functions as a Service” (FaaS) platform. — 《Serverless Architectures》

无服务器架构是基于互联网的系统，其中应用开发不使用常规的服务进程。相反，它们仅依赖于第三方服务（例如 AWS Lambda 服务），客户端逻辑和服务托管远程过程调用的组合。 — 亚马逊 AWS 官方博客

Serverless（无服务器架构）是指服务端逻辑由开发者实现，运行在无状态的计算容器中，由事件触发，完全被第三方管理，其业务层面的状态则存储在数据库或其他介质中。 — 《无服务架构实践手册》

If your PaaS can efficiently start instances in 20ms that run for half a second, then call it serverless. — Adrian Cockroft

优缺点

优势

低成本

运维成本

　服务器、中间件、数据库等均托管于 BaaS/FaaS 平台，用户无需再参与基础设施及软件的维护，省去了集群的运维成本

开发成本

　对比 IaaS 或者 PaaS 平台的服务器或者操作系统，Serverless 的架构中，用户操作的是服务化的组件，比如存储服务、授权服务等，可以缩短开发周期，节约时间成本

按需计费

　Serverless/FaaS 区别于 IaaS/PaaS 预先分配计算资源的计费方式，其计费方式通常是按请求次数及运行时间。如此一来，不仅可以最大程度地利用资源，还能实现真正的按需计费，以降低用户的使用成本

高扩展

　自动进行横向扩展（毫秒级部署，秒级生命周期）

高资源利用率

　提供细粒度的计算能力，最大限度满足实时需求，使得资源利用率大幅度提升

NoOps

　运维的发展经历了，人肉运维、自动化运维、DevOps、AiOps 等。而 Serverless 模式下，用户只需要关心业务编码，真正实现了零运维成本

实用技巧

List

1
2
3
4
5
6
7

List(1, 9, 2, 4, 5) span (_ < 3)       // (List(1), List(9, 2, 4, 5))  碰到不符合就结束

List(1, 9, 2, 4, 5) partition (_ < 3)  // (List(1, 2), List(9, 4, 5))  扫描所有

List(1, 9, 2, 4, 5) splitAt 2          // (List(1, 9), List(2, 4, 5))  以下标为分割点

List(1, 9, 2, 4, 5) groupBy (5 < _)    // Map(false -> List(1, 2, 4, 5), true -> List(9))  分割成 Map 对象，以 Boolean 类型为 Key

Iterator

grouped

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

import scala.collection.{AbstractIterator, mutable}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.BigquerySparkSession._

val conf = new SparkConf()
val builder = SparkSession.builder().config(conf).enableHiveSupport()
val spark = builder.getOrCreateBigquerySparkSession()
val df = spark.sql("use db; select * from table")

val dataset = df.rdd.mapPartitions(iter => {

  // 将每个 partition 中的多行数据，以 100 为长度作为一组，进行一次批处理
  iter.grouped(100)
    .flatMap(rows => {
      val records = new mutable.MutableList[String]()
      rows.foreach(row => records.add(JSON.toJSONString(row, false)))
      records
    })
})

val filteredEmptyLine = dataset
  .filter(_ != null)
  .map(JSON.toJSONString(_, false))
  .filter(_.trim.length != 0)

本文主要介绍 Python 的概念与特性、环境部署、基本语法、标准库、第三方库、科学分析工具、Python 工程工具、实战技巧和踩过的一些坑。