Google BigQuery权威指南

　　目录
　　前言 . 1
　　第1 章 Google BigQuery 是什么 . 7
　　数据处理架构 7
　　关系数据库管理系统 9
　　MapReduce 框架 .10
　　BigQuery: 一个Serverless、分布式 SQL 引擎 11
　　使用BigQuery 13
　　从数据集中获得洞察 .13
　　ETL、EL 和ELT .15
　　强大的分析能力 17
　　易于管理 .19
　　BigQuery 起源 20
　　是什么使BigQuery 成为可能？ 23
　　计算和存储分离 23
　　存储和网络基础设施 .24
　　存储托管 .26
　　与Google Cloud Platform 集成 27
　　安全与合规.28
　　小结 .29
　　第2 章 基础查询语法 . 31
　　简单查询 32
　　使用SELECT 检索行 33
　　使用AS 给列设置别名 .35
　　使用WHERE 进行过滤 .36
　　SELECT *、EXCEPT 和REPLACE 38
　　带WITH 的子查询 .39
　　使用ORDER BY 进行排序 40
　　聚合 .40
　　使用GROUP BY 计算聚合 40
　　使用COUNT 统计记录数 42
　　使用HAVING 过滤分组项 .42
　　使用DISTINCT 查找值 .43
　　数组与结构体简介 45
　　使用ARRAY_AGG 创建数组 46
　　结构体数组.49
　　元组 50
　　使用数组 .50
　　UNNEST 数组 51
　　Join 表 52
　　Join 释疑 .53
　　内连接 56
　　交叉连接 .57
　　外连接 59
　　保存和分享 60
　　查询历史记录和缓存 .60
　　已保存的查询 62
　　视图与分享查询 63
　　小结 .63
　　第3 章 数据类型、函数和运算符 65
　　数值类型和函数 66
　　数学函数 67
　　标准兼容的浮点除法 .68
　　SAFE 函数 68
　　比较 69
　　使用NUMERIC 进行精确的十进制计算 70
　　使用BOOL 72
　　逻辑运算符.72
　　条件表达式.74
　　使用COALESCE 进行更简洁的NULL 处理 74
　　显式类型转换和隐式类型转换 76
　　使用COUNTIF 避免对Boolean 值进行显式类型转换 78
　　字符串函数.79
　　国际化 80
　　打印和解析.82
　　字符串操作函数 83
　　转换函数 .83
　　正则表达式.84
　　字符串函数总结 85
　　使用TIMESTAMP 86
　　解析和格式化时间戳 .87
　　提取日历信息的各部分 88
　　时间戳运算.89
　　Date、Time 和DateTime 90
　　使用GIS 函数.91
　　小结 .92
　　第4 章 将数据加载到BigQuery . 95
　　基础知识 96
　　从本地数据源加载 .96
　　指定Schema 104
　　复制到新表107
　　数据管理（DDL 和DML） 108
　　高效加载数据 . 110
　　联邦查询和外部数据源 113
　　如何使用联邦查询 113
　　何时使用联邦查询和外部数据源 . 118
　　Google Sheets 数据的交互式探索与查询 .126
　　对Cloud Bigtable 数据进行SQL 查询 136
　　传输和导出 142
　　数据传输服务 .142
　　导出Stackdriver 日志 .148
　　使用Cloud Dataflow 读/ 写BigQuery 150
　　迁移自有数据 155
　　小结 158
　　第5 章 使用BigQuery 进行开发 161
　　以编程的方式进行开发 161
　　通过REST 接口使用BigQuery .161
　　Google Cloud 客户端库 .170
　　通过数据科学工具访问BigQuery .189
　　Google Cloud Platform 上使用Notebook .190
　　使用BigQuery、pandas 和Jupyter .195
　　通过R 使用BigQuery 200
　　Cloud Dataflow 202
　　JDBC/ODBC 驱动 205
　　将BigQuery 数据导入Google Slides（G 套件）.206
　　通过Bash 脚本使用BigQuery .208
　　创建数据集和表 209
　　执行查询 212
　　BigQuery 对象 214
　　小结 216
　　第6 章 BigQuery 架构 219
　　高层架构 219
　　查询请求的生命周期 220
　　BigQuery 升级 225
　　查询引擎 Dremel 225
　　Dremel 架构 227
　　查询执行 233
　　存储 249
　　数据存储 249
　　元数据 256
　　小结 266
　　第7 章 性能与成本优化 . 267
　　需要遵循的原则 .267
　　影响性能的主要因素 268
　　控制成本 268
　　度量和故障排除 .270
　　使用 REST API 衡量查询速度 271
　　使用BigQuery Workload Tester 测量查询速度 .273
　　使用Stackdriver 排除任务故障 .275
　　读取查询计划信息 277
　　提高查询速度 .282
　　小化I/O 284
　　缓存历史查询结果 .289
　　执行有效连接 .293
　　避免压垮worker303
　　使用近似聚合函数 307
　　HLL 函数 .309
　　优化数据的存储和访问方式 . 311
　　小化网络开销 311
　　选择有效的存储格式 315
　　通过表分区减少扫描量 .325
　　基于高基数键的聚簇表 .329
　　时间不敏感的用户场景 333
　　批处理查询334
　　文件加载 335
　　小结 336
　　第8 章 高级查询 339
　　可复用查询 339
　　参数化查询340
　　用户自定义SQL 函数 346
　　复用部分查询 .351
　　高级SQL 355
　　使用数组 356
　　窗口函数 366
　　表元数据 373
　　数据定义语言和数据操作语言 376
　　扩展SQL 383
　　JavaScript UDF 383
　　编写脚本 385
　　高级函数 393
　　BigQuery 地理信息系统 393
　　常用的统计函数 401
　　哈希算法 403
　　小结 407
　　第9 章 BigQuery 中的机器学习 409
　　什么是机器学习 .409
　　设计机器学习问题 410
　　机器学习的种类 412
　　构建回归模型 415
　　选择标签 415
　　探索数据集以寻找特征 .416
　　租车点的影响 .417
　　创建训练数据集 420
　　训练和评估模型 421
　　用模型预测423
　　检查模型权重 .426
　　更复杂的回归模型 428
　　构建分类模型 433
　　训练 .434
　　预测 .437
　　选择阈值 437
　　自定义BigQuery ML 439
　　控制数据分割 .439
　　平衡类别 441
　　正则化 442
　　k-Means 聚类 443
　　什么在被聚集？ 443
　　聚类自行车租赁点 444
　　进行聚类 446
　　理解聚类 446
　　数据驱动决策 .449
　　推荐系统 449
　　MovieLens 数据集 450
　　矩阵分解 451
　　进行推荐 453
　　整合用户和电影信息 456
　　在GCP 上自定义机器学习模型 .463
　　超参数调整463
　　AutoML .468
　　Tensorflow 支持 469
　　小结 474
　　第10 章 BigQuery 安全管理 477
　　安全基础设施 477
　　IAM 479
　　身份验证 479
　　角色 .480
　　资源 .483
　　管理BigQuery .484
　　作业管理 484
　　授权用户 485
　　恢复已删除的记录和表 .485
　　持续集成/ 持续部署 486
　　成本、账单报表 489
　　仪表板、监控和审计日志 492
　　可用性、故障恢复和加密 .493
　　Zone、区域（Region）和多区域 .494
　　BigQuery 故障处理 .494
　　持久化、备份和故障恢复 498
　　隐私和加密499
　　监管与合规 500
　　数据本地化500
　　限制对数据子集的访问 .501
　　删除与单个个人相关的所有交易 .505
　　数据丢失预防 .510
　　CMEK 510
　　数据渗漏保护 .513
　　小结 514
　　作者介绍 515
　　封面介绍 515

　　Valliappa Lakshmanan是Google Cloud的数据分析和AI解决方案负责人。他的团队借助BigQuery和Google Cloud上的其他数据分析、机器学习产品，构建软件解决方案来解决业务问题。Jordan Tigani是BigQuery的产品管理总监。作为BigQuery的创始工程师之一，他帮助数据仓库发展成为Google Cloud中成功的产品之一。他拥有20年的软件开发经验。

　　本书的主要内容有：深入探讨BigQuery的内部工作方式，包括其整体架构。学习BigQuery支持的数据类型、函数和运算符。优化查询语句和schema，从而提高性能或降低成本。使用标准SQL中高级功能，如GIS、历史快照、DDL/DML、用户定义函数和脚本。使用BigQuery ML解决各类机器学习问题。学习如何保护数据、监控作业，以及授权用户。