- 作者: 王珂、杨博
- 定价: 2800.0元
- 装帧: 视频
- 出版社: 中国矿业大学出版社有限责任公司
- ISBN: 978-7-900785-90-9
煤矿安全生产三维仿真库通过使用最新三维动画模拟技术制作，以影视动画方式再现煤矿职工井上、井下作业过程和生活场景。“煤矿安全生产三维仿真库之事故案例集一”高精度、高仿真性直观展示最近几年来煤矿职工井下生产过程中发生的机电事故（共7起）、顶板事故（共9起）、通风事故（共2起）、瓦斯事故（共4起）、水害事故（共5起），系统的总结了煤矿易发、常见事故的产生原因和发展规律，对如何遏制煤矿各类事故的发生提出了有效的防治对策。
- 作者: 王珂、杨博
- 定价: 2800.0元
- 装帧:
- 出版社: 中国矿业大学出版社有限责任公司
- ISBN: 978-7-900785-91-3
煤矿安全生产三维仿真库通过使用最新三维动画模拟技术制作，以影视动画方式再现煤矿职工井上、井下作业过程和生活场景。“煤矿安全生产三维仿真库之事故案例集二”高精度、高仿真性直观展示最近几年来煤矿职工井下生产过程中发生的机电事故（共10起）、爆破及爆炸事故（共4起）、火灾事故（共4起）、其他事故（共5起），系统的总结了煤矿易发、常见事故的产生原因和发展规律，对如何遏制煤矿备类事故的发生提出了有效的防治对策。
本片通过最鲜明的实例和最直观的教育，来提高煤矿从业人员的安全生产意识，可作为煤矿企业区队班组在班前、班后会上进行安全事故警示教育的生动视频教材，也可作为煤矿安全培训教学的课件使用。
任务一 搭建Spark 开发环境
一、任务说明 1
（一）学习目标 1
（二）思维导图 2
二、知识引入 2
（一）Spark 概述 2
（二）Spark 整体架构 3
（三）Spark 运行流程 4
（四）Spark 和Hadoop 的对比 5
（五）Spark 发展历程 6
三、任务实现 7
（一）安装虚拟机软件与虚拟机 7
（二）安装远程服务器管理工具 14
（三）安装JDK 17
（四）搭建Hive 环境 19
（五）安装Spark 分布式独立集群 24
四、知识拓展——基于Spark 技术的国家数字化发展战略引擎 31
五、任务考评 32
六、任务实训 33
任务二 项目数据采集
一、任务说明 35
（一）学习目标 35
（二）思维导图 36
二、知识引入 36
（一）数据采集的概念和常用工具 36
（二）数据采集的多元视角与深度实践 37
（三）Sqoop 概述 38
（四）Flume 概述 39
三、任务实现 40
（一）Sqoop 安装 40
（二）获取电力离线数据 42
（三）Flume 安装 45
（四）准备电力实时数据 46
四、知识拓展——数据采集是大数据平台建设的关键数据入口 49
五、任务考评 50
六、任务实训 51
任务三 探索Scala 编程方法
一、任务说明 53
（一）学习目标 53
（二）思维导图 54
二、知识引入 54
（一）Scala 简介 54
（二）Scala 基础语法 56
（三）Scala 数据结构 61
（四）面向对象编程 62
（五）模式匹配与样例类 64
三、任务实现 67
（一）Scala 的下载安装 67
（二）统计某日某省电量使用总量 76
（三） 按日对电量使用量分组 78
（四）按照指定日期查询电量使用量 79
四、知识拓展——Scala 语言在大数据开发领域的广泛应用 80
五、任务考评 81
六、任务实训 82
任务四 揭秘弹性分布式数据集
一、任务说明 85
（一）学习目标 85
（二）思维导图 86
二、知识引入 86
（一）RDD 技术介绍 86
（二）RDD 算子处理 90
（三） RDD 分区和依赖 96
（四）持久化与容错 101
三、任务实现 104
（一） 以电力数据创建RDD 106
（二） 查询电力使用最多的5 个日期 108
（三）输出电力使用数据的总使用量 111
（四）输出每个日期电力的平均使用量 113
（五） 将汇总后的电力统计数据存储为文本文件 117
四、知识拓展——RDD 作为Spark 架构的基础支持各类应用场景 120
五、任务考评 121
六、任务实训 122
任务五 Spark SQL——数据融合分析
一、任务说明 125
（一）学习目标 125
（二）思维导图 126
二、知识引入 126
（一）Spark SQL 基础 126
（二）DataFrame 基础 128
（三）DataSet 基础 138
（四）常用操作 142
三、任务实现 143
（一）以电力数据创建DataFrame，按字段查询数据 143
（二）使用电力按日使用数据创建DataSet，分组统计省份用电量 146
（三）使用Spark-sql 对电力数据按日期计算用电量，并按日期倒序 149
（四）使用Spark-sql 对电力数据计算单日地市用电量最小值 152
（五）使用Spark-sql 对电力数据计算月份电力使用量，并求出最大使用量 155
（六）使用Spark-sql 对电力数据按地市和日期求和，并保存结果到HIVE 中 158
（七）使用Spark-sql 对电力数据计算按省份月电力使用，并保存到MySQL 161
四、知识拓展——Spark SQL 是大数据离线批量处理的有力工具 165
五、任务考评 165
六、任务实训 167
任务六 Spark Streaming——实时智能分析
一、任务说明 169
（一）学习目标 169
（二）思维导图 170
二、知识引入 170
（一）Spark Streaming 基础 170
（二）DStream 基础 172
三、任务实现 180
（一）使用DStream 处理电力使用数据 180
（二）Spark Streaming 对每5 分钟窗口内的实时用电量求和 184
（三）Spark Streaming 接收实时电力数据流，并将处理后的数据保存到HIVE 187
四、知识拓展——国内大厂在实时处理领域大量使用Spark Streaming 实现 192
五、任务考评 192
六、任务实训 193
任务七 数据可视化——让数据说话
一、任务说明 195
（一）学习目标 195
（二）思维导图 196
二、知识引入 196
（一）数据可视化基础 196
（二）数据可视化的图表类型 197
（三）图表设计原则 198
（四）数据可视化的常见工具 200
三、任务实现 201
（一）可视化环境搭建 201
（二）各省月度用电量的趋势对比 205
四、知识拓展——数据可视化是国家和企业数据驱动决策的重要手段 212
五、任务考评 213
六、任务实训 214
任务八 基于Spark GraphX 与MLlib 的智能化场景应用
一、任务说明 217
（一）学习目标 217
（二）思维导图 218
二、知识引入 218
（一）初识Spark GraphX 218
（二）初识Spark MLlib 221
三、任务实现 223
（一）Spark GraphX 基于人物数据构建人物关系 223
（二）Spark MLlib 之随机森林及其案例 235
四、知识拓展——图计算和机器学习是大数据处理的高级应用方向 239
五、任务考评 241
六、任务实训 242
任务九 综合实践——区域用电分析项目
（一）需求分析 245
（二）模拟数据的生成 245
（三）模型设计 251
（四）数据抽取 252
（五）数据计算 253
（六）数据可视化实现 256
参考文献
相关图书
地震应急避险
火灾应急避险
交通运输应急避险
煤矿事故灾难应急避险
水灾应急避险
突发传染病应急处理
危险化学品事故应急避险
