AWS大数据架构实战培训 (3天)

在本课程中，您将对AWS 大数据方案有整体了解，同时也会学习具体的产品和技术应用，如Amazon EMR，Amazon Redshift，Amazon Kinesis和AWS大数据平台的其他相关服务，课程结束后将在具备一定的动手和架构设计能力。

本次课程会设计到Amazon S3， Amazon EMR，Amazon DynamoDB，Amazon Redshift，Amazon QuickSight，Amazon Athena和Amazon Kinesis等数据产品。

同时，在掌握大数据架构设计及实际操作经验的基础上，本次课程也会指导大家如何为AWS Certified DataAnalytics – Specialty认证做好准备。
 

目标学员:

IT从业人员，云计算从业者，IT架构师，大数据平台运维人员。
 

适合学员：

对任一公有云平台的基础概念和常用产品有一定了解的云计算架构师、运维工程师、云原生应用开发者等。

学员基础:

该课程要求学员本身对公有云平台的基础概念和常用产品和服务有一定的了解。

讲师介绍：曹老师

资质介绍：

n 先后在戴尔（中国）、微软中国担任架构师和解决方案技术专家职位，有超过 10 年的演讲、培训和信息系统架构设计及咨询经验。

n 目前在某豪华品牌车企担任公有云产品经理，负责Azure 和 AWS 在该企业的落地工作，超过 5 年的公有云落地经验。

n 精通 Azure，AWS 两大厂商公有云产品，有非常丰富的实际应用和架构设计经验，包括但不限于：基础公共平台架构设计（如 IAM，专线网络等），业务应用与基础平台对接 设计，业务应用高可用架构设计，跨区域容灾架构设计，公有云合规与治理，事件驱动自动化运维与管理，基础架构即代码系统设计，云原生数据分析平台设计，云原生无服 务器计算系统设计，云原生边缘计算开发框架使用，公有云等保审计备案等。

n 具有丰富实战项目落地经验，目前所负责的云项目年总消费额超过两亿人民币。

工作 14 年以来一直奋斗在客户沟通第一线，曾在多家大型外企担任过咨询顾问、专业讲师、项目经理、项目实施人员以及架构师等职位角色。精通 Microsoft Azure，AWS 两大厂商公有云产品。熟悉企业上云技术和非技术方面的注意事项以及流程设计，熟悉等保审计等安全流程需求。

讲师介绍：李老师

资质介绍：
n 先后在甲骨文、索尼电子（中国）担任实施架构师、解决方案架构师，负责 GCP 和 AWS 的架构设计及实施工作，超过 7年的公有云实施及架构设计经验。

n 目前在某豪华品牌车企担任混合云基础设施管理平台负责人，负责企业的多云战略的落地及基础设施管理平台的研发。

n 精通 AWS公有云产品，在云安全、大数据基础架构、无服务器计算等领域有丰富的架构设计及实施经验。对AWS上的各种大数据生态中的服务和组件有深入的理解，熟练掌握EMR、Redshift、Athena、Kinesis等各种大数据服务的企业级解决方案和最佳实践。

有超过 10 年的IT行业从业经验，曾在凯捷咨询（中国）作为高级技术专家，为多家跨国企业提供培训和混合云架构设计及咨询。专注于云计算领域，先后担任过解决方案架构师、云安全架构师等职务。曾帮助多家企业实现了从数据收集、存储、处理到分析和可视化的全流程解决方案，并在此过程中积累了丰富的实践经验。

详细大纲：

大数据概述（1.5小时）      

n 课程介绍

n 什么是大数据

n AWS 大数据常见架构介绍

n 大数据管道

n 大数据架构原则

n 数据注入和转换

n 演示：AWS账号登录与账单处理

大数据存储方案介绍（30分钟）      

n AWS大数据存储方案概述

n 大数据存储相关服务介绍

n 如何选择合适的存储方案

S3基础（1小时）      

n S3基础介绍

n 存储桶、对象与键

n S3访问安全

n 演示及动手实验：S3存储桶创建与使用

S3高级使用及性能优化（1小时）      

n Versioning

n 对象生命周期

n 分段存储与访问

n S3成本与性能优化

n 演示及动手实验：S3文件版本管理，S3生命周期管理，S3分段上传与字节范围访问。

AWS EMR基本使用(2小时)      

n AWS EMR 产品介绍

n AWS EMR与传统Hadoop 平台组件对比

n EMR集群管理

n 集群引导

n 集群生命周期管理

n 任务提交与管理

n 演示及动手实验：EMR创建与示例应用程序运行

AWS EMR高级应用(2小时)      

n 高可用

n 身份验证与数据安全

n 基于业务场景的集群类型选择与管理

n 集群更新与维护

n S3与EMR的集成使用

n 演示：EMR集群管理

EMR 开发（1小时）      

n EMR Studio介绍

n Notebooks

n 工作区管理

n 集群连接

n S3连接

n 演示及动手实验10分钟：EMR Studio 及Nodebook使用。

大数据流和AWS Kinesis全家桶（1小时）      

n 大数据流的处理

n AWS Kinesis 系列服务介绍

n AWS Kinesis Data Firehose

n Amazon Kinesis Video Streams

n Amazon Kinesis Data Analytics

n 动手实验：使用Kinesis处理Web服务器日志

大数据的处理和分析（1小时）      

n 相关服务介绍

n Amazon Athena

n 动手实验：使用Athena进行日志分析

使用AWS Glue完成ETL任务（1小时）      

n AWS Glue服务介绍

n Glue任务编排

n 动手实验：使用Glue爬取AWS账单数据

Amazon Redshift（1.5小时）      

n 数据仓库和传统数据库的异同

n Redshift服务介绍

n Redshift架构及组件

n 动手实验：搭建Redshift集群并导入数据

大数据安全（0.5小时）      

n 认证与授权 （IAM）

n 安全最佳实践

u Data

u Kinesis

u DynamoDB

u EMR

u Redshift

大数据解决方案的成本管理（1小时）      

n 在使用大数据相关服务过程中应考虑的成本因素

u EC2

u EMR

u Redshift

u Kinesis

u DynamoDB

n 成本优化方法论

数据可视化（1小时）      

n 如何进行数据可视化

n Amazon QuickSight介绍

n 大数据工作流的设计和编排

n 动手实验：使用AWS QuickSight进行数据可视化

课程回顾和备考建议（2小时）      

n 回顾整体课程内容

n 介绍Big Data认证考试如何备考

n Q&A