炼数成金 门户 培训 查看内容

Spark大数据平台

2014-5-30 16:32| 发布者: 仙豆| 查看: 470098| 评论: 0|原作者: 仙豆

快速报名入口
此课程所属【大数据攻城狮专业
该专业内有15门
推荐课程,目前平台推出【专业课程0元学】活动,只需0元即可在15门专业课程中任选5门学习,超值优惠,助您快速成长!点击这里了解


2014年是分布式计算框架群雄纷起的一年,MapReduce已逐渐日暮西山;Spark以其卓越的内存计算和All-in-one的解决方案日渐突出,吸引了大量开发者和数学专家的眼光。自Spark Summit 2014以来,世界各地的spark meetup如雨后春笋般出现。 本课程在总结上两期课程的经验,对课程重新设计并将更新过半的内容,将版的spark1.1.0展现给有兴趣的学员。 

课程内容:
1:Spark生态和安装部署
什么是Spark
Spark有什么
安装部署
  Spark安装简介
  Spark的源码编译
  Spark Standalone安装
  Spark Standalone HA安装  
Spark工具
  Spark交互式工具spark-shell
  Spark应用程序部署工具spark-submit

2:Spark编程模型和解析
Spark的编程模型  
  RDD的特点、操作、依赖关系
  缓存策略
  广播变量和累加器
Spark编程环境搭建
Spark编程实例

3:Spark运行架构和解析
Spark的运行架构
  基本术语
  运行架构(DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性)
  Spark on Standalone运行过程
  Spark on YARN 运行过程
Spark实例演示
  Spark on Standalone实例演示
  Spark on YARN实例演示
  
4:不得不说的hive
hive的运行架构
hive的安装
hive的实例演示
shark的简介

5:SparkSQL原理和实践
Spark的运行架构
  Catalyst
  sqlontext
  hiveContext
ThriftServer和CLI
  ThriftServer
  CLI
SparkSQL的实例演示和编程
  spark-shell实例演示
  spark-sql实例演示
  SparkSQL的编程

6:SparkStreaming原理和实践
SparkStreaming原理
  SparkStreaming的原理
  SparkStreaming的运行方式  
  DStream的特点和操作
SparkStreaming实例演示
  网络数据演示
  文本实例演示
  Window操作演示  
  
7:MLlib入门
什么是机器学习
MLlib的架构
Mllib实例演示
  聚类算法演示
  推荐系统演示    

8:GraphX入门
图论基础
GraphX的架构
GraphX实例演示
  图的基本操作
  PageRank演示

9:Spark运维(上)
Spark On YARN 
Spark On Docker

10:Spark运维(下)
Spark配置
history server
job server
Spark的监控
  Spark UI监控
  Ganglia 监控

11:Spark调优
序化
压缩
数据倾斜等等
实例演示

12:Scala on Spark
spark常用的scala基础
如何阅读spark源代码
如何构建spark项目

13:Spark编程
RDD的编程
Spark综合实例(SparkSQL+sparkMlib+Redis+R)

14:Spark源码研读
Spark源码总体介绍
SparkCore源码细解  
Spark Examples介绍

15:杂谈
Spark相关项目
  BlinkDB简介
  SparkR的安装和实例
  Techyon
Spark的优秀网站、博客、牛人介绍

授课时间:
开课时间2015年1月10日,课程预计为17周时间。

授课对象:
具有ubuntu或CentOS操作技能,较好有Hadoop2.x基础,想了解和学习Spark的朋友

授课软件版本:
spark1.1.0
hadoop2.2.0
IntelliJ IDEA 13+
Java 7UP21
scala 2.10.4
python 2.7

环境准备:
较好有多台大内存的物理机,实在不行,就拿台16G内存以上的物理机吧。较低的配置不要低于4G(用伪分布式小数据量下还能凑合着使用)。

收获预期:
掌握Spark编程原理和运行结构,Spark生态的各个组件的功能,具备初步从事Spark项目的能力。

授课讲师:
马军辉,毕业于浙江大学,骨灰级计算机技术研究者与爱好者。软件创业者,开过软件公司开发过多套软件,近年开始关注开源领域的机会,主要研究方向是分布式计算。最近成为Spark狂热分子。

黄志洪(tigerfish),ITPUB创始人,炼数成金创始人。中山大学海量数据与云计算 研究中心主任。数据库专家,数据分析专家,有丰富的IT领域、数学领域的知识经验。曾经讲授炼数成金上《数据分析、展现与R语言》、《数据分析与 SAS》、《Hadoop数据分析平台》等多门受欢迎课程。负责讲授课程中机器学习和图论算法部分。

课程试听:

新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!


本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!


授课方式及培训流程说明:
1、 学习方式:通过网络资料学习、论坛互动中老师进行指导及学员之间交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

课程FAQ,更多疑问解答请 点击 这里
1、是需要每天固定时间上课么?NO,没有固定的上课时间,课程主要是根据老师提供的学习资料及学习视频进行自学,然后完成作业,老师根据作业批改指导学习,随时通过QQ群及论坛与大家互动,辅导大家学习。
2、课程都有什么学习资料?主要有老师教学视频、配套课件、学习文档/电子书,所有资料均可下载到自己电脑中,随时查阅!
3、一定要完成作业么? YES,每周老师都会布置作业,需要每周按时完成作业哦。一次缺交作业则视为未顺利完成课程!
4、学费什么时间退还? 学期结束后,经确认您每期作业按时完成了,则退还学费!
5、报名了就一定能参与此课程么?NO,报名后续完成缴费,才能成为正式学员,正式学员的名额有限,达到数额后将截至报名,未来得及付费的报名人员将顺延至下一期预报名学员!

全国统一咨询热线 4008-010-006

课程现开始接受报名,报名方式
网上报名 请点击:Spark大数据平台
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询群:
303917420(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006  (上班时间在线)


技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!

快速报名入口

即将开课

热门文章

     

    GMT+8, 2024-12-12 20:08 , Processed in 10.170363 second(s), 30 queries .