北京大数据开发培训班

课程介绍

本专业拥实战经验与教学经验丰富的教师团队，以大数据的实训课程为主。阶段：Java基础语法，面向对象程序设计，常用工具类。第二阶段：电商基础框架（数据库，静态、动态网站开发与部署，网站开发三大框架）。第三阶段：爬虫搜索系统（东京爬虫开发，分布式搜索系统）；第四阶段：分布式电商系统（电商网站主体架构搭建，电商网站商品管理，网页静态化搜索，单点登录及购物流程实现，百万级网站部署优化）；第五阶段：构建离线数据分析平台；第六阶段：构建实时数据分析平台，第七阶段：推荐系统算法与源代码分析。采用学练测评一体化的教学方案，保障每个学员都能真真正正学到技术，掌握要点。

课程内容

第 一阶段：Java语言入门
计算机基础知识：1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置；5.环境变量配置；6.Java程序入门
编程基础：常量与变量；2.数据类型；3.运算符；4.流程控制语句；5.方法；6.数组
面向对象：1.面向对象思想；2.类与对象；3.成员变量和局部变量；4.封装；5.this关键字；6.构造方法
常用类：1.Object类；2.Scanner类；3.Random类；4.String；5.StringBuilder类
集 合：1.集 合概述；2.集 合特点；3.ArrayList集 合
IO：1.字符输入流；2.字符输出流；3.字符缓冲输入流；4.字符缓冲输出流；5.复制文件；6.集 合与文件中数据相互读写
第二阶段：电商基础架构
数据库：Mysql安装配置、SQL语法入门、数据导入导出；数据建模、SQL查询、JDBC入门、SQL注入、事务管理、批处理、连接池（Druid）、DBUtils框架
静态网站开发与部署：HTML、CSS、JavaScript、BootStrap、Linux常用操作、Nginx服务器 网页配置
动态网站开发与部署：Tomcat服务器、HTTP协议、servlet、JSP入门、JSTL(forEach)、EL、JQuery基础、Ajax、Cookie、Session、JavaMail注册、Redis入门、log4j、Slf4j
网站开发三大框架：1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置；5.环境变量配置；6.Java程序入门
第三阶段：爬虫搜索系统
爬虫开发：网络爬虫、Redis、Redis Cluster、Redis Cluster、动态代理
分布式搜索系统：Lucene、Solr、Solr Cloud
第四阶段：分布式电商系统
电商网站主体架构搭建：电商基础知识、背景分析、项目需求分析、Dubbo、AngularJS、商家管理平台、网站管理平台、商家入驻审核
电商网站商品管理：电商核心业务实现
页面静态化及搜索：freemarker静态化、首页轮播图管理、首页楼层管理、Solr、商品及店铺搜索
单点登录及购物流程实现：单点登录（SSO）、购物车的实现、ActiveMQ消息队列、支付宝系统对接
百万级网站部署及优化：Nginx、Hudson、Solr Cloud、Docker容器部署、热部署、高并发
第五阶段：构建离线数据分析平台
大数据分析基础课：数据分析、数据分析基本步骤、数据分析师的职业发展、常用的数据分析方法 论、大数据时代的思维变革、商业变革、管理变革
海量数据分布式存储框架：点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop集群搭建、Hadoop HDFS数据存储原理、Flume点击流日志数据采集
数据仓库管理与数据分析：数据仓库基本概念、数据仓库工具HIVE快速入门、创建点击流数据数据仓库、点击流数据分析（HiveSql）、点击流数据分析结果导出（Sqoop）、报表平台开发及数据展示、点击流数据分析需求开发、调度系统使用及说明、Sqoop采集Mysql数据、跨部门数据采集管理之FTP规范、数据质量检测与元数据管理
Hive开发与分布式计算框架：Hadoop ；HIve ；UDF函数编写、Hadoop ；MapReduce计算模型、Hadoop ；MapReduce ；案例开发；Hadoop ；MapReduce ；案例开发、HadoopMapReduce原理剖析；Hadoop ；NameNode元数据备份、Hadoop ；NameNode ；HA、企业海量数据分析平台规划。
分布式内存计算框架：升级Hive执行引擎为Spark、使用Spark Sql完成点击流日志业务需求、打通Spark数据收集、存储、计算、展示流程、使用Spark处理业务数据、Spark 核心概念（RDD、DAG）、探讨分布内存文件系统Alluxio的使用
第六阶段：构建实时数据分析平台
实时计算基础课：实时计算平台解决方案、Kafka基础与常用API、使用Flume收集数据到Kafka、使用Storm对数据进行分析、Flume+Kafka+Storm+Redis+Mysql整合
实时分析系统案例：实时日志分析需求、实时日志分析结构说明、实时日志分析代码开发
推荐系统：Hbase列式数据库、实时用户行为轨迹、电商网站集成推荐系统介绍、推荐系统开发流程、使用Mahout的离线计算数据MapReduce离线数据清洗、Storm实时数据清洗、推荐引擎集成
大数据搜索系统：开源分布式搜索引擎（Elasticsearch、Logstash和Kibana 
第七阶段：推荐系统算法与源码分析
Python与机器学习：Python入门、机器学习概论、机器学习决策树与Python案例、机器学习KNN与Python案例、机器学习SVM与Python案例、机器学习神经网络与Python案例
Scala语言与Spark核心：Scala基础、Spark Core
分布式框架原理：Spark源码编译、Master和Worker启动流程源码分析、SparkContext创建过程源码分析、Master资源调度源码分析、DAGScheduler执行过程、DAG划分Stage过程、TaskScheduler提交Task过程等等，Storm源码编译、任务提交机制分析、任务分配机制分析、任务执行、任务运行机制等等