北京大数据开发培训课程

【课程内容】Linux安装使用、Linux文件系统、Linux用户和进程管理、 Shell和网络基础、git工具、 Linux小测验。

【课程目标】掌握Linux使用方式和常见命令；熟悉Linux环境，包括shell和git使用

【课程内容】Java简介，包括跨平台、虚拟机、JDK等、 Java编程基础，函数、循环语句、变量等、Java高级特性，类、继承、多态等、Java数据集合，包括List、Map、Set等介绍、自动化项目管理工具Maven、 Java小测验。

【课程目标】掌握Java基本语法，能够使用Java编写包含类、函数、循环等语言的代码；熟悉Java编程环境，包括集成开发工具eclipse/IDEA，项目管理工具等

【课程内容】分布式文件储存系统HDFS进阶，分布式数据库HBase进阶，分布式计算引擎MapReduce基础与进阶，Zookeeper与YARN

【课程目标】深度学习hadoop系统，包括高级特性，优化等；增加hadoop大数据技术学习广度，拓展眼界

【课程内容】分布式计算框架Spark Core和Spark SQL进阶和调优，函数式编程语言scala

【课程目标】深度学习Spark系统，包括高级特性，优化等，增加Spark大数据技术学习广度，拓展眼界

【理论部分】大数据概论、 大数据技术体系（按照六层架构介绍：数据收集、数据存储、资源管理、计算引擎、数据分析以及可视化），Hadoop发展历程、Hadoop生态系统概述/结构化数据收集Sqoop：背景、架构、原理以及使用 、非结构化（日志）数据收集系统Flume：背景、架构、原理及使用；

【实战部分】利用Flume从指定目录中收集数据到HDFS、利用Sqoop将MySQL表中数据写HDFS。

【课程目标】 掌握大数据收集系统架构，能够使用sqoop和flume构建企业级大数据收集系统。

【理论部分】概述 、基本架构与工作原理、应用场景以及经典的架构组合等、HDFS简介、优缺点、架构（主节点NameNode、从节点DataNode、journal node的解析） 、核心设计（数据块、数据副本的存放策略、安全模式、负载均衡、机架感应等）、HDFS操作（命令行接口、Java接口）

【实战部分】搭建Kafka集群、如何编写Producer将数据写入Kafka、如何编写Consumer从Kafka中读取数据、搭建HDFS集群、使用NameNode Web UI、使用HDFS Shell利用Java编写程序从HDFS中读数据、利用Java编写程序将数据写入HDFS中、利用Java删除HDFS上的文件和目录

【理论部分】HBase简介、优缺点、架构以及HBase API使用等

【实战部分】搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java编写程序在hbase中创建表、利用Java编写程序向hbase表中写入和读取数据

【项目案例】用户画像系统、网络爬虫

【课程目标】掌握HBase系统架构，能够编写程序读写 HBase中存储的数据 。

【理论部分】Hive背景、架构、 HQL的DML和DDL语法等

【实战部分】Hive环境搭建、利用Hive创建表，并进行查询、Hive创建ORC与Parquet表并查询

【课程目标】熟练掌握HQL编写方式，能够使用Hive构建大数据仓库系统

【理论部分】Hive内部原理，多计算引擎（Tez与Spark），Hive创建ORC/Parquet表，Hive调优

【实战部分】程序方式访问Hive、Hive调优演示

【课程目标】掌握Hive内部原理，了解常见Hive的优化方式。

【理论部分】Presto基本架构，Presto与Hive对比，Presto基本使用。

【实战部分】Presto集群搭建、Presto使用方式、Presto与Hive性能对比

【项目测试练习】 Hadoop测试（包括选择题、简单题和编程题三部分）

【理论部分】Java Lambda语法简介 、Spark基础原理与运行架构、Spark部署方式

【实战部分】Spark开发环境搭建、使用Spark Web UI、如何将Spark程序运行到YARN上

【课程目标】掌握Spark基本原理，能够搭建Spark开发和运行环境。

【理论部分】Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、持久化、checkpoint、容错与性能优化

【实战部分】如何利用intellij idea开发一个spark程序并运行到集群中、如何利用spark设计电影受众分析程序

【课程目标】掌握常见的Spark API，熟练使用Spark开发大数据分析程序。

【理论部分】流式计算基础、spark streaming基础原理 、基础API介绍（包括map，filter，flatMap、foreachRDD，saveAsTextFile等）和高级API介绍（window， transform和mapWithState），Redis介绍

【实战部分】利用Spark Streaming读取HDFS中的数据，经统计（按照window统计）后写入HDFS：利用Spark Streaming读取HDFS中的数据，经统计后写入Redis和HBase：利用mapWithState实现wordcount

【课程目标】掌握Spark Streaming工作原理及常见的API，能够使用Spark Streaming编写流式实时计算程序。

【理论部分】保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API

【实战部分】利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”、实现streuctured streaming版本的wordcount

【课程目标】掌握Spark Streaming调优方法和高级编程技巧，能够使用高级API编写更加鲁棒的分布式流式计算程序。

【理论部分】数据挖掘与机器学习基础知识，以及机器学习案例、Spark MLib分类、聚类、推荐等算法，用户画像系统设计。

【实战部分】回归预测和局部加权线性回归预测算法、近邻KNN预测分析的算法、协同过滤算法的Spark实现技术应用、决策树分类分析挖掘算法、逻辑回归分类分析挖掘算法、贝叶斯分类分析挖掘算法等，互联网用户性别预测。

【课程目标】掌握常见的机器学习算法，能够使用Spark MLLib工具包解决机器学习问题。

【理论部分】人工智能技术体系 ; 人工智能技术的数学与python基础 ; 神经网络（DNN,RNN及CNN等）和开源框架tensorflow及pytorch等

【实战部分】电影评论文本情感分析（监督学习，可应用在：各种评论文本的正负情感分类， 新闻的正负情感分类）; 电信客户流失预测（监督学习， 可应用在：股价预测、流量预测，房价预测等方面中）; 基于深度学习的手写字体识别

【课程目标】掌握人工智能技术基础，包括数学与python技术，了解神经网络技术及开源框架tensorfow、pytorch等。

【实战部分】项目背景、开发需求、 项目架构、核心点讲解； 项目架构、核心点讲解； 数据展示、共性问题答疑 、项目总结。 讲解主要架构：Kafka+Spark Streaming+Mysql

【课程目标】掌握大数据流式系统基本架构 ; 学会使用kafka和spark streaming构建流式计算系统 ; 熟练掌握使用spark streaming编写鲁棒的流式处理程序

【实战部分】项目背景、开发需求、 项目架构、核心点讲解 ; 数据展示、共性问题答疑 、项目总结; 讲解主要架构：HDFS + Spark Core + mllib

【课程目标】熟悉机器学习应用 ; 熟悉如何使用HDFS和Spark解决实际问题

【实战部分】项目背景、开发需求、 项目架构、核心点讲解； 项目架构、核心点讲解； 数据展示、共性问题答疑 、项目总结。 讲解主要架构：hadoop+kafka+spark+presto/hive+echart/D3

【课程目标】了解日志分析系统的基本架构 ; 熟练掌握如何采用hadoop和spark解决大数据分析问题 ; 使用常见的开源可视化工具对分析结果可视化

【实战部分】项目背景、开发需求、 项目架构、核心点讲解； 项目架构、核心点讲解； 数据展示、共性问题答疑 、项目总结。 用户画像系统常见场景简介。 讲解主要架构：flume+hbase+spark+redis+mllib

【课程目标】掌握用户画像系统基本架构 ； 熟练使用HBase存储海量结构化和半结构化数据 ； 熟练使用mllib求解机器学习问题

【实战部分】项目背景、开发需求、 项目架构、核心点讲解； 项目架构、核心点讲解； 数据展示、共性问题答疑 、项目总结。 讲解主要架构：HDFS + HBase + Spark SQL + Spark Streaming

【课程目标】掌握大数据设计架构lambda architecture；学会使用Hadoop和Spark技术解决复杂大数据问题

【实战部分】项目背景、开发需求、 项目架构、核心点讲解； 项目架构、核心点讲解； 数据展示、共性问题答疑 、项目总结。 讲解主要架构：Hadoop + Hive + Presto + superset/tableau

【课程目标】掌握大数据报表系统基本架构设计方法；学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题。

【课程目标】公司大数据岗位核心技能需求。了解所需知识和技能，以及主流的大数据工具和框架的使用方法。 讲解大数据开发工程师岗位面试的常见笔试题。会涵盖主流的互联网公司的面试题 目，深入浅出，结合实际场景分析。 讲解常大数据研发面试问题，开放式问题和系统设计问题，融汇贯通整个课程知识点。