掌握Spark机器学习库 大数据开发技能更进一步

“大数据时代”已经不是一个新鲜词汇了,随着技术的商业化推广,越来越多的大数据技术已经进入人们的生活。与此同时,大数据技术的相关岗位需求也越来越多,更多的同学希望向大数据方向转型。本课程主要讲解Spark机器学习库,侧重实践的讲解,同时也以浅显易懂的方式介绍机器学习算法的内在原理。学习本课程,可以为想要转型大数据工程师或是入行大数据工作的同学提供实践指导作用。欢迎感兴趣的小伙伴们一起来学习。

  • 第1章 初识机器学习 试看4 节 | 39分钟

    在本章中将带领大家概要了解什么是机器学习、机器学习在当前有哪些典型应用、机器学习的核心思想、常用的框架有哪些,该如何进行选型等相关问题。

    收起列表

    • 视频:1-1 导学 (12:05)试看
    • 视频:1-2 机器学习概述 (07:19)
    • 视频:1-3 机器学习核心思想 (12:08)
    • 视频:1-4 机器学习的框架与选型.. (06:36)
  • 第2章 初识MLlib4 节 | 30分钟

    本章中,将介绍Spark的机器学习库,对比Spark当前两种机器学习库(MLLib/ML)的区别,同时介绍Spark机器学习库的应用场景以及行业应用优势。

    收起列表

    • 视频:2-1 MLlib概述 (10:59)
    • 视频:2-2 MLlib的数据结构 (11:15)
    • 视频:2-3 MLlib与ml (02:52)
    • 视频:2-4 MLlib的应用场景 (04:04)
  • 第3章 实战环境搭建4 节 | 38分钟

    本章中,将介绍如何进行实战环境搭建。包括如何完成Spark环境安装配置、如何通过Spark Shell进行编程,并通过 Wordcount 入门程序,完成部署和测试。

    收起列表

    • 视频:3-1 Spark环境安装 (06:53)
    • 视频:3-2 Spark配置若干要点 (08:02)
    • 视频:3-3 学习Spark shell (05:03)
    • 视频:3-4 实战Wordcount (17:38)试看
  • 第4章 数据可视化3 节 | 21分钟

    本章中,将对数据可视化进行介绍,告诉大家什么是数据可视化,我们通过数据可视化能对大数据系统起到怎样的作用,并结合 Echars 介绍了如何实现常见的数据可视化图表(折线图、柱状图、散点图)。

    收起列表

    • 视频:4-1 数据可视化的作用及常用方法 (03:06)
    • 视频:4-2 初识Echarts (06:23)
    • 视频:4-3 通过Echarts实现图表化数据展示 (11:28)
  • 第5章 Spark的矩阵与向量3 节 | 27分钟

    本章中,将讲解矩阵与向量的一些基本运算,并介绍Spark的矩阵与向量的操作,帮助数据基础薄弱的同学补齐短板。

    收起列表

    • 视频:5-1 矩阵与向量介绍 (07:03)
    • 视频:5-2 Spark中实践向量的使用 (10:55)
    • 视频:5-3 Spark中实践矩阵的使用 (08:59)
  • 第6章 Spark基础统计模块4 节 | 39分钟

    本章中,将概要介绍Spark的基础统计模块、简单的统计学知识、相关系数以及假设检验的知识,拓展大家的技术视野。

    收起列表

    • 视频:6-1 基础统计模块及常用统计学知识介绍 (03:42)
    • 视频:6-2 实战统计汇总 (11:11)
    • 视频:6-3 学习相关系数 (12:15)
    • 视频:6-4 学习假设检验 (11:38)
  • 第7章 Spark实现回归算法14 节 | 114分钟

    本章中,将讲解几种常见的回归算法,并以预测房价模型为例,教大家如何使用回归算法来实现简单的预测。

    收起列表

    • 视频:7-1 回归分析概述 (05:36)
    • 视频:7-2 线性回归算法概述 (03:34)
    • 视频:7-3 线性回归算法原理 (06:35)
    • 视频:7-4 最小二乘法 (09:58)
    • 视频:7-5 随机梯度下降 (13:36)
    • 视频:7-6 实战Spark预测房价—项目展示及代码概览 (05:22)
    • 视频:7-7 实战Spark预测房价—数据加载及转换 (15:56)
    • 视频:7-8 实战Spark预测房价–训练与预测 (16:20)
    • 视频:7-9 逻辑回归算法及原理概述 (04:36)
    • 视频:7-10 正则化原理 (09:52)
    • 视频:7-11 实战Spark逻辑回归 (06:28)
    • 视频:7-12 保序回归算法概述 (03:23)
    • 视频:7-13 保序回归算法原理 (03:33)
    • 视频:7-14 实战一个保序回归数据分析 (08:44)
  • 第8章 Spark实现分类算法 试看9 节 | 103分钟

    本章中,将几种常见的分类算法,并结合鸢尾花数据集为例,讲解分类算法在Spark上的实践。同时,比较各种分类算法的区别,使大家能够合理选择应该使用的算法。

    收起列表

    • 视频:8-1 朴素贝叶斯算法及原理概述 (10:02)试看
    • 视频:8-2 实战朴素贝叶斯的分类 (20:13)
    • 视频:8-3 支持向量机概述 (13:20)
    • 视频:8-4 实战基于SVM的分类 (11:52)
    • 视频:8-5 决策树算法及原理概述 (16:21)
    • 视频:8-6 实战基于决策树的分类–案例1 (13:00)
    • 视频:8-7 实战基于决策树的分类–案例2 (16:18)
    • 视频:8-8 本章小结 (01:49)
    • 图文:8-9 关于数据归一化的介绍
  • 第9章 Spark实现聚类算法7 节 | 46分钟

    本章中,将介绍聚类算法,并通过比较聚类算法与分类算法的区别,帮助大家了解聚类算法的内在含义。此处,仍然使用鸢尾花数据集应用聚类算法进行分析,便于大家对比发现聚类算法与分类算法的区别与联系,以便于后期灵活运用。…

    收起列表

    • 视频:9-1 Kmeans算法概述 (03:41)
    • 视频:9-2 Kmeans算法原理 (07:15)
    • 视频:9-3 Kmeans算法实战 (13:13)
    • 视频:9-4 LDA算法概述 (02:23)
    • 视频:9-5 LDA算法原理 (04:49)
    • 视频:9-6 LDA算法实践 (10:56)
    • 视频:9-7 本章小结 (03:39)
  • 第10章 Spark实现降维3 节 | 24分钟

    本章中,将通过讲解PCA算法的原理,使大家明白降维算法的大致原理,以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践,帮助大家体会算法的作用。

    收起列表

    • 视频:10-1 PCA算法及原理概述 (11:32)
    • 视频:10-2 实战PCA算法实现降维 (09:29)
    • 视频:10-3 本章小结 (02:27)
  • 第11章 Spark实践文本情感分类6 节 | 39分钟

    本章中,将结合前述知识进行综合实战,以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联,使大家能够对Spark的具体应用有一个整体的感知与了解。

    收起列表

    • 视频:11-1 项目总体概况 (06:45)
    • 视频:11-2 数据集概述 (04:00)
    • 视频:11-3 数据预处理 (03:55)
    • 视频:11-4 文本特征提取 (05:32)
    • 视频:11-5 训练分类模型 (15:22)
    • 视频:11-6 本章小结 (03:07)
  • 第12章 Spark实践推荐系统6 节 | 46分钟

    本章中,将结合前述知识进行综合实战,以达到所学即所用。在推荐系统项目中,讲解了推荐系统基本原理以及实现推荐系统的架构思路,有其他相关研发经验基础的同学可以结合以往的经验,实现自己的推荐系统。

    收起列表

    • 视频:12-1 推荐系统简介 (06:41)
    • 视频:12-2 推荐系统原理 (10:23)
    • 视频:12-3 推荐系统实战(上) (12:46)
    • 视频:12-4 推荐系统实战(下) (08:09)
    • 视频:12-5 本章小结 (01:41)
    • 视频:12-6 总结与建议 (05:23)

 

免责声明: 1.本文部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。 2.若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。 3.如果本站有侵犯、不妥之处的资源,请在网站最下方联系我们。将会第一时间解决! 4.本站所有内容均由互联网收集整理、网友上传,仅供大家参考、学习,不存在任何商业目的与商业用途。 5.本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
梦想思维优质互联网资源分享平台 » 掌握Spark机器学习库 大数据开发技能更进一步

发表评论

提供最优质的资源集合

立即查看 了解详情