歡迎來到我的 用python學習apache spark 注意！在本說明中，您將學習有關 PySpark 在數據挖掘、文本挖掘、機器學習和深度學習中。PDF版本可從下載 HERE .

目錄

• 1. 序言
  • 1.1. 關于
  • 1.2. 本教程的動機
  • 1.3. 版權聲明和許可證信息
  • 1.4. 確認
  • 1.5. 反饋和建議
• 2. 為什么要用 Python Spark？
  • 2.1. 為什么是 Spark ？
  • 2.2. 為什么要在 Python 中使用Spark （PySpark）？
• 3. 配置運行平臺
  • 3.1. 在Databricks社區云上運行
  • 3.2. 在Mac和Ubuntu上配置Spark
  • 3.3. 在Windows上配置Spark
  • 3.4. 帶文本編輯器或IDE的pyspark
  • 3.5. PySparkling Water ： Spark +H2O
  • 3.6. 在云端建立 Spark
  • 3.7. 本節中的演示代碼
• 4. Apache Spark簡介
  • 4.1. 核心概念
  • 4.2. Spark 組件
  • 4.3. 架構
  • 4.4. Spark 是如何工作的？
• 5. 用RDD編程
  • 5.1. 創建RDD
  • 5.2. Spark 操作
  • 5.3. rdd.DataFrame vs pd.DataFrame
• 6. 統計學與線性代數預科
  • 6.1. 符號
  • 6.2. 線性代數預科
  • 6.3. 測量公式
  • 6.4. 混淆矩陣
  • 6.5. 統計檢驗
• 7. 數據探索
  • 7.1. 單變量分析
  • 7.2. 多元分析
• 8. 回歸
  • 8.1. 線性回歸
  • 8.2. 廣義線性回歸
  • 8.3. 決策樹回歸
  • 8.4. 隨機森林回歸
  • 8.5. 梯度增強樹回歸
• 9. 正則化
  • 9.1. 普通最小二乘回歸
  • 9.2. 嶺回歸
  • 9.3. 最小絕對收縮和選擇操作符（lasso）
  • 9.4. 彈性網
• 10. 分類
  • 10.1. 二項邏輯回歸
  • 10.2. 多項式邏輯回歸
  • 10.3. 決策樹分類
  • 10.4. 隨機森林分類
  • 10.5. 梯度增強樹分類
  • 10.6. xgboost：梯度增強樹分類
  • 10.7. 樸素貝葉斯分類
• 11. 聚類
  • 11.1. k-均值模型
• 12. RFM分析
  • 12.1. RFM分析方法
  • 12.2. 演示
  • 12.3. 延伸
• 13. 文本挖掘
  • 13.1. 文本采集
  • 13.2. 文本預處理
  • 13.3. 文本分類
  • 13.4. 情緒分析
  • 13.5. n-克和相關性
  • 13.6. 主題模型：潛在dirichlet分配
• 14. 社會網絡分析
  • 14.1. 介紹
  • 14.2. Co-occurrence網絡
  • 14.3. 附錄：PySpark中的矩陣乘法
  • 14.4. 相關網絡
• 15. ALS：股票組合建議
  • 15.1. 推薦系統
  • 15.2. 交替最小二乘法
  • 15.3. 演示
• 16. 蒙特卡羅模擬
  • 16.1. 模擬賭場贏
  • 16.2. 模擬隨機行走
• 17. 馬爾可夫鏈蒙特卡羅
  • 17.1. Metropolis算法
  • 17.2. 關于 Metropolis 的簡單例子
  • 17.3. 演示
• 18. 神經網絡
  • 18.1. 前饋神經網絡
• 19. 我的PySark套裝
  • 19.1. 層次結構
  • 19.2. 設置
  • 19.3. ReadMe
• 20. 個人私藏
• 21. PySpark API
  • 21.1. 統計API
  • 21.2. 回歸API
  • 21.3. 分類API
  • 21.4. 群集API
  • 21.5. 推薦API
  • 21.6. Pipeline API
  • 21.7. 優化API
  • 21.8. 評估API
• 22. 齊柏林飛艇到Jupyter筆記本
  • 22.1. 如何安裝
  • 22.2. 轉換演示
• 23. 主要參考文獻