cda level ⅲ 考试大纲-pg电玩城

cda level ⅲ 考试大纲

  一、总则

  cda（certified data analyst），即“cda数据分析师”，是在数字经济大背景和人工智能时代趋势下，面向全行业的资格认证，旨在提升用户数字技能，助力企业数字化转型，推动行业数字化发展。「cda人才考核标准」是面向全行业数据相关岗位的一套科学化、专业化、国际化的人才技能准则，cda考试大纲规定并明确了数据分析师认证考试的具体范围、内容和知识点，考生可按照大纲要求进行相关知识的学习，获取技能，成为专业人才。

  二、考试形式与试卷结构

  考试方式：一年四届 （3、6、9、12月的最后一个周六），线下统考，上机答题。

  考试题型：客观选择题（单选60题 多选30题 内容相关10题）

  案例实操题（1题）

  考试时间：90分钟（客观选择题），120分钟（案例实操题），共210分钟

  考试成绩：分为a、b、c、d四个层次，a、b、c为通过考试，d为不通过

  考试要求：客观选择题为闭卷上机答题，无需携带计算器及其他考试无关用品。

  案例实操题考生须自行携带电脑操作（安装好带有数据挖掘功能的软件如：python、sql、spss、modeler、r、sas、weka等，进行案例操作分析。案例数据将统一提供csv文件）。

  三、知识要求

  针对不同知识，掌握程度的要求分为【领会】、【熟知】、【应用】三个级别，考生应按照不同知识要求进行学习。

  1．领会：考生能够了解规定的知识点，并能够了解规定知识点的内涵与外延，了解其内容要点之间的区别与联系，并能做出正确的阐述、解释和说明。

  2．熟知：考生须掌握知识的要点，并能够正确理解和记忆相关理论方法，能够根据不同要求，做出逻辑严密的解释、说明和阐述。此部分为考试的重点部分。

  3．应用：考生须学会将知识点落地实践，并能够结合相关工具进行商业应用，能够根据具体要求，给出问题的具体实施流程和策略。

  四、考试科目

  part 1 数据挖掘概论（占比15%）

  a．数据挖掘概要（3%）

  b．数据挖掘方法论（3%）

  c．基础数据挖掘技术（4%）

  d．进阶数据挖掘技术（5%）

  part 2 高级数据处理与特征工程（占比25%）

  a．高级数据处理（5%）

  b．特征工程概要（2%）

  c．特征建构（3%）

  d．特征选择（5%）

  e．特征转换（5%）

  f．特征学习（5%）

  part 3 自然语言处理与文本分析（占比20%）

  a．自然语言处理概要（占比2%）

  b．分词与词性标注（占比4%）

  c．文本挖掘概要（占比2%）

  d．关键词提取（占比4%）

  e．文本非结构数据转结构（占比8%）

  part 4 机器学习算法（占比40%）

  a．朴素贝叶斯（4%）

  b．决策树（分类树及回归树）（5%）

  c．神经网络与深度学习（5%）

  d．支持向量机（4%）

  e．集成方法（5%）

  f．聚类分析（5%）

  g．关联规则（4%）

  h．序列模式（3%）

  i．模型评估（5%）

  part 5 机器学习实战

  （本部分内容考查方式为案例实操，不计入客观选择题占比。）

  a．自动机器学习

  b．类别不平衡问题

  c．半监督学习

  d．模型优化

  五、科目内容

  part 1 数据挖掘概论

  1、数据挖掘概要

  【领会】

  数据挖掘在政府部门及互联网、金融、零售、医药等行业的应用

  【熟知】

  数据挖掘的起源、定义及目标

  数据挖掘的发展历程

  【应用】

  根据给定的数据建立一个数据挖掘的项目

  2、数据挖掘方法论

  【熟知】

  数据挖掘步骤（字段选择、数据清洗、字段扩充、数据编码、数据挖掘、结果呈现）

  数据挖掘技术的产业标准（crisp-dm及semma）

  【应用】

  运用数据挖掘进行不同文件格式的数据导入，并进行初步的数据探索，探索的内容包含数值型字段的描述性统计分析、直方图（需与目标字段做连接）、缺失值分析及类别型字段的描述性统计分析、条形图（需与目标字段做连接、缺失值分析。数据探索的结果可进行初步的字段筛选。

  3、基础数据挖掘技术

  【领会】

  可视化技术（能使用相关工具根据业务问题做出可视化数据报告）

  【熟知】

  案例为本的学习(case-based learning)：knn(k-nearest neighbor)原理

  数据的准备

  样本点间距离的计算(manhattan distance、city-block distance、euclidean distance)

  【应用】

  运用数据挖掘中的knn算法进行分类预测、数字预测及内容推荐。建模的过程需考虑将数据进行适当的转换以获得更优的分析结果。

  4、进阶数据挖掘技术

  【熟知】

  数据挖掘技术的功能分类

  描述型数据挖掘/无监督数据挖掘（关联规则、序列模式、聚类分析）

  预测型数据挖掘/有监督数据挖掘（分类、预测）

  part 2 高级数据处理与特征工程

  1、高级数据预处理

  【领会】

  数据过滤（理解如何通过数据过滤的方式，建立区隔化模型，以提升模型的预测效果）

  内/外部数据的扩充方法

  【熟知】

  缺失值的高级填补技术，包括knn填补、xgboosting填补

  高级数据转换技术，包括数据泛化(generalization)、数据趋势离散化(trend discretization)

  【应用】

  运用高级数据预处理技术进行数据过滤，以建立区隔化模型

  运用高级数据预处理技术进行缺失值的侦测及填补

  运用高级数据预处理技术进行数据泛化的处理

  运用高级数据预处理技术进行数据趋势离散化的处理

  评估上述不同的数据处理方法对模型效能的影响

  2、特征工程概要

  【领会】

  特征工程的重要性

  特征理解

  特征改进（数据清洗对特征的影响）

  【熟知】

  特征工程的涵盖范围

  特征选择的目的

  特征建构的方法

  特征转换的方式

  特征的自动学习

  以ai促进ai

  3、特征建构

  【领会】

  特征建构前的准备

  特征的空值处理

  特征的标准化

  【熟知】

  类别型特征的编码

  顺序型特征的编码

  数值型特征的分箱

  建构多项式特征

  建构交互特征

  特征的归一化

  【应用】

  运用数据挖掘对特征进行适当的建构，以作为下阶段特征选择的输入

  4、特征选择

  【熟知】

  无效变量（不相关变量、多余变量）

  统计为基础的特征选择（卡方检验、anova检验及t检验）

  模型为基础的变量选择（决策树、逻辑回归、随机森林）

  高度相关特征的选择

  递归式的特征选择

  【应用】

  运用数据挖掘进行关键特征的选择。同时，评估不同的关键特征选择方法对模型效能的影响。

  5、特征转换

  【领会】

  线性特征转换-主成分分析（pca）

  【熟知】

  非线性的特征转换-核主成分分析（kernel pca）

  类间可分性最大化的特征转换-线性判别分析（lda）

  矩阵分解法的特征转换-非负矩阵分解法（nmf）

  对稀疏矩阵进行特征转换-截断奇异值分解法（tsvd）

  【应用】

  运用数据挖掘进行特征的转换。同时，评估不同的特征转换方法对模型效能的影响。

  6、特征学习

  【熟知】

  关联规则为基础的特征学习

  神经网络为基础的特征学习

  深度学习为基础的特征学习

  词嵌入为基础的文本特征学习

  【应用】

  运用数据挖掘进行自动的特征学习。同时，评估不同的特征学习方法对模型效能的影响。

  part 3 自然语言处理与文本分析

  1、自然语言处理概要

  【领会】

  boson的中文语意平台

  【熟知】

  自然语言处理的研究范畴

  分词

  词根还原

  词性标注

  同义词标订

  概念标订

  角色标订

  【运用】

  运用boson的中文语意平台进行语言的处理

  2、分词与词性标注

  【领会】

  词性的种类及意义

  【熟知】

  n-gram及词

  分词及词性标注的难点

  法则式分词法

  统计式分词法

  词性标注

  【运用】

  运用中文分词及词性标注技术对多篇文章进行分词及词性标注

  3、文本挖掘概要

  【领会】

  信息检索技术之全文扫描

  信息检索技术之签名文件

  信息检索技术之逐项反转

  控制字汇

  关键词索引

  【熟知】

  文本挖掘的应用

  信息检索技术之向量空间模型

  文本挖掘的处理流程

  文本可视化

  【应用】

  将多篇文件及查询转为向量格式，并计算查询与文件间的相似度。

  运用文本可视化技术将文件内容以文字云的方式呈现。

  4、关键词提取

  【熟知】

  tf、df及idf

  词性

  关键词的提取方法

  【应用】

  对多篇文件及查询中的词，计算tf、df、idf及词性并提取重要的关键词。

  5、文本非结构数据转结构

  【熟知】

  词袋模型

  pca

  矩阵分解

  词嵌入模型glove

  词嵌入模型word2vec（skip-gram & cbow）

  【应用】

  对多篇文件进行词嵌入模型的训练及使用。

  将结构化后的文件进行文本分类、情绪分析、文本聚类及文本摘要的应用。

  part 4 机器学习算法

  1、朴素贝叶斯

  【熟知】

  朴素贝叶斯（独立性假设、概率的正规化、拉普拉斯变换、空值的问题）

  【应用】

  运用数据挖掘软件建立朴素贝叶斯模型，解读模型结果，并评估模型效能。

  2、决策树（分类树及回归树）

  【领会】

  prism决策规则算法

  chaid决策树算法（chaid的字段选择方式）

  【熟知】

  id3决策树算法（id3的字段选择方式、如何使用决策树来进行分类预测、决策树与决策规则间的关系、id3算法的弊端）

  c4．5决策树算法，包括c4．5的字段选择方式、c4．5的数值型字段处理方式、c4．5的空值处理方式、c4．5的剪枝方法（预剪枝法、悲观剪枝法）

  cart决策树算法（分类树与回归树、cart分类树的字段选择方式、cart分类树的剪枝方法）

  cart回归树算法（cart回归树的字段选择方式、如何利用模型树来提升cart回归树的效能）

  【应用】

  运用数据挖掘软件建立分类树模型，解读模型结果，并评估模型效能。

  运用数据挖掘软件建立回归树模型，解读模型结果，并评估模型效能。

  3、神经网络与深度学习

  【领会】

  bp神经网络概述（理解神经网络的由来及发展历程）

  卷积神经网络（convolutional neural networks, cnn）（理解卷积神经网络cnn的由来及发展历程）

  递归神经网络（recurrent neural networks, rnn）（理解递归神经网络rnn的由来及发展历程）

  【熟知】

  感知机（perceptron）及感知机的极限

  多层感知机（multi-layer perceptron）

  bp神经网络的架构方式

  神经元的组成：组合函数（combination function）与活化函数（activation function）

  bp神经网络如何传递信息

  修正权重值及常数项

  训练模型前的数据准备（分类模型的数据准备、预测模型的数据准备）

  bp神经网络与逻辑回归、线性回归及非线性回归间的关系

  【应用】

  运用数据挖掘软件建立bp神经网络模型，解读模型结果，并评估模型效能。

  4、支持向量机

  【领会】

  支持向量机概述

  线性可分

  最佳的线性分割超平面

  决策边界

  【熟知】

  支持向量

  线性支持向量机

  非线性转换

  核函数（polynomial kernel、gaussian radial basis function、sigmoid kernel）

  非线性支持向量机

  支持向量机与神经网络间的关系

  【应用】

  运用数据挖掘软件建立支持向量机模型，解读模型结果，并评估模型效能。

  5、集成方法

  【领会】

  集成方法概述

  【熟知】

  抽样技术

  训练数据上的抽样方法

  输入变量上的抽样方法

  袋装法（随机森林）

  提升法（adaboost、xgboost、gbdt、lightgbm）

  【应用】

  运用数据挖掘软件建立组合方法模型，解读模型结果，并评估模型效能。

  6、聚类分析

  【领会】

  聚类的概念

  【熟知】

  相似性的衡量（二元变量的相似性衡量、混合类别型变量与数值型变量的相似性衡量）

  样本点间距离的计算（manhattan distance、city-block distance、euclidean distance）

  聚类算法（exclusive vs． non-exclusive (overlapping)的聚类算法、分层聚类法、划分聚类法）

  分层聚类算法（单一链结法、完全链结法、平均链结法、中心法、ward’s 法）

  划分聚类算法（k-means法、em法、k-medoids法、神经网络som法、两步法）

  密度聚类算法（dbscan）

  群数的判断(r-squared (r2)、semi-partial r-squared、root-mean-square standard deviation (rmsstd)、轮廓系数(silhouette coefficient) )

  【应用】

  运用数据挖掘软件建立聚类模型，解读模型结果，并提供营销建议。

  7、关联规则

  【领会】

  关联规则的概念

  【熟知】

  关联规则的评估指标（支持度、置信度、提升度）

  apriori算法（暴力法的弊端、apriori算法的理论基础、候选项目组合的产生、候选项目组合的删除）

  支持度与置信度的问题（提升度指标）

  关联规则的生成

  关联规则的延伸（虚拟商品的加入、负向关联规则、相依性网络）

  【应用】

  运用数据挖掘软件建立关联规则模型，解读模型结果，并提供营销建议。

  8、序列模式

  【领会】

  序列模式的概念

  【熟知】

  序列模式的评估指标（支持度、置信度）

  aprioriall算法（暴力法的问题、aprioriall算法的理论基础、候选项目组合的产生、候选项目组合的删除）

  序列模式的延伸（状态移转网络）

  【应用】

  运用数据挖掘软件建立序列模式模型，解读模型结果，并提供营销建议。

  9、模型评估

  【熟知】

  混淆矩阵（正确率(accuracy)、查准率(precision)、查全率(recall)、f-指标(f-measure)）

  ks图（ks chart）

  roc图（roc chart）

  gini图（gini chart）

  回应图（response chart）

  增益图（gain chart）

  提升图（lift chart）

  收益图（profit chart）

  平均平方误差（average squared error）

  【应用】

  运用数据挖掘软件比较不同模型间的优劣

  part 5 机器学习实战

  1、自动机器学习

  【领会】

  自动机器学习的基本概念

  自动机器学习平台

  【熟知】

  自动数据预处理的方法

  自动机器学习的模型建置方法

  自动模型的评估方法

  【应用】

  运用自动机器学习技术，快速建立模型，解读模型结果，并评估模型效能。

  2、类别不平衡问题

  【领会】

  不平衡数据定义

  不平衡数据场景

  传统学习方法在不平衡数据中的局限性

  类别不平衡所造成的问题

  【熟知】

  类别不平衡问题的检测方法

  过采样技术（over-sampling）

  欠采样技术（under-sampling）

  模型惩罚技术

  【应用】

  能运用类别不平衡的处理技术，提升模型的效能

  3、半监督学习

  【领会】

  监督学习、无监督学习及半监督学习间的关系

  【熟知】

  半监督学习的基本思路

  半监督学习的基本假设

  半监督分类

  半监督回归

  半监督聚类

  半监督降维

  掌握基于svm的半监督学习算法

  基于核方法的半监督学习算法

  em半监督学习算法

  【应用】

  能运用半监督学习，降低开发决策模型的成本

  4、模型优化

  【领会】

  模型参数优化的目的

  建模门槛值优化的目的

  【熟知】

  模型参数优化的方法

  建模门槛值优化的方法

  【应用】

  运用模型参数优化建立更精准的数据挖掘模型

  运用建模门槛值优化建立更精准的数据挖掘模型

  六、推荐学习书目

  说明：推荐学习书目中，部分书籍结合软件，考试中客观选择题部分不考查软件操作使用，案例实操部分需要考生运用相关软件进行建模分析，考生可根据自身需求选择性学习。参考书目不需全部学完，根据考纲知识点进行针对性学习即可。

  [1] jiawei han, micheline kamber, jian pei．数据挖掘:概念与技术（原书第3版）[m]．范明,孟小峰 译,机械工业出版社,2012．（必读）

  [2] 周志华．机器学习[m]．清华大学出版社,2016．（必读）

  [3] chris albon． python机器学习手册:从数据预处理到深度学习．电子工业出版社,2019．（必读）

  [4] 李博．机器学习实践应用．人民邮电出版社,2017．（必读）

  [5] 爱丽丝•郑,阿曼达•卡萨丽．精通特征工程．人民邮电出版社,2019．（必读）

  [6] 迪潘扬•萨卡尔（dipanjan sarkar）．python文本分析[m]．机械工业出版社,2018．（必读）

  [7] 经管之家．spss modeler weka数据挖掘从入门到实战,电子工业出版社,2019．（选读）

  [8] pang-ning tan, michael steinbach, vipin kumar．数据挖掘导论（原书第2版）[m]．段磊,张天庆 译,机械工业出版社,2019．（选读）

  [9] 赵卫东,董亮． python机器学习实战案例． 清华大学出版社,2019．（选读）

  [10] 约阿夫•戈尔德贝格．基于深度学习的自然语言处理[m]．机械工业出版社,2018．（选读）

  [11] 鲁伟．深度学习笔记．北京大学出版社,2020．（选读）

  [12] 数据挖掘网站：kdnuggets (https://www.kdnuggets.com/)（拓展学习）

  [13] 数据挖掘网站：kaggle (https://www.kaggle.com/)（拓展学习）