数据分析知识框架

先说说对数据分析师的理解。

作为一名数据分析师，应该具备的能力是，在大量的数据中，发现问题，分析问题，并且解决问题，推进业务的增长和效率的提升

想要发现问题，需要有判断力，这是很主观的一件事，需要具备【业务知识】。
当然也需要有【数据处理的能力】，成千上万的数据，业务经验再丰富，都无法直接看出问题。
这一步也是数据分析的初级阶段，在处理数据和了解业务之间螺旋上升。
具体来说，就是从利用工具，根据需求做图做表，了解需求产生原因，了解业务，再根据对业务的理解，做出更能解决需求的图表。
从这个螺旋上升的过程中，锻炼出数据敏感度，即从数据看板中快速发现问题。

发现的问题往往是表层问题，分析问题，就是要找出问题产生的原因。
这过程中需要掌握【思维逻辑能力】与【数据分析方法】。
比如

1. 运用统计知识，建立能直观反映问题的指标
2. 运用可视化技术，做出一眼就能看出问题的可视化图
3. 运用机器学习，给出特征重要性 最后，还要能把分析过程，整理成分析报告【展示表达】出来。

最后是解决问题，问题分析到最后，是可以直接按照分析的结论进行调整解决的，还没有解决问题，就说明还是是个问题，可以继续往下分析 比如

1. 分析出是某部分效率下降，要继续分析出效率下降原因。
2. 分析出是效率下降原因是用户购买意愿下降，进一步分析用户来源于用户画像
3. 得出结论，由某平台来的用户，画像和其他平台的不同，这部分用户购买意愿度低
4. 分析出调整该平台投放与停止该平台投放两种决策的预期结果，做出决策

从上可以总结出，进行数据分析，需要掌握
一：数据处理的能力；二：思维逻辑能力；三：数据分析方法；四：业务知识
那么对应的学习框架就是： 一：数据分析工具；二：常用分析逻辑；三：统计学与机器学习；四：数据分析案例。

本站将围绕这三件事，进行知识整理的分享。

一. 数据分析工具

工欲善其事，必先利其器。

数据分析的工作中，熟悉各类工具的使用，了解各类工具的特性，能大大提高分析的效率。
python SQL PowerBI是目前数据分析的必备工具，三者的擅长的侧重点都不同
下面是作者整理的各类工具使用手册，以功能代码实现为主，非教程，小白请自行补充基础知识

目前个人觉得最方便的工作流是：

• 在python里用爬虫和SQL获取数据，并进行清洗（快速稳定上限高）
  • 需要描述性分析，就导出底表，使用Power BI进行数据透视与可视化分析（方便快捷功能全）
  • 需要建模，就继续使用python（灵活调用不同包，并且能自主开发）

这个工作流分别用到了各个工具的长处，提高工作效率

下面分别简单介绍一下三种语言
点击标题进入具体教程，分析方法相关教程在第二部分。

1. python

python作为编程语言，可以实现各种功能，下面是数据分析各项步骤中通常使用的包

1. 数据获取(pandas requests seleniumwire)
2. 数据清洗(pandas numpy sklearn)
3. 数据透视(pandas)
4. 数据可视化(matplotlib Pyecharts)
5. 建模分析(sklearn)

2. SQL

使用数据库就必然会用到SQL，SQL俗称数据削笔刀，使用得当能大幅度提高数据获取效率

3. Power BI

excel中就能直接使用，图形界面+代码结合的，使得完成一些临时任务时快捷方便，并且便于分享，透视表+度量值的功能使得分层分析十分方便

优点：透视和可视化方便

缺点：数据量大时容易卡

二. 常用分析逻辑

下面是业务分析中常用的几种分析逻辑，根据具体业务问题，通常会选择一种或多种来分析问题，同时在这些过程中，会用到分析方法

1. 公式拆解 所谓公式拆解法就是针对某个指标，用公式层层分解该指标的影响因素。
2. 对比分析 孤立的数据没有意义，有对比才有差异，最通用的方法 A/Btest，也是在进行测试后进行对比分析
3. 象限分析 通过对两种及以上维度的划分，运用坐标的方式表达出想要的价值
4. 帕累托分析 源于经典的二八法则，比如公司80%的流水是由前面20%的人产生的
   用于分析出一个问题的关键点，然后抓重点分析
5. 漏斗分析 经典例子：AARRR 用户增长模型：用户获取、用户激活、用户留存、用户收益以及用户传播
6. 路径分析 追踪用户从某个开始事件直到结束事件的行为路径，即对用户流向进行监测，可以用来衡量网站优化的效果或营销推广的效果，以及了解用户行为偏好。

三. 数据分析方法

1. 描述性分析 数据分析最常用的分析方式，运用到统计学知识，通常使用是对数据指标进行时间维度或者组织维度的对比分析，优秀的数据分析师能通过数据漏斗与数据对比快速用定位问题

2. 预测性分析 预测性分析是高级分析的一个分支，将历史数据与统计建模、数据挖掘技术和机器学习相结合，对未来结果进行预测，从而识别风险和商机。常分为回归预测与分类预测两种。

3. 聚类分析 聚类分析用于将看似无序的对象进行分组、归类，以达到更好地理解研究对象的目的。在用户研究中，很多问题可以借助聚类分析来解决，比如，网站的信息分类问题、网页的点击行为关联性问题以及用户分类问题等等。

1. 统计学

2. 机器学习

• sklearn-基础使用

三. 数据分析案例

四. 其他计算机知识

日常工作中，还需要了解一些其他的计算机知识

1. 程序算法

展开查看

二进制与位运算

2. Linux

展开查看

内容待补充