非结构化数据分析(非结构化数据治理)
一、零基础可以学习数据分析吗
零基础如何入门数据分析师？
大数据时代，数据为王。用数据做分析，给公司决策提供指导性意见，是众多公司在这个精细化运营，降本增效的时代必须要做的事情。各大企业都建立了数据分析部门。截止目前，我国共计1400万数据分析人才缺口，市场规模预计将在2025年达到2000亿！数据分析与其说是一个岗位，更是一个重要技能，拥有这项技能意味着你的就业前景更好，职业发展更广。
那么数据分析零基础应该怎么学呢？下面我将从数据分析的学习周期、学习内容以及职业发展规划三个方面，带大家充分了解数据分析这一行业。
1、数据分析要学多久？
每个人的学习能力和基础都不同，所以数据分析的学习周期也不同。如果是通过自学的方式，由于无专业老师指导及无法系统的学习，这个周期可能会很长。一般来讲，如果零基础的学习者进行系统的培训，最快也要将近三、四个月的时间。数据分析的学习应该首先从熟悉表以及表结构开始，它的原点一定是在首先了解熟悉Excel的基础上，在能够从数据库里提数的基础上再进行技能的升级。你的技能从能够从数据库里提数，并且用Excel和BI处理几万行的小数据量，到使用python批量化处理几十万甚至百万行中量级数据量，到最终使用大数据的相关组件，例如hadoop，spark，flume等组件处理千万级甚至是亿级大数据量。每一个阶段所需要的工具加方法论都是不一样的。一般而言，对于自学而成为能处理中量级数据量的分析师而言，得至少入门python的pandas，numpy等数据处理库。这个零自学的周期，也一般跟悟性和自律有关，悟性和自律性高的同学，可能在4个月能够掌握；如果悟性和自律性不高的同学，这个周期有可能就是半途而废，无法估量时间了。这里给大家推荐一下聚数学院的《数据分析实战就业班》（聚数学院)，专注于培养数据分析师的数据处理能力、数据分析能力和数据挖掘能力，课程内容从数据库管理、统计理论方法、数据分析主流软件的应用到数据挖掘算法等，对一整套数据分析流程技术进行系统讲解并配以实战练习，学完之后，学习者可以直接达到数据分析师的水平。
2、数据分析要学什么？
(1)Excel
说起Excel可能会有人觉得这个很简单，但是Excel确实是一个功能强大的利器。零基础学数据分析师一定要从Excel入门，因为Excel是处理小型数据量企业用的最多的工具，在基础数据分析师与数据运营岗位中具有极其重要的地位。作为数据分析师的核心工具，具体学习内容有Excel函数技巧（查找函数、统计函数、逻辑函数）、Excel快速处理技巧（格式调整、查找定位、快捷键技巧等）和Excel可视化技巧（组合图、条形图、数据气泡地图）等。
(2)Mysql
SQL同样是零基础学习数据分析的核心内容。因为作为数据分析师，你首先要解决的问题就是你要有数据来做分析。通常企业都会有自己的数据库，数据分析师首先得根据业务需要知道自己要从企业数据库中提取哪些数据。企业如果部署本地数据库，那么一定是SQL语言做提取数据的语言。SQL简单易懂，非常容易上手，并且是非学不可的。SQL语言从学习MySQL数据库开始，涉及对表结构数据的增删改查。真正在企业里面，数据分析师一般不会有增删改的权限，只会有查的权限。学员应该重点掌握查的各种句式。
(3)Python
Python的基础对于数据分析师而言是非常重要的。对于十万级或者百万级数据量而言，Excel和BI都会因为运行卡顿而变得完全无法使用。然而在实际企业运用中，一次性处理十万级以及百万级数据又是非常常见的。而Python则是处理这种中量级数据的利器。因为Python有很多的第三方强大的库，比如Numpy、Pandas、Matplotlib、Seaborn等。这些库能让数据分析师对百万数据进行数据清理和画图分析。Python不仅能数据清洗，画图，还能用sklearn进行大数据算法分析。虽然Python是数据分析的重要工具，但是不同的职业发展方向，Python掌握的程度也是不一样的。
(4)BI商业智能工具
BI可以理解成Excel图表透视表的高级版。BI是将表与表相连，然后得出很多指标图。它是一个大屏的看板，如下图：
企业销售指标，运营指标，物流指标等等。这些图可以表示企业在过去5个月的平均销售单价，过去24个月销售的物流发货量的变化曲线，甚至是现在实时的销售额，这些都是企业关心的问题。有了这个看板，领导层在监控企业业务方面就有了非常直观的数据，以供他们及时做出决策调整。现在市面上比较流行的BI软件，有FineBI，PowerBI等。而这些BI软件实际上都是非常类似的，学起来难度也不大。学习FineReport、FineBI由入门到精通，快速挖掘数据价值，将这些数据转化成有用的信息，让企业决策有数据依据，从而驱动企业决策和运营。
(5)数理统计与数据运营
数理统计和数据运营方法论是数据分析师的理论基石。数理统计包括概率论，统计学，线性代数，以及基础的微积分理论。这些内容都不需要理解的很深，但是对它们的原理以及内涵都需要有所掌握。由于整个数据分析的源头其实就是脱胎于描述性统计分析的。描述性统计分析是对样本的总数、均值等指标做统计的；而数据分析后续涉及到的算法则是架构在统计学上更深一层次的建模。因此，掌握数理统计的相关知识对于入门数据分析师而言是基础且必要的。
那数据运营方法论是什么呢？数据运营方法论实际上是学习各个行业所运营的分析模型。例如，对电商而言，漏斗分析可以分析出来进入主页的人数PV1，到进入服装板块的人数PV2，PV2/PV1就可以得出一个进入服装板块的比率。还有很多通用的分析模型：相关分析，A/Btest等。对于想往管理路线发展的数据分析师来讲，数据运营是必须要学习的知识。其实数据运营知识也不复杂，就是根据自身业务需求将指标拆解到最细，然后运用同比和环比两种数据分析方式。
(6)机器学习
最后一个进阶要求数据分析师掌握对大量数据分析的能力。这种分析就不只是停留在描述统计分析和运用数据运营方法进行分析了，而是进行预测分析。预测分析的本质是利用已有的数据做出一套变量x，与预测最终值y之间的关系（也就是数学算法公式），然后利用这套算法，将更多的x输入算法中去得出一个预测的y值，这里听不懂没关系。总之，这个阶段的数据分析是利用大量的历史数据构建出一套数学公式（也就是算法），用这个数学公式去对未来进行预测。比如说：一个人大量地刷体育短视频，根据算法可以得出这个人可能对观看足球比赛的腾讯体育会员感兴趣。这类推断和预测对于商业世界是有着极大变现意义的。要想成为掌握算法的数据分析师，机器学习是不可跳过的入门。学员应该从简单的一元回归，多元回归，以及逻辑回归学习等，逐渐学习更多像决策树，随机森林，SVM等更高级的算法。
3、数据分析的职业发展规划？
一般来讲，数据分析有两条发挥路线，一条是管理路线，一条是技术路线。往管理端发展，比如初级数据分析师，到数据运营，到数据分析经理、数据运营总监等等。这条发展路径主要要求统计学、Excel、PPT等技能，需要撰写市场分析报告。这条路看似技术掌握不用太深，但是对业务的理解要极深。而精深的业务理解需要时间和深度的业务钻研精神。如果你是非数学、计算机和统计学专业的朋友，比较适合这条非技术的职业发展之路。
而向技术方向发展，则目标会非常明确。一是深入往数据挖掘方向发展，学习深度神经网络，NLP等前沿算法。二是深入数据分析开发，把大数据组件hadoop，spark等等大数据组件学好学精。这是一条技术类的发展方向，要求更高的统计学能力、数理能力以及编程技巧。
实际上，无论是非技术的业务方向和技术专家方向都要的是两个字：钻研。当然听到这里，我们也需要重重地阐述一下：入门初级数据分析是不难的。而后半段，要成为一个优秀的数据分析师是难的，是需要刻苦钻研精神的。
如果看到这里，你觉得自己心理上已经就入门数据分析师方向做好了准备，但是你是零基础实在不知道如何入行的话，欢迎私聊获取免费的数据分析师知识点大纲，并且免费做数据分析师的入门咨询。
二、大数据会窥探隐私吗
谢邀。
首先回答问题：会的。（你已经一脸惊恐了？）
再次解释：不要过于担心。
你的一切行为，都将在互联网以数据的方式存在，所以你的行为都将被数据化，并被大数据技术挖掘出来。——这就是大数据挖隐私的原理所在。
但是，有两点需要强调：
第一：你是否可以把数据进行一定的修饰乃至隐藏？举例，不要随时都用实名，比如你写快递收件人的时候？
第二：随着技术的发展，国家对应法律体系的健全，部分数据是不会被商家拿到的（就好比做手机的不能在你的手机里安个窃听器，随时录取你的电话和日常对话）。也就是说，对数据的采集和应用，必定将来会受到更加严格的监管和规范。
总之，适当的保护自己的隐私，不论是在网络，还是在日常生活，都是一样的（日常生活中你也不会把什么信息都透露个外界吧？）。只不过现在很多人还没有习惯或者说学会在互联网上合理的保护自身隐私而已。
个人觉得，某些数据被挖掘出去，并不算什么隐私侵犯，例如我看了某类的书，就被推荐了一堆类似的书（其实我只是这段时间爱看这类书而已，过段时间就变了）。
三、该如何学习大数据知识
谢邀。这朋友首先要明白一个道理，大数据是一个泛化的概念。就像互联网，计算机这样的专有名词，比如一个人问你我如何去学习互联网，你一定会告诉他，互联网一个泛指的概念，它包括方方面面很多细分的项目，你想自学的大数据也是非常泛化的概念，就拿你擅长的Java这个工具。她也能在大数据上的拥有广泛的应用。包括数据库集群技术，分布式技术，还有网站性能优化，包括CDn镜像技术虚拟化，云计算共享，存储海量数据等。我个人的建议，你如果擅长Java的话，您完全没有必要自学。因为任何一个语言任何一个工具都要在一个大的使用场景的人来实现，那么我的建议是你参加一个针对性的项目培训，以后去应聘到相关的公司参加项目小组。因为云计算是个泛指的概念有很多门类，你的这个专业可以通过你的小组参加具体的实践项目。进而达到提升的目的。通过参与具体的项目，你可以接触到云计算的方方面面，最起码是概念上的方方面面，然后具体可以从你擅长的专业角度有所突破。你想在大数据企业就业的话，获得一个大企业的认证非常重要。目前国内最火的云计算，应该属于阿里云。那么你首先应该取得阿里云的企业级的认证。包括阿里云的数据处理和分析。报表场景的实现，企业自主平台阿里云的企业认证，包括ACp11003模块等等。以上说了一大堆废话，给你的最终的建议就是:参加一个团队，上手一个项目，获取商业应用的经验后，以一个有经验的大数据平台工作人员的身份，跳槽到更高层级的企业。你们职业发展薪资待遇就会有一个更大的提升。