数据分析

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。

164 篇文章 121363 次浏览
gudure
17

破冰方案!焦虑有啥用?VIP会员2020,全网数据分析好课一应俱全!

破冰方案!焦虑有啥用?VIP会员2020,全网数据分析好课一应俱全!
永洪科技
16

透过数据理性分析当下新型肺炎疫情形势

永洪科技
14

春节被催婚,2020全国各地彩礼地图告诉你结婚有多难

春节被催婚,2020全国各地彩礼地图告诉你结婚有多难
永洪科技
17

解决大数据量下的各种报表使用问题,用永洪数据集市数据集

一招教你解决大数据量下的各种报表使用问题

2、新建作业

在调度作业中新建任务,其中类型设置为:增量导入数据,数据集为上一步创建的TEST_YH的SQL数据集,文件夹为存放文件的名称,最后我们选择追加数据。

一招教你解决大数据量下的各种报表使用问题

在任务最下方的脚本中设置可以动态获取昨天日期的参数参数,setMeta("search_data_index",formatDate(a,"yyyy-MM-dd")) 是用来给数据集市文件设定属性的,在数据集市数据集中可通过过滤条件查看这个属性。

file = formatDate(a,"yyyy-MM-dd") 是创建一个数据集市文件的文件名。

一招教你解决大数据量下的各种报表使用问题


3、生成文件

在调度任务中运行此作业,就可以生成文件了。


一招教你解决大数据量下的各种报表使用问题

我们还可以进一步在管理系统下监控预警中的数据集市文件信息统计中进一步查看上一步生成的文件。

解决大数据量下的各种报表使用问题,用永洪数据集市数据集
永洪科技
9

数字化转型大势下,企业如何实现数据管控?

数字化转型大势下,企业如何实现数据管控?
永洪科技
10

超强数据源覆盖能力,永洪科技BI产品全面支持Greenplum

永洪科技
7

轻松构建复杂数据集,永洪自服务数据查询功能详解

轻松构建复杂数据集,永洪自服务数据查询功能详解
永洪科技
5

关于Mapsidejoin最详细的应用介绍在这里

数据集干货:一文读懂Mapsidejoin
周帆
7

数据分析实践入门(一):数据预处理


作者|CDA数据分析师

从菜市场买来的菜,总有一些是坏掉的不太好的,所以把菜买回来之后要做一遍预处理,也就是把那些坏掉的不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品,拿到手以后会有一些不好的数据,所以都要先做一次预处理。

常见的不规则数据主要有缺失数据、重复数据、异常数据几种,在开始正式的数据分析之前,我们需要先把这些不太规整的数据处理掉,做数据预处理。

一、缺失值处理

缺失值就是由某些原因导致部分数据是空的,对于为空的这部分数据我们一般是有两种处理方式的,一种是做删除处理,即把含有缺失值的数据删除;另一种是做填充处理,即把缺失的那部分数据用某个值代替。

1、缺失值查看

对缺失值进行处理,首先要把数据中的缺失值找出来,也就是查看数据中有哪些列有缺失值。

(1)、Excel实现

在Excel中我们选中一列没有缺失值的数据,看一下这一列数据共有多少个,然后把其他列的计数与这一列进行做对比,小于这一列数据个数的就代表该列数据有缺失值,差值就是缺失个数。

下图中非缺失值列的数据计数为5,性别这一列计数为4,这就表示性别这一列是有一个缺失值的。

周帆
5

数据分析师的核心竞争力在哪里?