gudure
40

破冰方案!焦虑有啥用?VIP会员2020,全网数据分析好课一应俱全!

破冰方案!焦虑有啥用?VIP会员2020,全网数据分析好课一应俱全!

引言在整个20世纪中,“原子”、“字节”以及“基因”这三项极具颠覆性的科学概念得到迅猛发展,并且成功引领人类社会进入三个不同的历史阶段。截至目前,这三项概念在结构上竟有惊人的相似之处,其框架均由最基本的组织单元构成:原子是物质的最小单元,字节(或比特)是数字信息的最小单元,而基因则是遗传与生物信息的…

永洪科技
35

透过数据理性分析当下新型肺炎疫情形势

2019年12月8号武汉发现首例新型冠状病毒肺炎。早期确诊的疫情病例大多来自武汉华南海鲜市场,经调查,病毒来源于市场所售的野生动物。截至2020年2月5日8点,疫情导致总死亡人数为491人,确诊人数24363人。为控制疫情政府相关部门迅速采取行动。武汉市于2020年1月23日(腊月二十九)“封城”,…

永洪科技
39

春节被催婚,2020全国各地彩礼地图告诉你结婚有多难

春节被催婚,2020全国各地彩礼地图告诉你结婚有多难

红红火火恍恍惚惚2020年春节倒计时最后2天很多小伙伴都回家或者在回家的路上了你以为战胜了春运大军、顺利归家就能舒舒服服过个好年?tooyoung,toosimple同一个世界,同样的爸妈一到过年“中国式催婚”就会在各地上演也许你能经受住甲方爸爸的十万个为什么却扛不住七大姑八大姨一连串灵魂拷问《中国…

永洪科技
39

解决大数据量下的各种报表使用问题,用永洪数据集市数据集

一招教你解决大数据量下的各种报表使用问题

2、新建作业

在调度作业中新建任务,其中类型设置为:增量导入数据,数据集为上一步创建的TEST_YH的SQL数据集,文件夹为存放文件的名称,最后我们选择追加数据。

一招教你解决大数据量下的各种报表使用问题

在任务最下方的脚本中设置可以动态获取昨天日期的参数参数,setMeta("search_data_index",formatDate(a,"yyyy-MM-dd")) 是用来给数据集市文件设定属性的,在数据集市数据集中可通过过滤条件查看这个属性。

file = formatDate(a,"yyyy-MM-dd") 是创建一个数据集市文件的文件名。

一招教你解决大数据量下的各种报表使用问题


3、生成文件

在调度任务中运行此作业,就可以生成文件了。


一招教你解决大数据量下的各种报表使用问题

我们还可以进一步在管理系统下监控预警中的数据集市文件信息统计中进一步查看上一步生成的文件。

解决大数据量下的各种报表使用问题,用永洪数据集市数据集

在我们日常制作报表分析过程中,总会遇到各种问题。比如,报表底层数据日益增多、报表加载超慢,这些情况该怎么解决?数据库是最常见的能处理大数据的计算方案,而永洪能利用数据库来完成数据计算。但是,有些报表的计算较为复杂,使用SQL实现会非常困难,这时,我们就会采用永洪报表呈现的直观计算方式来完成数据的计算…

永洪科技
24

数字化转型大势下,企业如何实现数据管控?

数字化转型大势下,企业如何实现数据管控?

在上一篇我们讲到了业务人员可以用永洪产品的自服务数据集进行自助式分析,那么IT管理员如何管理业务人员进行分析呢? 某财险类客户案例 永洪的某财险客户需要业务用户进行自助式分析,高峰期在350并发以上,企业IT管理部希望对所有IT人员和业务人员查询…

周帆
20

如何用python在工作中“偷懒”?

  作者|A字头来源|数据札记倌有些朋友在工作中会有这样的困惑:明明我从早忙到晚,为什么得到的评价还不高?要知道,企业对一个员工的评价是出于“产出”而非“付出”。所以,如果把大量时间花在机械重复的工作上,不但工作效率不高,对个人发展来说也无甚帮助。而这些工作,如果对于会点编程的人来说,往往通过几行代…

永洪科技
20

超强数据源覆盖能力,永洪科技BI产品全面支持Greenplum

近日,永洪科技一站式大数据分析平台YonghongZ-Suite全面支持Greenplum,其强大的开放性和兼容性可更好服务广大客户,满足企业客户数字化转型的需求。Greenplum为全球开源、多云大数据平台,专为高级分析而打造,被Gartner列为全球十大经典和实时数据分析产品中唯一开源数据库。G…

王艳
22

求武陵山片区地图,arcgis可以直接操作的那种,谢谢!

求武陵山片区地图,arcgis可以直接操作的那种,谢谢!  

周帆
15

一文讲解机器学习算法中的共线性问题

  

作者 | 宋老师

来源 | JSong的数据科学小站

多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中,例如决策树和贝叶斯,前者的建模过程是逐步递进,每次拆分只有一个变量参与,这种建模机制含有抗多重共线性干扰的功能;后者干脆假定变量之间是相互独立的,因此从表面上看,也没有多重共线性的问题。但是对于回归算法,不论是一般回归,逻辑回归,或存活分析,都要同时考虑多个预测因子,因此多重共线性是不可避免需要面对的,在很多时候,多重共线性是一个普遍的现象。在构造预测模型时如何处理多重共线性是一个比较微妙的议题。既不能不加控制,又不能一刀切,认为凡是多重共线性就应该消除。

1、共线性的原理

假设有k个自变量的多元线性回归模型:

一文讲解wordsbank_match location='/map/jiqixuexi/'机器学习/wordsbank_match算法中的共线性问题

其中误差项是一个期望值为0且服从正态分布的随机变量:

一文讲解机器学习算法中的共线性问题

  作者|宋老师来源|JSong的数据科学小站多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中,例如决策树和贝叶斯,前者的建模过程是逐步递进,每次拆分只有一个变量参与,这种建模机制含有抗多重共线性干扰的功能;后者干脆假定变量之间是相互独立的,因此从表面上看,也没有多重共线性的问题。但…

永洪科技
16

轻松构建复杂数据集,永洪自服务数据查询功能详解

轻松构建复杂数据集,永洪自服务数据查询功能详解

现在的报告样式多种多样,越来越炫酷以至于让人应接不暇。如果想从数据结果上进行溯源,由于数据处理过程盘根错节且技术性过强,让业务人员捉襟见肘。如何让业务人员清晰可视化的看到数据从来源、加工到展示的一步步操作,永洪科技为您排忧解难。 今天这篇文章,主要介绍永洪自服务数据查询,这种方…