大数据分析特点?
500
2024-04-23
Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型,字符串、boolean值、数字等都能保存在Series中。
Time- Series:以时间为索引的Series。
DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
Panel :三维的数组,可以理解为DataFrame的容器。
Panel4D:是像Panel一样的4维数据容器。
PanelND:拥有factory集合,可以创建像Panel4D一样N维命名容器的模块。
根据不同的分类方法,可以将统计数据分为以下几种类型:
按计量层次分类
按照数据的计量层次,可以将统计数据分为定类数据、定序数据、定距数据与定比数据。
1.定类数据。这是数据的最低层。它将数据按照类别属性进行分类,各类别之间是平等并列关系。这种数据不带数量信息,并且不能在各类别间进行排序。例如,某商场将顾客所喜爱的服装颜色分为红色、白色、黄色等,红色、白色、黄色即为定类数据。又如,人类按性别分为男性和女性也属于定类数据。虽然定类数据表现为类别,但为了便于统计处理,可以对不同的类别用不同的数字或编码来表示。如1表示女性,2表示男性,但这些数码不代表着这些数字可以区分大小或进行数学运算。不论用何种编码,其所包含的信息都没有任何损失。对定类数据执行的主要数值运算是计算每一类别中的项目的频数和频率。[3]
2.定序数据。这时数据的中间级别。定序数据不仅可以将数据分成不同的类别,而且各类别之间还可以通过排序来比较优劣。也就是说,定序数据与定类数据最主要的区别是定序数据之间还是可以比较顺序的。例如,人的受教育程度就属于定序数据。我们仍可以采用数字编码表示不同的类别:文盲半文盲=1,小学=2,初中-3,高中=4,大学=5,硕士=6,博士=7.通过将编码进行排序,可以明显地表示出受教育程度之间的高低差异。虽然这种差异程度不能通过编码之间的差异进行准确的度量,但是可以确定其高低顺序,即可以通过编码数值进行不等式的运算。[3]
3.定距数据。定距数据是具有一定单位的实际测量值(如摄氏温度、考试成绩等)。此时不仅可以知道两个变量之间存在差异,还可以通过加、减法运算准确的计算出各变量之间的实际差距是多少。可以说,定距数据的精确性比定类数据和定序数据前进了一大步,它可以对事物类别或次序之间的实际距离进行测量。例如,甲的英语成绩为80分,乙的英语成绩为85分,可知乙的英语成绩比甲的高5分。[3]
4.定比数据。这是数据的最高等级。它的数据表现形式同定距数据一样,均为实际的测量值。定比数据与定距数据唯一的区别是:在定比数据中是存在绝对零点的,而定距数据中是不存在绝对零点的(零点是人为制定的)。因此定比数据间不仅可以比较大小,进行加、减运算,还可以进行乘、除运算。[3]
在统计分析中,区分数据的类型十分重要,不同测度类型的数据,扮演的角色是不一样的。[3]
按来源分类
数据的来源主要有两种渠道:一种是通过直接的调查获得的原始数据,一般称为第一手或直接的统计数据;另一种是别人调查的数据,并将这些数据进行加工和汇总后公布的数据,通常称之为第二手或间接的统计数据。[3]
按时间状况分类
1.时间序列数据。它是指在不同的时间上搜集到的数据,反映现象随时间变化的情况。
2.截面型数据。它是指在相同的或近似的时间点上搜集到的数据,描述现象在某一时刻的变化情况。
归纳起来可以按照以下方式进行分类:
(1)从大数据处理的过程来分:包括数据存储、数据挖掘分析、以及为完成高效分析挖掘而设计的计算平台,它们完成数据采集、ETL、存储、结构化处理、挖掘、 分析、预测、应用等功能。
(2)从大数据处理的数据类型来划分:可以分为针对关系型数据、非关系型数据(图数据、文本数据、网络型数据等)、半结构化数据、混合类型数据处理的技术平台。
(3)从大数据处理的方式来划分:可以分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行一次性处理,而实时处理(流处理)对处理的延时有严格的要求,综合处理是指同时具备批量处理和实时处理两种方式。
(4)从平台对数据的部署方式看:可以分为基于内存的、基于磁盘的。前者在分布式系统内部的数据交换是在内存中进行,后者则是通过磁盘文件的方式
简单地说,训练数据就是用来提取特征并保存,然后和实际数据进行比对从而实现识别;测试数据就是对提取的特征进行检验。训练数据和测试数据都会有数据标签,即该组数据对应的数字(汉字)。测试即是将算法结果和测试数据的标签进行比对,以检验算法和提取的特征的准确性。
(时隔一年毕设是不是已经做完了。。这些应该也不是问题了吧。。)
两种数据都是用来描述对象特征的数据类型,但它们在统计学和数据分析中具有不同的应用和数学特征。
定性数据,也称为定类数据或分类数据,是一种用于描述对象属性的数据类型,可以用来区分不同的类别或属性。定性数据通常以文字或数字的形式表示,但这些数字并不代表数量的大小或顺序。定性数据的数学特征是“=”或“≠”,它们仅用于表示不同类别的品质。例如,人的性别是一个定性数据,因为它只能分为男性和女性两个类别,这两个类别之间不存在数量上的大小关系。
分类数据是定性数据的一种特殊形式,通常用于描述对象的属性或类别归属。与定性数据不同,分类数据通常以文字或数字的形式表示,但这些数字仅代表不同的类别,并不表示数量的大小或顺序。分类数据的数学特征也是“=”或“≠”,它们仅用于表示不同类别的品质。例如,学生的专业是一个分类数据,因为每个学生只能属于一个专业,不同的专业之间不存在数量上的大小关系。
总的来说,定性数据和分类数据都是描述对象属性的数据类型,但它们的主要区别在于它们的应用和数学特征。定性数据主要用于描述对象的属性或类别,而分类数据则更侧重于描述对象的类别归属。
数据分类的基本原则如下:
1.稳定性:依据分类的目的,选择分类对象的最稳定的本质特性作为分类的基础和依据,以确保由此产生的分类结果最稳定。因此,在分类过程中,首先应明确界定分类对象最稳定、最本质的特征。
2.系统性:将选定的分类对象的特征(或特性)按其内在规律系统化进行排列,形成一个逻辑层次清晰、结构合理、类目明确的分类体系。
3.可扩充性:在类目的设置或层级的划分上,留有适当的余地,以保证分类对象增加时,不会打乱已经建立的分类体系。
4.综合实用性:从实际需求出发,综合各种因素来确定具体的分类原则,使得由此产生的分类结果总体是最优、符合需求、综合实用和便于操作。
5.兼容性:有相关的国家标准则应执行国家标准,若没有相关的国家标准,则执行相关的行业标准;若二者均不存在,则应参照相关的国际标准。这样,才能尽可能保证不同分类体系间的协调一致和转换。
1. 首先对数据按需要分类汇总的列(本例为“城市”列)进行排序。
选择“城市”列中的任意单元格,在Excel 2003中单击工具栏中的排序按钮如“A→Z”。在Excel 2007中,选择功能区中“数据”选项卡,在“排序和筛选”组中单击“A→Z”按钮。
2. 选择数据区域中的某个单元格,在Excel 2003中单击菜单“数据→分类汇总”。如果是Excel 2007,则在“数据”选项卡的“分级显示”组中单击“分类汇总”。
3. 在弹出的“分类汇总”对话框中,在“分类字段”下选择“城市”,在“汇总方式”中选择某种汇总方式,可供选择的汇总方式有“求和”、“计数”、“平均值”等,本例中选择默认的“求和”。在“选定汇总项”下仅选择“销售额”。
4.单击确定,Excel将按城市进行分类汇总。
分类数据
1、第一步,排序:点击菜单中的数据、排序,选择关键字:科目名称,确定。
2、再打开数据菜单,点击分类汇总,在分类汇总窗口中,分类字段选择:科目名称,汇总方式:求和,选定汇总项:借方,确定。
3、最终结果,按照科目名称进行了汇总,点击左上角的数字1、2、3,可以按不同的层级显示数据。
1、上网线:只能用来GPRS或CDMA 1X上网。典型型号:V730系列;V688系列;小灵通系列。
2、刷机线:只能用来升级刷机。典型型号:明基S700;升级解锁一线通。
3、同步线:用来传输电话本;图片铃声;短信;多媒体资料等,当然,部分是双向传送,部分仅支持单向传送。此类数据线比较普遍。
4、充电线:一般是上网线或同步线再加一个USB充电功能,比较实用方便,上网和群发短信必备的功能。还可以细分为带充电和带充电开关两种,前者一插上就充电,后者有一个小开关,可以控制是否充电。当然带充电开关的档次最高,价格也比较贵。
5、多功能线:同时支持上网、同步、刷机、充电等2项或2项以上的功能,提醒:大家买数据线的时候肯定是功能越多越好,宁可贵一些,这样等于一线多用。
6、M-bus:传输速率低(9.6kbp/s),硬件较简单,主要配合维修、解锁类软件使用,也就是我们常说的“刷机台”,虽然传输慢,但是稳定.
7、F-bus:传输速度有所提高(115.2kbp/s),主要用于无线上网,传输铃声、图片、游戏等,也就是我们最常见的数据线。
a) 科学性。按照数据的多维特征及其相互间逻辑关联进行科学和系统地分类,按照大数据安全需求确定数据的安全等级。
b) 稳定性。应以数据最稳定的特征和属性为依据制定分类和分级方案。
c) 实用性。数据分类要确保每个类下要有数据,不设没有意义的类目,数据类目划分要符合对数据分类的普遍认识。数据分级要确保分级结果能够为数据保护提供有效信息,应提出分级安全要求。
d) 扩展性。数据分类和分级方案在总体上应具有概括性和包容性,能够针对组织各种类型数据开展分类和分级,并满足将来可能出现的数据的分类和分级要求。