数据分析的方法第1篇

句法分析任务是对文本进行分析，将输入句子从序列形式变为树状结构，从而刻画句子内部词语之间的组合或修饰关系。这是自然语言处理领域的核心研究课题，已经广泛应用到其它自然语言处理任务中，如机器翻译、自动问答、信息抽取等。和其他句法分析形式如短语结构句法分析相比，依存句法分析具有形式简单、易于标注、便于学习、分析效率更高等优点[1，2]。另外，依存句法描述词和词之间的关系，因此更适合于表达非连续的、远距离的结构，这对于一些语序相对自由的西方语言非常重要。依存语法历史悠久，最早可能追溯到公元前几世纪Panini提出的梵文语法。依存语法存在一个共同的基本假设：句法结构本质上包含词和词之间的关系。这种关系称为依存关系（Dependency Relations）。一个依存关系连接两个词，分别是核心词（Head）和修饰词（Dependent）。依存关系可以细分为不同的类型，表示两个词之间的句法关系（Dependency Relation Types）。目前，依存语法标注体系已经为自然语言处理领域的许多专家和学者所采用，并应用于不同语言中，且对其不断地发展和完善。研究者们提出并实现了多种不同的依存分析方法，达到了较好的准确率。近年来，依存句法分析多已广泛用于统计机器翻译[3]、自动问答[4]和信息抽取[5]等任务，并取得了良好的效果。

依存句法分析任务的输入是一个已完成分词的自然语言句子。形式化地，输入句子可以表示为：x=W0W2…Wi…Wn，其中，wi表示输入句子的第i个词；W0表示一个伪词，指向整个句子的核心词，也就是根节点（ROOT）。图1表示输入句子“刚满19岁的欧文现在效力利物浦队。”的依存树。

[JZ][HT5”H]图1 依存树示例[ST5”HZ][WT5”HZ][JZ]Fig.1[ST5”BZ] Example of a dependency parse

最一般地，一个依存句法树由多个依存弧构成，表示为：d={（h，m，l）：0≤h≤n，0

依存句法分析的目标是给定输入句子x，寻找分值（或概率）最大的依存树d*，具体公式为：

因此，依存句法分析存在四个基本问题：

（1）如何定义Score（x，d），即采用哪种方式将依存树的分值分解为一些子结构的分值。这是模型定义问题；

（2）采用哪些特征来表示每一部分子结构，即特征表示问题；

（3）如何获取特征的权重，即模型训练算法问题；

（4）给定模型参数，即已知特征的权重，如何搜索到分值最大的依存树。这是解码问题。

2依存句法分析的方法

数据驱动的依存句法分析方法主要有两种主流的方法：基于图（Graph-based）的分析方法和基于转移（Transition-based）的分析方法。这两种方法从不同的角度解决这个问题。CoNLL上的评测结果表明这两种方法各有所长，并且存在一定的互补性[2，6]。下面对各类方法展开细致分析。

2.1基于图的依存句法分析方法

基于图的依存分析模型将依存句法分析问题看成从完全有向图中寻找最大生成树的问题。一棵依存树的分值由构成依存树的几种子树的分值累加得到。模型通过基于动态规划的解码算法从所有可能的依存树中搜索出分值最高的依存树。相关的研究工作主要包括：

（1）模型定义。根据依存树分值中包含的子树的复杂度，基于图的依存分析模型可以简单区分为一阶、二阶和三阶模型。一阶模型中，依存树的分值由所有依存弧的分值累加得到，即依存弧之间相互独立，互不影响[7]。二阶模型中，依存树的分值中融入了相邻兄弟弧（Sibling）和祖孙弧（Parent-child-grandchild）的分值[8，9]。三阶模型中，进一步增加了祖孙兄弟弧（Grandparent-parent-sibling）等三条依存弧构成的子树信息[10]。

（2）特征表示。在上述模型定义的基础上，研究人员也提出了相应的一阶、二阶、三阶子树特征[7-10]。每种子树特征考虑句子中的词语和词性信息、依存弧的方向和距离信息等。随着高阶子树特征的使用，依存句法分析模型的准确率也有较大幅度的提高。

（3）训练算法。基于图的依存分析方法通常采用在线训练算法（Online Training），如平均感知器算法（Averaged Perceptron）[11]、被动进取算法（Passive-Aggressive）[12]和Margin Infused Relaxed算法（MIRA） [13]。在线学习算法以迭代的方式训练特征的权重。一次迭代中遍历整个训练数据集合，每次根据一个训练实例的分析结果对当前的权重向量进行调整。

（4）解码算法。一阶模型对应的解码算法为Eisner算法[14]。Eisner算法的本质是动态规划，不断合并相邻子串的分析结果，直到得到整个句子的结果，其时间复杂度为O（n3）。进而，McDonald和Pereira （2006）对Eisner算法进行扩展，增加了表示相邻兄弟节点的数据类型，时间复杂度仍为O（n3）。Carreras （2007）同样对Eisner算法进行扩展，得到面向二阶模型的基于动态规划的解码算法，时间复杂度为O（n4）。Koo和Collins （2010）提出了面向三阶模型的解码算法，时间复杂度为O（n4）。一些研究者提出采用基于柱搜索的解码算法，允许模型方便地融入更高阶的解码算法，同时保证较低的时间复杂度[15，16]。

2.2基于转移的依存句法分析方法

基于转移的依存分析模型将依存树的搜索过程建模为一个动作序列，将依存分析问题转化为寻找最优动作序列的问题。模型通过贪心搜索或者柱搜索的方式找到近似最优的依存树。其优点在于可以充分利用已形成的子树信息，从而形成丰富的特征，以指导模型决策下一个动作。相关的研究工作主要包括：

（1）模型定义。基于转移的依存句法分析方法提出早期，研究者们使用局部分类器（如最大熵分类器）决定下一个动作，选择概率最大的动作[17，18]。这样，一个依存树的概率由其对应的动作序列中每一个动作的概率累乘得到。近年来，研究者们采用线性全局模型来决定下一个动作，一个依存树的分值为对应动作序列中每一个动作的分值的累加[19-21]。

（2）特征表示。基于转移的依存句法分析方法的优势在于可以充分使用已构成的子树信息。Zhang和Nivre （2011）在前人工作的基础上，提出了丰富的特征集合，如三阶子树特征，词的配价信息等[21]。

（3）训练算法。早期，研究者们在训练语料上训练出一个局部分类器，在解码过程中重复使用，决定下一个动作。通常采用的分类器有基于记忆的分类器、支持向量机等。近年研究发现采用全局线性模型可以提高句法分析的准确率，通常采用平均感知器在线训练算法。

（4）解码算法。其任务是找到一个概率或分值最大的动作序列。早期采用贪心解码算法，即每一步都根据当前状态，选择并执行概率最大的动作，进入到下一个状态。如此反复直至达到接收状态，形成一棵合法的依存树[17，18]。进而，研究者们提出使用柱搜索的解码方式扩大搜索空间，即同时保留多个分值最高的状态，直到搜索结束时选择最优的动作路径[22，19]。Huang和Sagae （2010）提出在柱搜索中加入动态规划，通过合并等价状态进一步扩大搜索空间[20]。随着搜索空间的增大，依存句法分析的准确率有显著提高。

2.3模型融合的方法

基于图的方法和基于转移的方法从不同的角度解决问题，各有优势。基于图的模型进行全局搜索但只能利用有限的子树特征，而基于转移的模型搜索空间有限但可以充分利用已构成的子树信息构成丰富的特征。McDonald和Nivre （2011）通过详细比较发现，这两种方法存在不同的错误分布。因此，研究者们使用不同的方法融合两种模型的优势，常见的方法有：stacked learning [2，23]；对多个模型的结果加权后重新解码[24，25]；从训练语料中多次抽样训练多个模型（Bagging）[26，27]。

2.4词性标注和依存句法分析联合模型

依存句法分析模型中，词性是非常重要且有效的特征。如果只使用词语特征，会导致严重的数据稀疏问题。自然语言处理中，词性标注和依存句法分析这两个问题通常被当成两个独立的任务，以级联的方式实现。即对于一个输入句子，假定其分词结果已知，先对句子进行词性标注，然后在词性标注结果的基础上进行依存句法分析。这种级联的方法会导致错误蔓延。也就是说，词性标注的错误会严重影响依存分析的准确率。由于汉语缺乏词形变化信息（如英语中的词后缀变化如-ing，-ed，-es，-ly等），因此汉语的词性标注比其他语言如英语更具挑战性。近年来，研究者们通过建立词性标注和依存句法分析联合模型，在同一个模型中解决这两个紧密相关的任务，允许词性信息和句法结构互相影响和帮助，取得了不错的效果。一方面，联合模型中，句法信息可以用来指导词性标注，从而帮助解决一部分需要句法结构才能够消解的词性歧义。另一方面，更准确的词性标注，也可以反过来帮助依存分析。Li等通过扩展基于图的依存句法分析模型，首次提出汉语词性标注和依存句法分析联合模型[28]，并且提出了适用于联合模型的训练算法[29]，显著提高了词性标注和依存句法分析的准确率。进而，一些研究者们提出基于转移的词性标注和依存句法分析联合模型[30，31]。Ma等（2012）尝试了基于Easy-first的汉语词性标注和依存句法分析联合模型[32]。

2.5基于多树库融合的方法

对于统计的数据驱动的分析模型而言，标注数据的规模很大程度上影响着分析结果的准确率。依存句法分析是一种结构化分类问题，比二元分类和序列标注问题更具挑战性，因此依存句法分析更容易受到数据稀疏问题的影响，树库规模对依存句法分析的准确率影响很大。然而，标注树库是一件艰巨的任务，通常需要耗费很大的人力和物力。目前的研究结果表明在一个树库上训练出的句法分析的模型似乎很难进一步提高句法分析的准确率。然而，汉语存在多个树库。这些树库由不同的组织或机构标注，遵循不同的标注规范，面向不同的应用。尽管各个树库遵循不同的标注规范，但却都是根据人们对汉语语法的理解而标注，因此包含很多共性的标注结构。同时，不一致的标注结果应该也是有规律可循的。所以，一些研究者们尝试同时利用多个树库，帮助句法分析的准确率。李正华等（2008）曾尝试统计和规则相结合的方法，将短语结构的源树库CTB转化为符合CDT标注规范的依存结构，然后将转化后的树库和CDT合并，提高训练数据的规模，以提高依存句法分析准确率[33]。Niu等（2009）提出一种基于统计的树库转化方法，将依存结构的CDT树库转化为满足CTB标注规范的短语结构树库，进而使用语料加权的方式增大训练树库的规模，提高了短语结构句法分析的性能[34]。Li等（2012）提出一种基于准同步文法的多树库融合方法，不是直接将转化后的树库作为额外的训练数据，而是使用准同步文法特征增强依存句法分析模型，从而柔和地学习标注规范中规律性的不一致，提高依存句法分析的准确率[35]。

3依存句法分析面临的挑战

自从2006年开始，CoNLL国际评测一直关注依存句法分析，不但提供了多语言、高质量的树库，并通过对各种方法的比较分析，让研究者们对依存分析问题的理解更加清晰，极大地促进了依存句法分析的发展。依存分析已经成为自然语言处理的一个热点问题，方法也越来越成熟，并且在许多领域得到了应用。然而，目前依存句法分析还存在很多挑战，这些挑战也可能是未来依存分析发展的趋势。具体分析如下：

（1）提高依存分析准确率。目前主流的两种依存分析方法都存在一定的缺陷。基于图的方法很难融入全局特征。而基于转移的方法虽然原理上可以利用丰富的特征，但是实际使用的特征还是属于局部特征，另外也还存在错误级联的问题（柱搜索只能缓解这个问题）。融合不同依存分析模型的方法可以提高分析性能，但是提高幅度比较有限。研究可知，只有从新的角度理解这个问题本身，提出新的建模方法，或者应用新的机器学习方法，才有望大幅度提高依存分析性能。一些学者提出的利用未标注数据帮助依存分析模型是一个很好的思路，值得深入研究。

（2）提高依存分析效率。基于图的依存分析方法融入高阶特征可以提高性能，但是效率很低，无法适应实际应用的需求。在不明显降低分析性能的前提下，如何提高依存分析效率也是一个很有实际价值的问题。

（3）领域移植问题。研究发现，当训练数据领域与测试数据领域不相同时，即使差距不大，也会导致句法分析性能下降很大。以英语为例，从华尔街日报树库移植到Brown语料时，句法分析性能下降近8%。目前依存树库所覆盖的领域、规模都很有限，而标注树库的代价很大。因此解决领域移植问题，对于依存分析的实际应用至关重要。

（4）语言相关的依存分析。目前最主流的两种依存分析方法都是语言无关的，纯粹依靠机器学习方法从数据中学习，加入人类知识只能限于特征选择。然而，每种语言都有其特点。因此语言相关的依存分析研究，如针对每种语言的特点设计更有效的模型和算法，利用一些语言特有的资源等，也是很有必要的。近年来，国内学者已经在汉语依存句法分析上做出了很多成绩，然而如何利用汉语的特点，提高汉语句法分析的准确率和效率，仍然是一个开放的问题。

数据分析的方法第2篇

关键词：社会调查数据 三维矩阵 超图

中图分类号：P208 文献标识码：A 文章编号：1672-3791（2016）02（a）-0003-04

Abstract：In view of the problems of the social survey data processing and analysis， this paper establishes the mathematical model of three dimensional matrix which is based on the three dimensional matrix.On the basis of the established three dimensional matrix model，we can use the properties of three dimensional matrix to deal it with a variety of mathematical methods， and use the hypergraph theory for further analysis. This enriches the method of the survey data processing greatly.

Key Words：Social survey data；Three-dimension matrix；Hypergraph

社会调查是了解各方面信息的重要途径之一，社会调查数据主要是通过调查问卷的方法得到的。由于社会调查数据的维数较高，加上人为主观因素，数据类型主要为二元变量、离散变量、序数变量等为主，所以对于社会调查数据的分析和处理大都基于统计学，只对单一题目进行统计学分析，其分析方法主要是基于题型进行处理的，对于题目和题目之间的关系很少关心[1]。许多数据挖掘算法因为种种限制无法在社会调查的数据分析中得到应用。因为方法的限制，所以现在很多社会调查只能验证事先想好的内容和假设，很少可以对高维数据进行相对复杂的回归分析处理。

根据以上存在的问题，该文建立了基于三维矩阵的数学模型，将单选题、多选题和排序题用向量形式进行表示，每一题定义为空间中的一个维度，从而所有的题目就可以构成一个N维空间。每份问卷的信息用一个M×N矩阵表示。这样表示可以将所有问卷内容当作一个整体，作为后续算法的基础。

1 社会调查数据的特点

通常情况下，社会调查数据特点如下。

（1）相关性。对于一个样本个体而言，它具有本身的多个特征，这些特征之间就具有一定的相关性。对于多个样本而言，个体与个体的特征之间具有相关性。如果样本随时间而变化，那么该样本在不同时刻的特征之间又具有相关性。因此，由于上述多个原因使得社会调查数据具有了复杂的相关性，传统的统计学调查难以解决这样的问题。

（2）离散性。因为社会调查数据是通过自填式问卷、网络调查数据库等方法得到，所以社会调查数据一般以离散变量为主，且这些数据之间只有标示作用，并没有严格的逻辑关系。

（3）模糊性。社会调查数据当中不可避免的会接触到各种表达方式和概念，因此，它具有模糊性。

因为由自填式问卷或结构式访问的方法得到的社会调查数据具有以上特点，所以在实际应用中基于统计学的处理方法只能笼统的显示数据的部分特性，如频数、离散程度等[2]。对于数据之间的关系只能分析出维数极少的大致的关系。

而且利用软件进行数据挖掘时，因为现有的软件中的数据挖掘算法对于数据类型和格式要求较高，所以能应用到的数据挖掘算法很少。就算是数据要求较低的关联分析，其结果也存在大量的冗余。因此，我们需要建立一个合适的社会调查数据的数学模型来完善原先的方法并使跟多的数据挖掘方法可以运用到其中，使得结果更准确。

2 社会调查数据的建模

研究中我们发现，三维矩阵可适用于社会调查数据的建模。

2.1 三维矩阵的定义

三维矩阵的定义：由n个p×q阶的矩阵组成的n×p×q阶的矩阵A称为三维矩阵，又称立体阵。Ak，i，j表示三维矩阵A的第k层，第i行，第j列上的元素。其中n，p，q分别表示三维矩阵的高度，厚度和宽度。

2.2 三维矩阵模型的建立

调查问卷的题目一般有三种类型：单选题、多选题和排序题。这三类题目都可以表示成向量的形式，其中每一道单选题、多选题可以表示成一个向量，排序题可以表示成多个向量组成的矩阵。对于单选题和多选题，可以按选项的顺序可以表示成一个向量，其中选中的项用“1”表示，未选中的项用“0”表示。对于排序题，可以表示成一个n×n的方阵，其中n表示该排序题的选项个数，。这样，每一题就可以定义为空间中的一个维度，从而所有的题目就可以构成一个N维空间。每份调查问卷的信息用一个M×N矩阵表示（M为题目的最大选项数），其在每一维上的选择称之为一个元素，这样每份问卷的信息就包括了N个元素。以第1，2，3题数据为例，其中第1题为单选题选择“B”，用向量表示为一个元素，第2题为多选题选择“ACE”，用向量表示为一个元素，第3题为排序题顺序为CBADEFIHG，用矩阵表示，每一个列向量是一个元素，如图1所示。

那么，假设有一问卷信息用一个大小为M×N的矩阵表示。K份的问卷信息就可以用K个大小为M×N的矩阵表示。将这K个矩阵叠加，形成一个三维矩阵。这个三维矩阵就是我们建立的三维矩阵数学模型，如图2所示。

在图2中我们看到，该三维矩阵数学模型有三个坐标轴，它们分别是题目，人数，选项。题目轴以每一道题为一个单位；人数轴以每一份问卷为一个单位；选项轴的刻度为A，B，C，D，E，F等题目选项，其个数为该调查问卷中选项最多的题目的选项个数。

在此基础之上，这样的三维矩阵具有以下性质。

（1）在题目轴中选取对应的题目，将三维矩阵面向竖切得到截面1（如图2中01所示），截面2表示每一道题所有人选择的信息。

（2）在人数轴中选取对应的人，将三维矩阵横切得到横截面1（如图2中02所示），横截面1表示对应的人选择所有题目的信息。

在得到三维矩阵后，可对它进行像素化处理，置1的元素用黑点代替，置0元素的则空白，在得到像素化三维矩阵后我们可以将三维矩阵沿着人数维度上向下投影，这样就可以得到一个具有浓黑不一的点的平面。通过这些点的浓度，可以知道每一选项选择的人数。接下来我们可用灰度级表示点的浓度，筛选出浓度大于一定程度的点，在此基础上进行后续算法处理。

上述三维矩阵数学模型具有数学三维矩阵的所有性质，可依据调查问卷的需求进行转置，加权、相乘、筛选等数学处理，另外在数学处理的基础上，采用超图理论可以大大丰富了调查问卷的处理方法。

3 基于超图算法的调查问卷分析技术

超图是离散数学中重要的内容，是对图论的推广[3]。超图是有限集合的子系统，它是一个由顶点的集合V和超边集合E组成的二元对，超图的一条边可以有多个顶点的特性，这与一般的图有很大不同。超图分为有向超图与无向超图两类，在无向超图的每条超边上添加方向后得到的有向二元对就是有向超图。超图在许多领域有广泛的应用。

大家可以利用无向超图表示每一道题的选择情况，先将这每一题的每一个选项设成一个节点，然后将三维矩阵从上向下投影，如果某一题的若干个选项同时被一个人选择，就用一条超边包围这些节点，那么选这些选项的人越多，投影得到的超边就越浓。这样就用超图表示了问卷中每道题的信息，可以进行聚类处理。

利用有向超图，可以将关联规则表示成有向超图的形式，在得到了关联规则后，设实际中得到的关联规则的形式为：，前项和后项都是由多个项组成的集合。该文定义一条关联规则由一条有向超边表示，有向超边的头节点表示关联规则的前项，有向超边的尾节点表示关联规则的后项。每条有向超边的头节点和尾节点均可以为多个，如此便成功表示了复合规则，从而可以使用相关算法进行冗余规则检测。

通过基于有向超图的冗余规则检测就可以将关联规则之间存在着的大量冗余检测出，减少挖掘资源的浪费，从而增加了挖掘结果的有效性。

传统的聚类方法都对原始数据计算它们之间的距离来得到相似度，然后通过相似度进行聚类，这样的方法对于低维数据有良好的效果，但是对于高维数据却不能产生很好的聚类效果，因为高维数据的分布有其特殊性。通过超图模型的分割实现对高维数据的聚类却能产生较好的效果。它先将原始数据之间关系转化成超图，数据点表示成超图的节点，数据点间的关系用超边的权重来表示。然后对超图进行分割，除去相应的超边使得权重大的超边中的点聚于一个类中，同时使被除去的超边权重之和最小。这样就通过对超图的分割实现了对数据的聚类。具体的算法流程如下。

首先，将数据点之间的关系转化为超图，数据点表示为超图节点。如果某几个数据点的支持度大于一定阈值，则它们能构成一个频繁集，就将它们用一条超边连接，超边的权重就是这一频繁集的置信度，重复同样的方法就可以得超边和权重。

然后，在基础此上，通过超图分割实现数据的聚类。若设将数据分成k类，则就是对超图的k类分割，不断除去相应的超边，直到将数据分为k类，且每个分割中数据都密切相关为止，同时保持每次被除去的超边权重和最小，最终得到的分割就是聚类的结果。

如图3所示是基于超图算法的选题型调查问卷的分析技术的流程图，主要包括4个主要部分，一是用向量表示调查问卷结果，二是将向量表示的调查问卷转化为三维矩阵数学模型表示调查问卷结果，三是使用超图算法进行优化，四是根据要求显示调查问卷结果。

4 结语

该文针对社会调查数据处理与分析中存在的问题，建立了基于三维矩阵的数学模型，将单选题和多选题表示成向量，将排序题表示成多个列向量，从而每一题可以表示成空间的一个维度，每一个向量就是一个元素，这样每一张问卷就可以表示成一个矩阵，通过将多个矩阵叠加就可以得到三维矩阵。该数学模型可以利用三维矩阵的性质对其进行多种数学处理，如竖切、横切、像素化后投影等。在数学处理的基础上，该文又提出超图理论对数据进行聚类和检测冗余规则的分析。

参考文献

[1] 陈慧萍，王煜，王建东.高维数据挖掘算法的研究与进展[J].计算机工程与应用，2006（24）：170-173.

[2] 张东.基于VFP的调查问卷通用统计汇总生成系统的设计与实现[J].科技资讯，2006（10）：183.

[3] 奚维吉.用户满意度调查的数据处理[J].科技资讯，2007（8）：253-254.

[4] 崔阳，杨炳儒.超图在数据挖掘领域中的几个应用[J].计算机科学，2010，37（6）：220-222.

[5] 朱玉全，杨鹤标，孙蕾.数据挖掘技术[M].南京：东南大学出版社，2006.

[6] 王志平，王众托.超网络理论及其应用[M].北京：科学出版社，2008.

[7] Jong Soo Park，Ming-Syan Chen，Philip S.Yu.Using a hash-based method with transaction trimming for mining associationrules [J].IEEE Transactions on knowledge and engineering，1997，9（5）：813-825.

[8] 王海英，黄强，李传涛，等.图论算法及其 MATLAB实现[M].北京航空航天大学出版社，2010.

[9] H.Toivonen. Sampling large databases for association rules [C]// Proc. 1996 Int. Conf. Very Large Data Bases （VLDB'96）.1996.

[10] Marco Dorigo， Vittorio Maniezzo， Alberto Colorni. The ant system： optimization by a colony of cooperative agents [J].Physical Review Letters，1995，75（14）：2686-2689.

[11] S. Brin， R. Motwani， J. D.Ullman，et al.Dynamic itemset counting and implication rules for market basket data [J].ACMSIGMOD Record，1997，26（2）：255-264.

数据分析的方法第3篇

【关键词】数据比对；数据整合；主数据；业务流程

1.介绍

随着信息化应用的推广，大型机构中信息系统的数量在逐渐增多。但由于各系统数据规范不完整、系统间缺少数据接口，而使数据整合工作成为IT部门的一项重要工作；关于数据整合的重要性、数据整合的工具有很多论著[1-5]。数据整合包含了数据的提取、转换和加载，其中涉及计算机技术和业务逻辑。数据整合是非常重要的，甚至会影响信息系统/数据仓库建设的成败。一个对象存储在多个系统中，使得在数据整合的过程中必须要进行数据的比对，而且，此时的数据比对工作也是数据整合的核心内容。

每个系统对同一对象的理解角度不同，因此给出的对象定义也不相同；同时考虑数据的完整性，数据的时间局限性等导致数据的比对工作并不顺利。数据比对一般由计算机程序自动处理，后期则需要人工参与。涉及到数据比对的数据整合存在于诸多信息系统建设过程中，如国家基础信息库系统的建设；人口库数据分别来源于公安局、劳动局、教育局、劳动和社会保障局等，法人库数据来源于工商局、税务局、经委等；地理信息资源库来源于规划局、房地局、水务局、建管局、交管局等。

本文先定义了一种以主数据定义和分析主数据流为主线的数据比对方法。结合实际项目案例给出具体比对过程。

2.数据比对过程和方法

本文介绍的数据比对方法，以原因分析为重点，强调不匹配数据的原因分析并结合业务逻辑，对历史数据和增量数据给出整改方法。

数据比对的过程可以分为以下7个步骤分别是：数据获取、主数据定义、主数据流分析、程序比对逻辑、人工比对逻辑、原因分析、处理建议。

2.1 数据获取

从两个（或多个）源系统中获得待比对的原始数据。需要注意的是每个信息系统均为运行的系统，数据会产生变化。因此应该首先统一数据获取的时间。如获取截止到2008年10月1日24：00止的数据。并对该时间点之后的增量数据做标记，以备后续的数据比对。

2.2 主数据定义

按照新系统或数据比对的业务要求，定义比对的关键数据项（数据字段）。确定这些数据项的含义、来源（以哪个系统数据为准）、在各自系统中的名称、各自系统中对应的数据项（数据字段）。此步骤是数据比对工作的核心部分，需要明确关键数据项的来源和责任。如对于人口数据：姓名和身份证号码来源于公安局，教育程度来源于教育局，就业单位信息来源于劳动和社会保障局等。

在定义好主数据之后，需要视具体应用系统情况而定，对原始数据进行数据清洗。以便剔出非法数据，降低人工比对的工作量和提高数据比对的成功率。数据清洗工作一般由计算机程序进行。

2.3 主数据流分析

根据具体的业务逻辑和业务流程，确定所有主数据在相关信息系统中的生命周期。需要明确以下内容：

（1）主数据的责任部门或责任人：是谁在何时创建、修改、交换或删除主数据；

（2）主数据的相关系统：相对于主数据生命周期的每个阶段，分别在哪个信息系统中保存，系统间接口关系。

（3）主数据流与业务流程的关系：新增流程、修改流程、删除流程对主数据的影响。

本步骤主要是关注主数据的修改记录。

2.4 程序比对逻辑

数据比对的第一阶段，一般通过计算机程序处理进行。需要整理出程序比对的逻辑，尽可能分析各原始数据的业务逻辑，寻找尽可能多的数据对应关系。有些数据只能通过唯一的标识进行比对，如人口信息通过身份证号码进行比对或者通过联合身份证号码和姓名一起进行比对；有些数据可以有多种程序比对逻辑，如电路数据中第一种程序是电路编号相同，第二种程序是工程编号相同，第三种程序是电路两端地址均相同。

2.5 人工比对逻辑

由于信息系统建设的时间不同、业务流程与IT系统的结合程度不同、部分业务数据不完整等情况，程序比对往往达不到100%。因此在程序比对后产生的遗留数据必须由人工来完成。

在人工比对过程中，需要整理出人工比对的方法。如人口数据比对中，不同身份证号码相同配偶名称和身份证号码，则可以认定为同一个人。

2.6 原因分析

对于人工比对的数据，我们需要分析数据不匹配的原因。可能是由于无业务流程或纸制流程的问题，可能由于流程与IT系统衔接的问题，可能由于系统间数据交换导致的数据不完整的问题，可能是人工输入错误的问题等等。

在分析的过程中需要考虑哪些原因影响存量数据，只影响到历史数据并且修正后不会再次出现；哪些原因是由于业务流程导致的，在修正该业务流程之前还会再次出现。

数据不匹配的原因分析是一项具有挑战性的工作，同时也是一项有意义的工作。通过原因分析，可以对业务部门的工作进行评价考核，对业务流程进行梳理改造，对业务与IT系统结合给出完善意见。

2.7 处理建议

人工比对的数据，按照不同的原因提供不同的处理意见。直接修改：对于不影响业务流程、不影响业务操作的数据，按照主数据的定义和责任直接在相关系统中修改；

业务部门尽快修正：对于一些影响正常业务操作的数据，如帐务系统中应收帐而未收帐数据、财务系统中存款或余额不一致、资源系统中应使用而未用资源等情况，由相关业务部门牵头尽快改修正。

制定细致解决方案：对于原因比较复杂的、涉及到业务流程的数据，则需要招集各相关部门研究，制定细致的解决方案。由于业务流程导致的数据不匹配，需要给出流程改进的建议。不匹配数据的修改越快越好。

3.项目案例数据比对

下面以实际项目作为例，介绍数据比对的过程。

某通信运营商大客户网管系统中包含传输专业、交换专业和数据专业（IP、ATM、DDN）总计五种电路数据。需要从前端CRM中获取客户名称和电路编号（简称前端电路）；从后端NetMaster资源系统中获取电路编号和电路状态等详细信息（简称后端电路）。以下数据是20家样本大客户的传输专业电路数据（简称样本数据）的比对结果。

3.1 数据获取

截止时间为2013年10月30日24：00，分别获取了样本数据的前端电路总计2110条，后端电路总计2428条。前端电路根据客户名称以及客户层次关系获取，后端电路的客户名称没有层次关系因而采用客户名称的关键字模糊查询进行获取。

3.2 主数据定义

如表1所示，样本数据的主数据为：客户名称、电路编号、电路A端地址、电路Z端地址。

3.3 主数据流分析

该通信运营商传输业务分为本地业务和长途业务，本文只介绍本地业务流程。由于目前传输本地业务的拆机和移机流程未固化到信息系统，因此本文分析了早期的新增电路流程（如图1所示）。

（1）政企客户部负责受理大客户的传输电路业务；

（2）政企客户部通过CRM系统录入客户的名称、电路甲端地址、电路乙端地址以及其他数据并保存；

（3）由CRM系统自动产生客户编号；

（4）由CRM系统调用97系统产生电路编号，同时记录到CRM系统和97系统中；

（5）业务流程流转到NetMaster系统，由网络运行部录入A端地址、Z端地址，报完工；

（6）完工信息经97系统流转到CRM系统，完成开帐。

3.4 程序比对逻辑

（1）CRM中的资产编号和NetMaster系统中的链路编号相同的，程序比对成功。

（2）CRM中的电路一端地址中记录相关长途电路编号，而且和NetMaster系统中的链路编号为长途电路编号相同的，程序比对成功。

（3）程序比对结果：

前端电路：电路总数2110条，程序比对成功总数1614条，程序比对成功76.49%。

后端电路：电路总数2428条，程序比对成功总数1838条，程序比对成功75.70%。

3.5 人工比对逻辑

由于传输电路业务开展时间较长，并且信息系统建设情况比较复杂，因此出现了部分程序比对不成功的电路数据。经过各相关部门的人工比对，整理出以下人工比对逻辑：

前端电路存在，查找不到后端电路：

（1）根据前端电路编号在长途资源库中查找对应的的后端电路的链路编号（电路编号）；

（2）前端电路中部分电路是郊区电路，暂时未整合在一起。

可以不计在前端电路中；后端电路存在，查找不到前端电路：

（1）根据后端电路的工程编号在CRM中查找对应的前端电路资产编号（电路编号）；

（2）根据后端电路的两端地址、电路类型、客户经理保存资料等信息在CRM中查找对应的前端电路的资产编号（电路编号）；

（3）后端电路中部分电路是局内中继电路，不属于大客户的保障电路。可以不计在后端电路中；

经过程序和人工比对传输电路数据比对结果总匹配率为98.33%，如下：

前端电路：电路总数2110条，程序比对1614条，人工比对445条，总成功率97.58%。

后端电路：电路总数2428条，程序比对1838条，人工比对565条，总成功率98.97%。

3.6 不匹配数据原因

经过分析得知，导致数据比对不成功的原因如下：

（1）部分后端电路保存在长途资源库中，未保存在NetMaster系统中。记录数28条。

（2）前后端记录相同工程编号，而不同电路编号，记录数14条。

（3）部分前端电路保存在大客户一站式受理系统中，未保存在前端CRM系统中，记录数12条。

（4）部分后端电路属于总头客户，不保存在前端CRM中。不计在20家大客户电路中，记录数3条。

（5）CRM中电路状态不匹配（正常流程中），分别为未报完工、移机未报完工和拆机，记录数8条。

（6）其他未知原因，记录数8条。

3.7 处理建议

针对数据不匹配的原因分析，我们给出的处理意见如下：

第一，对不匹配数据的处理意见。

（1）对于配置类错误数据直接修改。

这些数据包括由于客户名称不一致、电路编号不一致而导致数据比对不成功；此类数据的修改对业务运行以及各业务系统的数据完整性不产生影响。由相关部门按照主数据的定义规则直接修改。

（2）不属于大客户保障范围电路做标记。

这些数据本不应该属于大客户保障范围电路，应该在系统中对这些电路做标记。

（3）对于其他复杂原因，招集相关部门讨论解决。

第二，对业务流程的改进意见。

（1）传输专业“移机流程”和“拆机流程”的完善。

“拆机流程”未固化到系统中，“拆机流程”以“先装后拆”代替。因此会产生导致早期数据完整性错误，现已完善业务流程。

（2）长途电路的流程存在缺陷，会导致前后端电路编号不一致。需要尽快招集相关部门讨论解决方案。

4.总结

通过对样本大客户电路数据比对过程的研究，总结了程序比对和人工比对的方法，发现了业务流程上的少量问题。为下一步大批量数据比对提供参考，有效提高程序比对、人工比对、数据修正的工作效率；同时为完善IT系统、加强业务流程和IT系统之间的配合提供了参考依据。

参考文献

[1]Monge，A.E.Matching algorithm within a duplicate detection system.IEEE Data Engineering Bulletin，2000， 23（4）：14-20.

[2]郭志懋，周傲英.数据质量和数据清洗研究综述[J].软件学报，2002，13（11）：2076-2081.

[3]田芳，刘震.数据仓库清洗技术讨论[J].青海师范大学学报（自然科学版），2005（4）：50-53.

[4]王新英，陈语林.数据抽取、转换、转载综述[J].企业技术开发，2004，23（8）：3-5.

数据分析的方法第4篇

企业数据分析的编写，核心在于对数据的科学分析。数据分析除了要以档案为基础，遵循“全面、真实、客观、有效”的原则外，关键是要掌握和应用科学的分析方法，使数据分析应尽可能做到深入、准确，从而使我们对数据背后所隐含的问题、原因、趋势和规律的认识能更接近于真理。

企业数据分析编写过程中，常用的分析方法有对比分析法、趋势分析法、结构分析法和综合分析法等。本文结合工作实际，对如何运用这四种基本分析方法谈点想法。

对比分析法

所谓对比分析法，是指将两个或两组以上的数据进行比较，分析它们的差异性，从而揭示这些数据所代表的事物的发展变化情况和规律性。对比分析法是比较研究的一种方法，在企业数据分析中的应用十分普遍。它的特点是，通过比较分析，可以非常直观地看出企业某方面工作的变化或差距，并且可以准确、量化地表示出这种变化或差距是多少。

在实际应用中，企业数据的对比分析，一般有以下几种具体情况：

一是将企业当年的数据与历年（去年或前几年）的数据进行对比分析，目的是为了搞清楚与去年或前几年相比，企业某一方面或某些方面的发展变化情况。比如，某公司2006年利润100万元，2007年利润115万元，年增长率为15%。通过这种对比，我们就可以公司利润的变化情况有一个更直观、更清楚的认识。当然，在许多时候，这种对比分析不会局限在某一个数据，而是一组数据。比如，在对企业当年的利润与去年利润进行对比分析的同时，还可以将产量、销售量、销售额、成本、税金、市场占有量、占有率等指标进行对比分析，从而更全面了解掌握企业的发展现状。

二是将本单位数据与同行业（外单位、同行业平均水平）的数据进行对比分析，目的是为了搞清楚与外单位、同行业平均水平，本单位某一方面或各方面的发展水平处于什么样的位置，明确哪些指标是领先的，哪些指标是落后的，进而找出下一步发展的方向和目标。比如，2005年，某发电厂供电煤耗为340克/千瓦时，当年全国火电行业平均煤耗指标为310克/千瓦时，该发电厂的实际煤耗指标比全国火电行业平均煤耗多了30克/千瓦时。通过这样的对比分析，我们可以看出，该发电厂在能耗方面存在着比较突出问题，如何节能降耗应该成为企业下一步重点关注的一个工作内容，也是提高企业经济效益的一条重要途径。

为了一目了然地看出数据对比的直观效果，对比分析一般可用柱式图表表示。

趋势分析法

所谓趋势分析法，是指通过对某一个或几个数据在一定阶段的变化情况进行分析，从而发现该数据所代表事物的发展趋势和规律，并可进一步分析形成这种趋势的原因，为企业领导决策提供依据和参考。趋势分析法实际上是一种历史研究的方法，在企业数据分析的编写中，主要用来表示企业某一方面或某些方面的工作在一定时期内的发展趋势和规律。其特点是对某一时期的某一数据进行持续性考察，进而得出趋势性的结论。

一般说来，对数据进行趋势分析的结果不外乎以下四种情况：

一是某项数据的变化呈逐年加大的趋势，称为上升趋势。比如某企业利润额：2001年为150万元、2002年173万元、2003年220万元、2004年360万元、2005年500万元。从对这组数据的分析中可以得出结论：该企业的利润呈逐年上升的趋势。

二是某项数据的变化呈逐年减小的趋势，称为下降趋势。例某企业产品的市场占有率：2001年为30%、2002年24%、2003年15%、2004年9%、2005年6%。从对这组数据的分析中可以得出结论：该企业产品的市场占有率呈逐年下降的趋势，说明该产品的市场竞争力正在下降，企业应该对该产品进行升级换代，或者开发生产新的产品。

三是某项数据或上升或下降，每年都有较大变化，称为震荡趋势。比如某企业的经营成本：2001年为50万元、2002年83万元、2003年61万元、2004年46万元、2005年103万元。从对这组数据的分析中可以得出结论：该企业每年的经营成本变化较大，呈震荡趋势，说明企业在控制经营成本方面还要进一步采取措施。

四是某项数据几年来基本不变，或变化很小，称为稳定趋势。例如某企业的人均产值：2001年为60万元、2002年63万元、2003年61万元、2004年62万元、2005年63万元。从对这组数据的分析中可以得出结论：该企业的人均产值每年变化不大，呈稳定趋势。

为了更形象地看出数据在一定时期内的变化轨迹，对数据的趋势分析一般可以用曲线图表表示。

结构分析法

所谓结构分析法，就是通过分析数据的构成情况，即分析构成某一数据的各子数据的情况和权重，从而揭示构成某一事物的各方面因素在其中的作用大小和变化情况。结构分析法也是常用的企业数据分析方法，通过这一分析方法，有利于我们发现和把握事物的主要矛盾和矛盾的主要方面，对企业而言，可以据此确定工作重点或经营的主攻方向。

在实际工作中，当我们需要对企业的某一数据作深入分析时，常常需要用到结构分析法。例如我们分析某供电局利润的结构情况：2007年，企业利润为1000万元，其中主业占80%、三产占20%。这就是结构分析的方法，从中我们就可以清楚地知道，主业和三产对企业利润的贡献比例。在这个基础上，我们还可以作进一步的分析，在200万元的三产利润中：火电建设公司占35%、电力设计院占30%、电缆厂占15%、电表厂占10%、电杆厂占5%、宾馆占5%。从而我们可以看出火电建设公司和电力设计院两家对三产利润的贡献率达到了65%，是发展三产的主力军。从供电局的角度而言，抓好三产工作，重点是要抓好火电建设公司和电力设计院的工作。

为了直观地反映某一数据的构成情况，结构分析法一般采用圆饼图表来表示分析的结果。

综合分析法

在编写企业数据分析时，往往不是单一地使用一种数据分析方法，为了使数据分析更透彻、更深入，更多时候我们都需要采用综合分析的方法。所谓综合分析法，就是将以上两种或两种以上的分析方法结合起来使用，从而多角度、多层次地分析揭示数据的变化、趋势和结构情况，以增加数据分析的深度。

综合分析法在具体应用中，有以下几种情况：

一是对比分析与趋势分析相结合的方法。就是通过对两个或两组以上的数据在一定阶段的变化情况进行比较分析，从而发现数据所代表事物的发展趋势、差别和关系，并可进一步分析原因，为企业领导决策提供依据和参考。比如，我们可以使用这一方法来分析一定阶段企业利润和成本的变化和相互关系。再如，我们将“十五”期间本企业的利润指标与其他企业的利润指标进行比较分析，所应用的也就是对比分析与趋势分析相结合的方法。

二是对比分析与结构分析相结合的方法。就是对两个或两组以上的数据的构成情况进行分析比较，从而可以看出构成这两个或两组以上的数据的各种因素的差异性，以此剖析产生这种差异的原因，并提出相应的对策措施。比如，2006年，A供电局利润500万元，B供电局利润700万元。如果只采取对比分析的方法，我们获得的结论就是：“B供电局利润比A供电局多200万元”。结合结构分析：A供电局利润500万元中，主业为450万元，三产为50万元；B供电局利润700万元中，主业为560万元，三产为140万元。由此看出，A、B供电局在主业利润差距并不大，差距主要在三产上。因此，发展三产应成为A供电局利润增长的主要着力点。

三是趋势分析与结构分析相结合的方法。就是通过对构成某一数据的子数据在一定阶段的变化情况进行分析，从而揭示构成某一事物的各方面因素在其中的作用大小和变化趋势。比如，我们分析某企业一定阶段销售额及各种产品销售额的构成和变化情况，就可以使用这一方法。这样的分析既可以了解销售额的变化趋势，也可以全面掌握各种产品在销售额中的权重比例和变化趋势，从而知道哪些产品需要扩大生产，哪些产品需要减产或停产，什么时候需要开发新的产品。

数据分析的方法第5篇

· 为什么要做数据分析？

· 数据分析的目的是什么？

· 数据分析的一般过程是怎样的？

· 有哪些数据分析方法？

· 在服务性行业里，数据分析方法有哪些需要特别注意的地方？

· 在国内最容易犯哪些数据分析的错误？

因笔者能力和精力有限，文章中存在错误或没有详尽之处，还望各位读者见谅并恳请及时指正，大家相互学习。

(一)数据分析的核心作用

根据国际标准的定义，“数据分析是有组织、有目的地收集并分析数据，通过将数据信息化、可视化，使之成为信息的过程，其目的在于把隐藏在看似杂乱无章的数据背后的信息集中和提炼出来，从而总结研究对象的内在规律。”在实际工作中，数据分析能够帮助管理者进行判断和决策，以便采取适当策略与行动。

这里需引起关注的是任何没有目的或结果的分析报告都是“忽悠”，都仅仅是没有灵魂的躯壳！我们经常看到国内的同事们忙于各种所谓的“数据分析报告”，堆砌了大量的图表和文字，显得“专业”、“美观”，但认真研读后却发现缺乏最关键的“分析”过程，更别说什么分析结果了。显然大家只是把对事实的原始描述当成了数据分析，而实际上描述原始事实只是数据分析过程的一项内容而非全部。数据分析不能仅有报表没有分析，因为“有报表不等于有分析，有分析不代表有效执行”，报表只是数据的展现形式；数据分析也不能仅有分析没有结论，没有结论的分析无疑“差了一口气”，对实际业务工作无法产生价值，唯有通过分析得出结论并提出解决方案才能体现数据分析协助管理者辅助决策的核心作用。因此数据分析来源于业务，也必须反馈到业务中去，没有前者就不存在数据分析的基础，没有后者也就没有数据分析的价值了。

(二)数据分析的分类

最常见也是最标准的数据分析可分为三大类：描述性数据分析、探索性数据分析以及验证性数据分析。

所谓描述性分析是对一组数据的各种特征进行分析，以便于描述测量样本的各种特征及其所代表的总体特征。这种分析要对调查总体所有变量的有关数据做统计性描述，主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布以及一些基本的统计图形，比如上个月的平均通话时长是多少，员工离职率是多少等等。

探索性数据分析是指对已有数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法，侧重于在数据之中发现新的特征，比如呼叫中心的一次解决率和哪些因素相关？他们背后的驱动因素又有哪些？哪些因素是“因”、哪些又是“果”等等。

而验证性分析是依据一定的理论对潜在变量与观察变量间关系做出合理的假设，并对这种假设进行统计检验的现代统计方法，侧重于验证已有假设的真伪性。验证性分析是在对研究问题有所了解的基础上进行的，这种了解可建立在理论研究、实验研究或两者结合的基础上，比如从调研的结果来看本月的客户满意度比上个月高出2%，是否真是如此；男性客户的满意度是否高于女性客户等等。

(三)数据分析的一般过程

通常来讲完整的数据分析过程可分为以下几步：明确数据分析的目的、采集并处理数据、分析及展现数据、撰写分析报告。

现实情况中人们往往在做数据分析时陷入一大堆杂乱无章的数据中而忘记了分析数据的目的，数据分析第一步就是要明确数据分析的目的，然后根据目的选择需要分析的数据，明确数据分析的产出物，做到有的放矢、一击即中！

其次，在做数据分析时要根据特定需求采集数据，有目的地采集数据是确保数据分析过程有效的基础，采集后的数据（包括数值的和非数值的）要对其进行整理、分析、计算、编辑等一系列的加工和处理，即数据处理，数据处理的目的是从大量的、可能是难以理解的数据中抽取并推导出对于某些特定人群来说是有价值、有意义的数据。

接着是对处理完毕的数据进行分析和展现，分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，数据展现的方式有两类：列表方式、图形方式。

最后，整个数据分析过程要以“分析报告”的形式呈现出来，分析报告应充分展现数据分析的起因、过程、结果及相关建议，需要有分析框架、明确的结论以及解决方案。数据分析报告一定要有明确的结论，没有明确结论的分析称不上分析，同时也失去了报告的意义，因为整个数据分析过程就是为寻找或者求证一个结论才进行的。最后，分析报告要有建议或解决方案，以供管理者在决策时作参考。

(四)客户中心常用的数据分析工具及简介1 Excel

Excel是微软办公套装软件的一个重要组成部分，它可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。Excel提供了强大的数据分析处理功能，利用它们可以实现对数据的排序、分类汇总、筛选及数据透视等操作。

2 SPC

SPC（Statistical Process Control）即统计过程控制，是一种借助数理统计方法的过程控制工具。实施SPC的过程一般分为两大步骤：首先用SPC工具对过程进行分析，如绘制分析用控制图等；根据分析结果采取必要措施：可能需要消除过程中的系统性因素，也可能需要管理层的介入来减小过程的随机波动以满足过程能力的需求。第二步则是用控制图对过程进行监控。

3 SAS

SAS是用于决策支持的大型集成信息系统，但该软件系统最早的功能限于统计分析，时至今日，统计分析功能仍是它的重要组成部分和核心功能。在数据处理和统计分析领域，SAS系统被誉为国际上的标准软件系统，SAS提供多个统计过程，用户可以通过对数据集的一连串加工实现更为复杂的统计分析，此外 SAS还提供了各类概率分析函数、分位数函数、样本统计函数和随机数生成函数，使用户能方便地实现特殊统计要求。

4 JMP

JMP是SAS（全球最大的统计学软件公司）推出的一种交互式可视化统计发现软件系列，包括JMP，JMP Pro，JMP Clinical，JMP Genomics，SAS Simulation Studio for JMP等强大的产品线，主要用于实现统计分析。其算法源于SAS，特别强调以统计方法的实际应用为导向，交互性、可视化能力强，使用方便。JMP的应用非常广泛，业务领域包括探索性数据分析、六西格玛及持续改善（可视化六西格玛、质量管理、流程优化）、试验设计、统计分析与建模、交互式数据挖掘、分析程序开发等。 SPSS（Statistical Product and Service Solutions）“统计产品与服务解决方案”软件，是世界上最早的统计分析软件，基本功能包括数据管理、统计分析、图表分析、输出管理等等。SPSS统计分析过程包括描述性统计、均值比较、一般线性模型、相关分析、回归分析、对数线性模型、聚类分析、数据简化、生存分析、时间序列分析、多重响应等几大类，每类中又分好几个统计过程，比如回归分析中又分线性回归分析、曲线估计、Logistic回归、Probit回归、加权估计、两阶段最小二乘法、非线性回归等多个统计过程，而且每个过程中又允许用户选择不同的方法及参数，SPSS也有专门的绘图系统，可以根据数据绘制各种图形。

6 Minitab

Minitab软件是为质量改善、教育和研究应用领域提供统计软件和服务的先导，是全球领先的质量管理和六西格玛实施软件工具，具有无可比拟的强大功能和简易的可视化操作，对一般的数据分析和图形处理都可以应付自如。

数据分析的方法第6篇

关键词: 数据挖掘；数据仓库；相关分析

中图分类号:TP 311.3 文献标志码:A 文章编号:1672-8513(2011)03-0182-03

The Application of Correlation Analysis Algorithms in the Data Invites Chien

ZHANG Hanyun,DUAN Peng

(School of Mathematics and Computer Science,Yunnan University of Nationalities,Kunming 650031,China)

Abstract: The data warehouse was constructed by using the mass data of computer science majors’ scores generated during the past three years in thirteen classes of four grades, we analyze the corresponding degree of different courses in the database using corresponding analyzing techniques, and condense the attributes in database according to corresponding factors, An example is given to illustrate the application of the proposed method. The analysis introduced in the paper has provided a scientific basis for improving the teaching quality .Then it is prepare for the Association rules mined of different courses.

Key words: data mining;data warehouse; correlation analysis

相关分析法是在分析某个问题或指标时，将与该问题或指标相关的其他问题或指标进行对比，分析其相互关系或相关程度的一种分析方法，用少数几对综合变量来反映2组变量间的线性相关性质.目前它已经在众多领域的相关分析和预测分析中得到广泛应用.本文主要研究如何利用相关分析技术产生计算机专业课之间的相关系数，发现专业课程之间的相关度，对数据仓库中的数据进行约简［1］.

1 相关分析

1.1 相关分析概述［2］

相关分析（Correlation Analysis）是研究随机变量之间的相关关系的一种统计方法.相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系.例如，教育投资与教育发展速度的关系、教师教学水平和学生的学习效果之间的关系等［3］.

相关系数值为-1（完全负相关关系）～+1（完全正相关关系）之间，相关系数为0时，表示不存在相关关系.例：

正相关：学生的学习能力与学习成绩的关系；

负相关：教师的身体状况与缺勤率的关系；

零相关：教师的身高与教学能力的关系.

Pearson相关用于双变量正态分布的资料，其相关系数称为积矩相关系数（Coefficient of Product-Moment Correlation）.进行相关分析时，我们一般会同时对2变量绘制散点图，以更直观地考察2变量之间的相互变化关系［4］.

用Flag Significant Correlations 进行显著性检验，标出有显著性意义的相关系数，用一个星号“*”标记在α=0.05水平上有显著性意义的相关系数；用2个星号“**”标记在α=0.01水平上有显著性意义的相关系数［5］.

1.2 相关分析的表示方法

进行相关分析的主要方法有图示法和计算法.图示法是通过绘制相关散点图来进行相关分析，计算法则是根据不同类型的数据，选择不同的计算方法求出相关系数来进行相关分析.

1.2.1 图示法

图示法的具体做法就是绘制相关散点图.相关散点图是观察2个变量之间关系的一种非常直观的方法.具体绘制的方法是：以横轴表示2个变量中的1个变量（作为自变量），以纵轴表示另一个变量（作为因变量）.将2个变量之间相对应的变量值以坐标点的形式逐一标在直角坐标系中，通过点的分布形状和疏密程度来形象描述2个变量之间的相关关系.

相关散点图可以通过手工绘制而得到.但如果面对的变量值比较多，手工绘制的过程既费时，又不够精确.

1.2.2 计算法

相关系数也称为相关量，是用来描述变量之间变化方向和密切程度的数字特征量，一般用r表示.它的数值范围在－1到+1之间，它的正负号反映变量之间变化的方向；它的绝对值的大小反映变量之间关系的密切程度.

根据2个变量变化的密切程度，我们把相关关系分为完全相关、高度相关、中度相关、低度相关、零相关［6］.

完全相关：│r│=1的相关；

高度相关或强相关：0.7≤│r│＜1的相关；

中度相关：0.4≤│r│＜0.7的相关；

低度相关或弱相关：│r│＜0.4的相关.

1.3 Pearson相关

Pearson相关也称积差相关，积差相关也称积矩相关，是英国统计学家Rearson提出的一种计算直线相关的方法，因而又称为Rearson相关［6-7］.

积差相关系数是2列成对观测值中各对观测值的标准分数乘积之和除以观测值对数所得之商［8］.

1.3.1 Pearson相关的使用条件

1) 2个变量之间是线性关系，都是连续数据；

2) 2个变量的总体是正态分布，或接近正态的单峰分布；

3) 2个变量的观测值是成对的，每对观测值之间相互独立.

1.3.2 Pearson相关的计算公式

r=∑ZXZYn=∑X－Y－nσXσY.

式中，[ZK（]n表示数据的对数；σX，σY分别表示X和Y变量的样本标准差；[JP]，分别表示X和Y变量的样本平均数.[ZK）]

对于学生成绩，其课程总体分布接近正态分布，满足Pearson相关的使用条件.在统计软件SPSS中，可以很方便地得出2变量之间的Pearson相关系数.[JP]

2 用相关分析法进行数据约简

2.1 学生成绩数据仓库的建立

数据选择上，主要选择了作者所在学校计算机专业3年来产生的专业基础课成绩，收集并整理了包含高等数学、C语言、数据结构和数据库系统原理的504条学生成绩数据.并将具体的成绩数据离散化为4个等级［9］，即：

成绩>=80“A”; 70=

2.2 用相关分析法进行数据约简

对大规模数据库内容进行复杂的数据分析通常需要耗费大量的时间，这就常常使得这样分析变得不现实和不可行，尤其是需要交互式数据挖掘时.数据约简技术正是用于帮助从原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性，这样在精简数据集上进行数据挖掘，显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果基本相同［10］.

数据约简并不是一个新的领域，现在已经提出了很多理论和方法，如：层次分析法，主成分分析法，随机抽样、免疫算法等.本研究根据实际需要，提出将相关分析方法应用于学生成绩的属性约简，即方便快捷又不失理论性.

在SPSS软件中，画出计算机专业课高等数学成绩的直方图，如图1.

用同样的方法，可以画出其他计算机专业课如C语言、数据结构等的直方图，可以看出，我们所建立的数据仓库中，学生计算机专业课程成绩基本上符合正态分布，满足Pearson相关的使用条件.

我们用双变量相关分析技术来分析相关课程之间的关联程度，并做出统计学推断，以最少的数据量反映最大的信息量，进而对数据库的属性进行约简.通过相关分析约简相关性较弱的属性，选择相关性强的属性而不直接利用数据库中的所有属性，从而减少大量冗余属性，以提高算法的效率.

在SPSS中进行课程间Pearson相关系数分析，得到计算机专业课程相关系数分析表如表1.

1：表中数值为4门课程进行相关分析得到的皮尔逊相关系数(Pearson Correlation)、相伴概率（Sig.(2-tailed)）、样本个数（N）.“*”标记在α=0.05水平上有显著性意义的相关系数；用两个星号“**”标记在α=0.01水平上有显著性意义的相关系数；

2：相伴概率用来判断求解线性关系的两变量之间是否有明显的线性关系.一般将这个Sig值与0.05相比较，如果它大于0.05，说明平均值在大于5%的几率上是相等的，而在小于95%的几率上不相等；如果它小于0.05，说明平均值在小于5%的几率上是相等的，而在大于95%的几率上不相等；如C语言与数据结构的Sig是0，此数值说明C语言与数据结构有显著的线性关系（因为Sig0.05，则说明两变量之间没有明显的线性关系）.

由表1可以看出，同一门课程之间的Pearson相关系数为1，是完全相关关系.高等数学与C语言之间的Pearson相关系数为0.283，C语言与数据结构之间的Pearson相关系数为0.281，数据结构与数据库系统原理之间的Pearson相关系数为0.565，并且都有“*”标记，由此可以推断这4组课程之间有显著性意义的相关性.

3 结语

用相关分析技术对数据库进行约简，结果表明：线性代数、计算机导论及Pascal语言等多个因素相关性较弱；而C语言、数据结构、高等数学及数据库系统原理之间相关性较强，根据数据库约简原则，可将线性代数、计算机导论及Pascal语言等多个属性项从数据库中删除，以便提高数据挖掘效率.

参考文献:

［1］段西凌，甘开鹏.数据挖掘在人口普查信息系统中的应用［J］.云南民族大学学报：自然科学版，2006,15（2）：170-172.

［2］茆诗松．统计手册［M］．北京：科学出版社，2003.

［3］TANG Zhaohui,MACLENNAN J.数据挖掘原理与应用［M］. 邝祝芳，焦贤龙，高升，译.北京：清华大学出版社，2007.

［4］王艳.数据挖掘中关联规则的探讨［J］.成都信息工程学院学报，2004，19（2）：173.

［5］张儒良，王翰虎.论数据挖掘优化教学管理［J］.贵州民族学院学报，2004：133.

［6］赵辉.数据挖掘技术在学生成绩中分析中的应用［D］.大连：大连海事大学，2007.

［7］王月敏.基于遗传算法的智能组卷系统研究［J］.云南民族大学学报：自然科学版，2009，18（2）：173-176.

［8］刘利锋，吴孟达. 关联规则的快速提取算法 ［J］.计算机工程.2008，34(5)：63-65.

［9］李萍，段富.数据挖掘中数据约简的研究与应用［J］.微计算机应用.2009，25（2）：58-60.[ZK)]

［10］[ZK(#]蔡勇，韩永国，刘自伟.数据挖掘技术在生源分析中的应用研究［J］.计算机应用研究.2004，32（6）：48-51.

收稿日期:2010-09-06.

数据分析的方法第7篇

关键词：数据分析应用率；分析应用点；四个层次；数据中心；仪表盘

中图分类号：N37 文献标识码：B 文章编号：1009-9166（2009）02（c）-0063-02

现代企业的决策往往是在整合大量信息资料的基础上制定出来的，对数据的理解和应用将是企业决策的基石。与传统的操作型应用相比，数据利用的应用建设难度更大，它是随着管理水平而发展，同时又取决于业务人员的主观意识，这就决定了以数据利用为核心的应用建设不可能一蹴而就，而是一个长期迭展的建设过程。从2003年起工厂开始全面推进数据分析应用工作，经历过曲折，同时也有收获。经过多年的努力，工厂的数据分析应用工作开始进入良性发展阶段，笔者认为有必要对工厂目前数据分析应用工作作一总结和思考。

一、工厂数据分析应用工作开展现状

工厂数据分析应用工作推进至今已有四五年的时间，从最初全面调研工厂数据量和数据分析应用状况，将数据分析应用率指标作为方针目标定量指标来考核，到后来将数据分析应用工作的推进重心从量向质转移，采用以项目为载体进行管理，着重体现数据分析应用的实效性，再到目前以分析应用的需求为导向，以分析应用点为载体，分层次进行策划。经过上述三个阶段，工厂数据分析应用工作推进机制得到了逐步的完善，形成了广度深度协同发展的信息资源利用管理框架。截止到目前，工厂数据分析应用率达到96%，四个层次的分析应用点共计100多个，数据分析应用工作在生产、质量、成本、物耗、能源等条线得到广泛开展，有效推动了工厂管理数字化和精细化。2007年，工厂开始探索细化四个应用层次的推进脉络，进一步丰富工厂信息资源利用框架，形成层次清晰、脉络鲜明、职责分明的信息资源利用立体化的推进思路。

1、第一层次现场监控层。第一层次现场监控层，应用主体是一线工人和三班管理干部，应用对象是生产过程实时数据，应用目标是通过加强生产过程控制，辅助一线及时发现生产过程中的异常情况，提高生产稳定性。例如制丝车间掺配工段的生产报警，通过对生产过程中叶丝配比、膨丝配比、梗丝配比、薄片配比、加香配比等信息进行判异操作，对异常情况通过语音报警方式提醒挡车工进行异常处理；例如卷包车间通过在机台电脑上对各生产机组的工艺、设备参数、实时产量、质量、损耗数据的监控，提高对产品质量的过程控制能力。第一层次应用以上位机和机台电脑上固化的监控模型为主，制丝车间每个工序、卷包车间每种机型的应用点都有所不同，为此我们建立了制丝车间以工序为脉络，卷包车间以机种为脉络的应用点列表，围绕脉络对第一层次应用点进行梳理，形成第一层次应用的规范化模板。制丝车间第一层次应用点模板包括工序名称、应用点名称、应用模型描述、应用对象、应用平台、异常处置路径等基本要素。卷包车间应用点模板横向根据机种分，纵向按上班及交接班、上班生产过程中、下班及交接班三个时间段分，通过调研分别列出挡车工针对每个机种在三个时间段分别要查看的数据和进行的操作。随着模板的扩充和完善，一线职工的知识、经验不断充实其中，第一层次应用点模板将成为一线工人和三班管理干部日常应用监控的标准，同时可以规避人员退休或调动带来的经验、知识流失的风险。2、第二层次日常管理分析层。第二层次日常管理分析层，应用主体是一般管理干部，应用对象是产质损、设备、动能等指标，应用目标是通过加强对各类考核指标的监控和分析，提高工厂整体的关键绩效指标水平。例如制丝车间的劣质成本数据汇总和分析，通过对车间内各类废物料、劣质成本的数据进行汇总、对比和分析，寻找其中规律及薄弱环节，并寻根溯源，采取措施，降低劣质成本。例如卷包车间的产量分析，通过对产量数据、工作日安排、计划产量进行统计和汇总，结合车间定额计划、作业计划和实际产量进行分析，寻找实际生产情况与计划间的差异，并分析原因。第二层次应用以管理人员个性化的分析为主，呈现出分析方法多样化、应用工具多样化的特点。但是万变不离其中的是每个管理岗位的管理目标以及围绕管理目标开展的分析应用是相对固定的，至少在短期内不会有太大的变化。为此我们建立了一份以重点岗位为脉络的应用点列表，围绕脉络对第二层次应用点进行梳理，形成第二层次应用的规范化模板。模板包括岗位名称、管理目标、应用点名称、应用描述、涉及主要考核指标、应用平台、应用频次、分析去向等基本要素。通过构建第二层次应用点模板，明确了每个管理岗位应用信息资源支撑管理目标的内容和职责。随着新的管理目标的不断提出以及应用的逐步深入，模板每年都会有更新和扩充。3、第三层次针对性分析应用层。第三层次针对性分析应用层，应用主体是项目实施者，应用对象是各类项目的实施过程，例如QC项目、六西格玛项目、质量改进项目，或针对生产中的特定事件进行的分析和研究。应用目标是通过应用数据资源和统计方法开展现状调查、因果分析、效果验证等工作，提高各类项目实施的严密性和科学性。第三层次的应用工具在使用初级统计方法的基础上会大量应用包括方差分析、回归分析、正交试验、假设检验、流程图等在内的中级统计方法。以QC活动为例，我们可以看出其实施过程无一不与数据应用之间有密切的联系[1]。近年来，在质量改进项目和QC项目的评审工作中已逐步将“应用数据说话、运用用正确合理的统计方法，提高解决问题的科学性”作为项目质量考核标准之一。而六西格玛项目实施的核心思想更是强调“以数据和事实驱动管理”，其五个阶段[2]D（定义）、M（测量）、A（分析）、I（改善）、C（控制），每个阶段都要求结合如FMEA（失效模式后果分析），SPC（统计流程控制），MSA（测量系统分析），ANOVE（方差分析），DOE（实验设计）等统计方法和统计工具的应用。4、第四层次主题性应用层。第四层次主题性应用层，应用主体是中层管理者，应用对象是专业性或综合性的分析主题，应用目标是通过专业科室设计的专题性分析模型或综合性分析模型，为中层管理层提供决策依据。工厂在实施了业务流程“自动化”之后，产生了大量的数据和报表。如何将工厂的业务信息及时、精炼、明确地陈述给中层管理层，以此来正确地判断工厂的生产经营状况，是摆在我们眼前的一个突出问题。大家都有开车的经验，司机在驾驶车辆的时候，他所掌握的车况基本上是来自汽车的仪表盘，在车辆行使的过程中，仪表盘指针的变化，告知汽车的车速、油料、水温等的状况，驾驶员只要有效地控制这些指标在安全范围之内，车子就能正常地运行。我们不妨将仪表盘的理念移植于工厂，建立工厂关键指标及运行管理仪表盘，将工厂的关键信息直观地列在上面，及时提醒各级管理人员工厂生产运营是否正常。

⑴关键绩效指标监控系统。对分布在各处的当前及历史数据进行统一展示，以工厂关键绩效指标为中心，支持统计分析和挖掘，可为中层管理者提供工厂关键绩效指标一门式的查询服务，使各业务部门寻找、阐释问题产生的原因，以有效监控各类关键绩效指标，及时采取改进措施，提高生产经营目标完成质量。⑵系统运行状态监控系统。通过数据采集、手工录入等各种渠道收集各类系统的运行状态，及时掌握故障情况，采取措施加以闭环，将因系统故障造成对用户的影响减至最小，确保各类系统的稳定运行和有效应用。通过建立系统运行状态监控系统，中层管理人员上班一打开电脑进入系统，就能了解到当天及上一天各类系统的运转情况，发生了什么异常，哪些故障已经得到解决，哪些故障还未解决。⑶第四层次主题性分析应用。在展示关键绩效指标和系统运行状态的基础上，由各专业科室思考专业条线上的分析主题，采用先进科学的理念和方法对数据进行分析和挖掘。近两年来，工厂充分发挥专业科室的优势和力量，相继设计和开发了工艺质量条线的六西格玛测评系统，设备条线的设备效能分析系统，还有质量成本核算与分析系统。通过这些分析主题的支持，工厂管理人员可以更方便快捷地了解质量、设备、成本等条线上的关键信息，及时采取相应措施，从而提升管理效率。

二、数据分析应用工作存在的不足及思考

工厂数据分析应用工作的推进方法从最初的采用数据分析应用率单个指标进行推进发展到目前按上文所述的四个层次进行推进，每个层次的推进脉络已经逐步清晰和明朗，但事物发展到一定的阶段总会达到一个瓶颈口，目前工厂数据分析应用工作存在的问题及措施思考如下：

1、从推进手段上要突破信息条线，充分发挥专业条线的力量。信息条线作为推进工厂数据分析应用的主管条线，其作用往往局限在技术层面上的支撑。虽然信息条线每年都会规划形成工厂数据分析应用整体的工作思路和具体的实施计划，但是无论从工厂层面还是从车间层面来讲，单纯依靠信息条线从侧面加以引导和推进，使得数据分析应用工作始终在业务条线的边缘徘徊，与产量、质量、设备、消耗、成本、动能等各个条线本身工作的结合度有一定的距离。所以工厂要进一步推进数据分析应用工作，调动起业务人员的积极性和主动性，突破现有的瓶颈，应该考虑如何调动起专业条线的力量。一是可以在年初策划应用点的时候要加强专业条线对车间业务自上而下的指导，引导管理人员加强对缺少数据分析支撑的工序、岗位/管理目标的思考；二是建立平台加强各车间同性质岗位之间的沟通与交流，均衡各个车间的数据分析应用水平和能力；三是对车间提交的分析报告给出专业性的指导意见。2、要加强对数据中心的应用。数据中心的建立可以使业务系统从报表制作、数据导出等功能中解放出来，专注于事务处理，将数据应用方面的功能完全交给数据中心来解决。目前，数据中心已建立了涉及产量、质量、消耗等各个条线的Universe模型，并对全厂管理干部进行了普及性的培训。但是从目前应用情况来看，还比较局限于个别管理人员，追寻原因如下：一是业务系统开发根据用户需求定制开发报表，业务人员通常习惯于从现成的报表中获取信息。如果要求业务人员使用数据中心工具自行制作报表模板，甚至可能需要将其导出再作二次处理，那么业务人员一定更倾向于选择第一种方式。二是近几年来人员更替较多，新进管理人员不熟悉数据中心应用，导致数据中心应用面受到限制。随着今后MES的建设，业务系统中的数据、报表、台帐和分析功能将有可能由业务用户自行通过集成在MES中的数据中心前端开发工具来访问和灵活定制。因此，要尽快培养工厂业务人员数据中心的应用能力，包括数据获取以及报表定制方面的技能。笔者认为应对方法如下：一是对于岗位人员变更做好新老人员之间一传一的交接和培训；二是适时针对新进管理人员开展集中培训；三是通过采用一定的考核方法。3、提高新增应用点的质量。工厂每年都会组织各部门审视第一、第二层次应用点列表，围绕重点工序和重点管理岗位调研有哪些应用上的空白点是需要重点思考的，以新增分析应用点的方式进行申报和实施。同时针对第三层次针对性分析应用，工厂也会要求部门以新增分析应用点的方式将需要数据支撑的项目进行申报。作为一项常规性工作，工厂每年都会组织部门进行应用点的申报，并按项目管理的思想和方法实施，事先确立各个应用点的应用层次、数据获取方式、实现平台，并对其实施计划进行事先的思考和分解，确定每一个阶段的活动目标、时间节点以及负责人员，每个季度对实施情况予以总结，并动态更新下一阶段的实施计划。该项工作从2005年起已经连续开展了三年，部门可供挖掘的应用点越来越少，如何调动部门的积极性，保持并提高应用点的实效性，我们有必要对新增分析应用点的质量和实施情况进行考评，考评标准为：一是新增分析应用点是否能体现数据应用开展的进取性、开拓性和创新性；二是新增分析应用点是否能切实提高管理的精细化和科学化水平；三是新增分析应用点是否能采用项目管理的思想和方法实施，按时间节点完成各项预定计划。

三、结束语。随着近几年来技术平台的相继成熟以及管理手段的逐步推进，工厂业务人员用数据说话的意识已经越来越强，但是要真正使工厂管理达到“三分技术、七分管理、十二分数据”的水平，还有很长的路要走，这既需要我们的业务人员从自身出发提高应用数据的水平和能力，同时也需要工厂从管理手段和管理方法上不断拓宽思路、创新手段，真正实现数据分析应用成为工厂管理的重要支撑手段。

作者单位：上海卷烟厂

参考文献：

数据分析的方法第8篇

关键词：聚类分析；数据挖掘

中图分类号：TP311文献标识码：A文章编号：1009-3044(2008)12-20ppp-0c

Cluster Anlaysis Methods of Data Mining

HUANG Li-wen

(School of Science, Quanzhou Normal University, Quanzhou 362000, China)

Abstract: Cluster analysis is one of the important methods of multivariate statistical analysis, and this method has a wide range of applications in many fields. In this paper, the classification of the cluster is introduced briefly, and then gives some common methods of cluster analysis and the advantages and disadvantages of these methods,and these clustering method were compared and anslyzed so that people can chose suitable clustering methods according to the actual issues.

Key words: Cluster Analysis; Data Mining?

1 引言

聚类分析是数据挖掘中的重要方法之一，它把一个没有类别标记的样本集按某种准则划分成若干个子类，使相似的样品尽可能归为一类，而不相似的样品尽量划分到不同的类中。目前，该方法已经被广泛地应用于生物、气候学、经济学和遥感等许多领域，其目的在于区别不同事物并认识事物间的相似性。因此，聚类分析的研究具有重要的意义。

本文主要介绍常用的一些聚类方法，并从聚类的可伸缩性、类的形状识别、抗“噪声”能力、处理高维能力和算法效率五个方面对其进行比较分析，以便人们根据实际的问题选择合适的聚类方法。

2 聚类的分类

聚类分析给人们提供了丰富多彩的分类方法，这些方法大致可归纳为以下几种[1,2,3,4]：划分方法、层次方法、基于密度的聚类方法、基于网格的聚类方法和基于模型的聚类方法。

2.1 划分法(partitionging methods)

给定一个含有n个对象（或元组）的数据库，采用一个划分方法构建数据的k个划分，每个划分表示一个聚簇，且k≤n。在聚类的过程中，需预先给定划分的数目k，并初始化k个划分,然后采用迭代的方法进行改进划分,使得在同一类中的对象之间尽可能地相似，而不同类的中的对象之间尽可能地相异。这种聚类方法适用于中小数据集，对大规模的数据集进行聚类时需要作进一步的改进。

2.2 层次法(hietarchical methods)

层次法对给定数据对象集合按层次进行分解，分解的结果形成一颗以数据子集为节点的聚类树，它表明类与类之间的相互关系。根据层次分解是自低向上还是自顶向下，可分为凝聚聚类法和分解聚类法：凝聚聚类法的主要思想是将每个对象作为一个单独的一个类，然后相继地合并相近的对象和类，直到所有的类合并为一个，或者符合预先给定的终止条件；分裂聚类法的主要思想是将所有的对象置于一个簇中，在迭代的每一步中，一个簇被分裂为更小的簇，直到最终每个对象在单独的一个簇中，或者符合预先给定的终止条件。在层次聚类法中，当数据对象集很大，且划分的类别数较少时，其速度较快，但是，该方法常常有这样的缺点：一个步骤（合并或分裂）完成，它就不能被取消，也就是说，开始错分的对象，以后无法再改变，从而使错分的对象不断增加，影响聚类的精度，此外，其抗“噪声”的能力也较弱，但是若把层次聚类和其他的聚类技术集成，形成多阶段聚类，聚类的效果有很大的提高。

2.3 基于密度的方法(density-based methods)

该方法的主要思想是只要临近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类。也就是说，对于给定的每个数据点，在一个给定范围的区域中必须至少包含某个数目的点。这样的方法就可以用来滤处＂噪声＂孤立点数据，发现任意形状的簇。

2.4 基于网格的方法(grid-based methods)

这种方法是把对象空间量化为有限数目的单元，形成一个网格结构。所有的聚类操作都在这个网格结构上进行。用这种方法进行聚类处理速度很快，其处理时间独立于数据对象的数目，只与量化空间中每一维的单元数目有关。

2.5 基于模型的方法(model-based method)

基于模型的方法为每个簇假定一个模型，寻找数据对给定模型的最佳拟合。该方法经常基于这样的假设：数据是根据潜在的概率分布生成的。该方法主要有两类：统计学方法和神经网络方法。

3 常用的聚类算法

目前，已经提出的聚类算法很多，常用的聚类算法主要有以下几种：系统聚类法、动态聚类法、CLARANS、CURE、DBSCAN、STING和模糊聚类法（FCM）。

3.1 系统聚类法

系统聚类法[5]是将n个样品看成n类，即一类包含一个样品；然后将性质最接近的两类合并成一个新类，这样就得到n-1类，再从这n-1类中找出性质最接近的两类加以合并，成了n-2类；如此下去，最后所有的样品均成一类；将上述类的合并过程画成一张图（这图常称为聚类图），这样便可决定分多少类，每类各有什么样品。

系统聚类法的计算简单，而且其聚类结果给出一个谱系图，因此，可以根据该图选择所需要的聚类结果。但是，它也有不足之处，其主要表现在以下几个方面：1）当样品数量很多时，而且只需要划分为较少的类别时，这种聚类方法的重复计算量很大；2）当某一样品划归某一个类后，其属性不变，若分类方法的选择不当，对聚类的精度影响很大；3）对大数据量进行处理时，计算机内存开销很大，有时，计算机受此限制而无法进行聚类分析，而且其速度很慢；4）抗干扰的能力很弱。

3.2 动态聚类算法

动态聚类法[5]就是在开始时先建立一批初始中心，而让待分的各个样品依据某种判别准则向初始中心凝聚，然后再逐步修改调整中心，重新分类；并根据各类离散性统计量（如均方差）和两类间可分离性的统计量（如类间标准化距离、J-M距离等）再进行合并和分裂。此后在修改调整中心，这样不断继续下去，直到分类比较合适为止。

动态聚类法使用随机方式选择 作为初始聚类中心，按照算法的迭代执行，整个算法的结束条件是类的重心（或凝聚点）不再改变,它的计算复杂性是O(nkt)，其中，n为样本数量，k为聚类数，t为迭代次数。与系统聚类法相比，动态聚类法明显的优势是运算量小，能用于处理庞大的样本数据，也为实时处理提供了一定的可能性，但其也存在一些缺点，主要表现在以下几个方面:（1）动态聚类法要求用户必须事先给出聚类的数目，选择初始划分的最佳方向、更新分区和停止准则，且其结果与数据输入顺序有关，不同的初始值可能会导致不同的结果；（2）对于噪声和孤立点敏感，很容易受例外情况的影响，适用于发现球状类，但不适合发现非凸面状的簇，不适合大小差别较大的簇；（3）一个对象只能属于一个类中，不能多维揭示其多重属性。

3.3 CLARANS算法

CLARANS[2,6,9]也叫随机搜索聚类算法，是一种分割聚类方法。该算法是基于CLARA算法的改进，与CLARA算法不同的是：CLARA算法在每个阶段都选取一个固定样本,而CLARANS在搜索的每一步都带一定的随机性选取一个样本，在替换了一个中心点后得到的聚类结果被称为当前聚类结果的邻居，搜索的邻居点数目被用户定义的一个参数加以限制。如果找到一个比它更好的邻居，则把中心点移到该邻居节点上，否则把该点作为局部最小量，然后再随机选择一个点来寻找另一个局部最小量。

该算法能够探测孤立点，并适用于大型数据库，但其计算复杂度复杂度较高，大约为O(n2)；此外，该算法对数据输入的顺序敏感，适用于凸形或球形数据。

3.4 CURE算法

CURE[6,7,8]算法是一种使用代表点的聚类算法。该方法首先把每个数据点看成一簇,然后再以一个特定的收缩因子向中心“收缩”，即合并两个距离最近的代表点的簇，直至达到预先给定的聚类个数为止。它回避了用所有点或单个质心来表示一个簇的传统方法，将一个簇用多个代表点来表示，使CURE可以适应非球形的几何形状。另外，收缩因子降底了噪音对聚类的影响，从而使CURE对孤立点的处理更加健壮，而且能识别非球形和大小变化比较大的簇。

该算法采用随机抽样与分割相结合的方法来提高聚类效率，对于大型数据库，它也具有良好的伸缩性，运行速度很快，而且有较好的聚类效果，其计算复杂度为O(n)。

3.5 DBSCAN算法

DBSCAN算法[6,7,8,9]是一种基于高密度连接区域密度的聚类算法。该方法将密度足够高的区域划分为簇，并可以在带有“噪声”的空间数据库中发现任意形状的聚类。其主要的思想是通过检查数据库中每个点的ε-邻域来寻找聚类。如果第一个点p的ε-邻域包含多于MinPts个点,则创建一个以P作为核心对象的新簇，否则先把它暂时标为噪声点，跳到下一个点，并判断它是否为核心点。然后反复地寻找从这些核心点直接密度可达的对象,当没有新的点可以被添加到任何簇时，该过程结束。

该算法可以数据集中的所有簇和噪声，但其不对数据集进行预处理而直接进行聚类操作，当数据集很大时，占用内存很大，而且I/O消耗也很大，如果采用空间索引,其计算复杂度为O(nlogn)，否则，其计算复杂度为O(n2)。

3.6 STING算法

STING算法[2,3,8]是一种基于风格的多分辨率聚类技术，它将空间区域划分为矩形单元。针对不同级别的分辨率,通常存在多个级别的矩形单元，这些单元形成了一个层次结构，高层的每个单元被划分为多个低一层的单元，高层单元的统计参数可以很容易地从低层单元计算得到，而统计信息的查询则采用自顶向下的基于网格的方法。这些参数包括：属性无关的参数count;属性相关的参数m(平均值)、s(标准偏差)、min(最小值)、max(最大值)以及该单元中属性值遵循的分布(distribution)类型。该算法预先计算和存储每个单元的统计信息，它不依赖于查询的汇总信息。

该算法主要优点是效率高,有利于并行处理和增量更新；它通过扫描数据库一次来计算单元的统计信息，因而其计算复杂度为O(n)。在层次结构建立后，其查询处理的计算复杂度为O(m)，其中m为最低层网格单元的数目。其缺点是聚类质量取决于网格结构最低层的粒度，粒度的大小会明显影响处理代价，特别是当数据集的维数较高时，由于生成网格层次及每一层的单元数较多，算法的效率会降低。

3.7 模糊聚类算法（FCM）

传统的聚类分析是一种硬划分，它把每个待识别的对象严格地划分到某类中，具有“非此即彼”的性质；而在实际中，大多数对象并没有严格的属性，它们在性态和类属方面存在着中介性，具有“亦此亦彼”的性质；鉴于此，人们开始用模糊的方法来处理这类问题，从而产生了模糊聚类的方法，也就是说，模糊聚类法[5]是将模糊数学的思想观点用到聚类分析中产生的方法，其关键是隶属函数的确定。该方法多用于定性变量的分类。其主要算法如下：

（1）选择一个初始模糊分类方案，将n个样本分成k个模糊类，得到一个模糊隶属度矩阵U={uij,i=1,2,…,n;j=1,2,…,k}，其中uij表示样本Xi对模糊集Cj的隶属度，uij∈[0,1]；

（2）利用矩阵 计算模糊评判函数的值，模糊评判函数通常是一个与对应的分类相联系的加权平方误差和

是第k个模糊集的中心，重新分配样本到各模糊集以减少评判函数的值并重新计算U；

（3）重复（2），直到矩阵U不再有较大的变动。

模糊聚类解决了一些混合对象的归类问题，同时，当样本数较少的时候，应用该方法的优越性也比较明显，另外，其抗干扰的能力也较强；但是，它对一些隐含类的提取能力还有待于进一步的改进，除此之外，预定的分类数目一般也是人为决定的，同动态聚类一样，就可能出现人为预定的分类数与实际存在的类数不相符这种情况，从而影响分类的结果。

4 聚类的性能比较

基于上述的分析，现从可伸缩性、类的形状识别、抗噪声能力、处理高维能力和算法效率五个方面对常用聚类算法的性能进行了比较，结果如下表。通过这些比较，可以给聚类算法研究和应用的选择提供参考。

5 结束语

目前，已经提出的聚类算法很多，每种方法都有其优缺点和不同的适用领域，可以根据上述的分析，选择适合特定问题的聚类方法；但是，在实际应用中，由于数据的复杂性，往往用某种聚类算法进行聚类划分得到的效果不佳，可能要综合多种聚类方法才能得到较好的聚类效果。因此，在将来的研究中，需要做好对现有聚类算法的改进和融合，以便得到更好的聚类方法。

参考文献：

[1] 孙孝萍.基于聚类分析的数据挖掘算法研究[D].硕士学位论文,2002.4.

[2] 覃拥军,刘先锋.数据挖掘中的聚类研究[J].科技咨询导报,2007(16):28-30.

[3] 梁志荣.数据挖掘中聚类分析的技术方法[J]. 电脑开发与应用,2007,20(6):37-39.

[4] 谷淑化,吕维先,马于涛.关于数据挖掘中聚类分析算法的比较[J].现代计算机,2005(3):26-29.

[5] 黄利文.基于几何概率的聚类分析[D]. 硕士学位论文,2006(1).

[6] 张红云,刘向东,段晓东等.数据挖掘中聚类算法比较[J].计算机应用与软件,2003(2):5-6.

[7] 王劲波,翁伟,许华荣.数据挖掘中基于密度的聚类分析方法[J].统计与决策,2005(10):139-141.

[8] 刘泉凤,陆蓓. 数据挖掘中聚类算法的比较研究[J].浙江水利水电专科学校学报,2005,17(2):55-58.

[9] 丁学钧,杨克俭,李虹等.数据挖掘中聚类算法的比较研究[J].河北建筑工程学院学报,2004,22(3):125-127.

收稿日期：2008-02-17

数据分析的方法第9篇

网站优化数据分析方法一：流量分析

分析网站流量这是首要工作，如果是网站建设初期，那么此时的流量分析就只要记住网站登陆搜索引擎后的流量基数即可。如果是网站建设中期的话，就要记录网站流量一周的平均值，如果是网站建设后期的话，就要记录网站流量的阶段性波动值!记录好了流量值之后，就可以很好的计划出下一步优化推广的流量值了。

网站优化数据分析方法二：关键词分析

网站关键词分析也是网站优化的重要工作之一!分析现在网站关键词的布局，分析网站有流量的关键词，分析网站还没有覆盖的与网站业务相关的关键词，分析出网站主关键词的排名情况，分析关键词的设计是否合理。分析顶级关键词是否占据了搜索引擎首页的排名，分析搜索关键词的质量高不高，与网站业务的相关度如何?!分析关键词转化率如何等等。

网站优化数据分析方法三：转化率或业务目标实现情况如何