关键词数据挖掘；Web数据挖掘；相关技术
引言
随着Internet 的进一步发展和完善,各种基于Internet的应用业务也如雨后春笋般的发展起来,例如网上商店、网上银行、远程教育、远程医疗等。我们应该看到Internet在给我们带来机遇的同时也带来了挑战,它使得WWW 上的一些主要工作, 例如Web 站点设计、Web 服务设计、Web 站点的导航设计、电子商务等工作变得更为复杂更为繁重。对于网站经营方来说,他们需要更好的自动辅助设计工具, 可以根据用户的访问兴趣、访问频度、访问时间动态的调整页面结构,改进服务, 开展有针对性的电子商务以更好的满足访问者的需求。解决这种需求的一个有利的工具就是Web 数据挖掘。
1. Web 数据挖掘概述
Web挖掘是一项综合技术,涉及Web、数据挖掘、计算机语言学、信息学等多个领域。Web挖掘就是从Web 文档、Web活动中抽取感兴趣的、潜在的有用模式和隐藏信息。Web 挖掘是指从大量Web文档结构和使用的集合C中发现隐含的模式p。如果将C看作输入,p看作输出,那么Web挖掘的过程就是从输入到输出的一个映射ξ:Cp
Web挖掘从数据挖掘发展而来,因此其定义与我们熟知的数据挖掘定义相类似,都是在对大量的数据进行分析的基础上,作出归纳性的推理,预测客户的行为,帮助企业的决策者调整市场策略,减少风险,作出正确的决策的过程。但是对Web 进行有效的资源和知识挖掘面临极大的挑战:(1)对有效的数据仓库和数据挖掘而言,Web 似乎太庞大了。(2)Web页面的复杂性高于任何传统的文本文件。(3) Web是一个动态性极强的信息源。(4) Web上的信息只有很小的一部分是相关的或有用的。这些挑战推动了如何有效地发现和利用Internet 的资源的研究工作。
1.1 与传统的数据挖掘相比较
1.1.1 数据源具有很强的动态性。
1.1.2 挖掘目的的模糊性。
1.1.3 数据类型的多态性。
1.1.4 数据信息的分布性、多维性。
1.2 Web 数据的特点
1.2.1 数据量巨大
Internet把分布于世界不同位置的电脑(服务器)连接了起来,每个电脑上都存有丰富的数据,这些数据涉及各种不同的行业和领域,又由于连接于Internet 的电脑数量非常巨大。
1.2.2 异构数据库环境
每一个Web站点都可以看作是一个数据源,由于各站点是相互独立的, 之间除了可以互相访问之外并没有任何关系,所以每个站点之间的信息及信息组织方式都是不相同的,这就构成了一个巨大的异构数据库环境。
1.2.3半结构化的数据结构
Web上的数据与传统数据库中的数据不同之处还在于传统数据库都有一定的模型,可以根据数据模型来对具体的数据进行描述,而Web 站点中的数据不存在统一的模型,各站点都是独自设计,并且站点中的数据是处于不停变化之中的。
2.Web数据挖掘相关技术
Web 挖掘应用非常广泛,对Web挖掘相关技术的研究也很多,针对上述不同类别的Web 挖掘,有不同的相关技术,下面分别介绍。一般地,Web挖掘可以分为三类:Web 内容挖掘(Web content mining)、Web 结构挖掘(Web structure mining)、和Web 使用模式的挖掘(Web usage mining) 。
2.1技术分类
2.1.1Web内容挖掘
Web内容挖掘是从文档内容或其描述中抽取知识的过程。主要有两种策略:直接挖掘文档的内容,或在其它工具搜索的基础上进行改进。采用第一种策略的有针对Web 的查询语言WebLOG,利用启发式规则来寻找个人主页信息的AHOY等。采用第二种策略的方法主要是对搜索引擎的查询结果进行进一步的处理,得到更为精确和有用的信息。属于该类的有WebSQL,及对搜索引擎的返回结果进行聚类的技术等。
2.1.2 Web 结构挖掘
Web 结构挖掘是从WWW的组织结构和链接关系中推导知识。由于文档之间的互连WWW能够提供除文档内容之外的有用信息。利用这些信息,可以对页面进行排序发现重要页面。这方面的代表有PageRank〗和CL EVER,此外,在多层次Web数据仓库(MLDB)中也利用了页面的链接结构。
2.1.3 Web 使用挖掘
Web使用挖掘的主要目标是从Web 的访问记录中抽取感兴趣的模式。WWW 中每个服务器保留了访问日志,记录关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为从而改进站点的结构,或为用户提供个性化的服务。
2.2 Web 数据挖掘研究领域及发展
2.2.1 Web 数据挖掘的研究领域类型根据对Web 数据的感兴趣程度不同,Web 挖掘一般可以分为三类: 网络内容挖掘(Web Content mining) 、网络结构挖掘(Web structure mining) 、网络用法挖掘(Web usage Mining)
2.2.2 网络内容挖掘网络信息内容是由文本、图像、音频、视频、元数据等形式的数据组成的。网络内容挖掘就是一个从网络信息内容中发现有用信息的过程。由于网络信息内容有很多是多媒体数据, 因此网络内容挖掘也将是一种多媒体数据挖掘形式。
2.2.3 网络结构挖掘网络结构挖掘就是挖掘Web潜在的链接结构模式。通过分析一个网页链接和被链接数量以及对象来建立Web自身的链接结构模式。这种模式可以用于网页归类,并且由此可以获得有关不同网页间相似度及关联度的信息。网络结构挖掘有助于用户找到相关主题的权威站点。
2.2.4网络用法挖掘网络内容挖掘和网络结构挖掘的挖掘对象是网上的原始数据,而网络用法挖掘面对的则是在用户和网络交互的过程中抽取出来的第二手数据,包括网络服务器访问记录、服务器日志记录、浏览器日志记录、用户简介、注册信息、用户对话或交易信息、用户提问方式等。通过网络用法挖掘,可以了解用户的网络行为数据所具有的意义。
2.3 Web数据挖掘的四个步骤
2.3.1查找资源:任务是从目标Web 文档中得到数据。
2.3.2信息选择和预处理:任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。2.3.3模式发现:自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。
2.3.4模式分析: 验证、解释上一步骤产生的模式。
3. Web数据挖掘的应用
3.1 Web挖掘在搜索引擎方面的应用
通过对网页内容的挖掘,可以实现对网页的聚类和分类,实现网络信息的分类浏览与检索。运用Web挖掘技术改进关键词加权算法,提高网络信息的标引准确度, 改善检索效果。参与搜索服务市场的有多家实力企业,如Google、雅虎(Yahoo!) 及微软(Microsoft) 等巨头企业, 以及若干规模较小但有特定市场区隔或技术者如dTSearch、Copernic 等Google 提供更多的技术,会自动找寻常用的字词,尽量缩短搜索时间,提高效率。
3.2Web挖掘在电子商务方面的应用
Web挖掘这方面的应用可以为企业更有效的确认目标市场、改进决策获得更大的竞争优势提供帮助,从中可得到商家用于特定消费群体或个体进行定向营销的决策信息。电子商务方面的Web挖掘功能主要是如下几个方面:首先,客户分类和客户聚类。对Web 的客户访问信息进行挖掘,对客户进行分类分析。应用聚类分析对客户进行分组, 并且分析组中客户的共同特征, 这样就可以让商家更好了解自己的客户, 向客户提供更有针对性的服务。其次是找到潜在的客户。在对Web 的客户访问信息的挖掘中, 利用分类技术可在因特网上找到未来的潜在客户。最后保留客户的驻留时间, 对于客户而言,在网上每个销售商对于客户来说都是一样的, 如何尽量使客户在自己的网上驻留更长的时间, 这样对于商家才能有更多客户和更大的利润空间。
3.3 Web 数据挖掘在网络教育中的应用
教育网络化的趋势不仅为学生提供了便利的学习方式和广泛的选择,也为学校提供了更加深入了解学生需求信息和学生行为特征的可能性。由于受教育对象个体之间存在着极大的差异性,网络教学也必须是一种适应个别化学习需求的个性化教学。这种个性化教学的提供,是通过将传统的数据挖掘(Data Mining) 同Web 结合起来,进行Web 数据挖掘,即从Web 文档和Web 活动中抽取学生感兴趣的潜在的有用模式和隐藏的信息,作为对学生提供个性化教学服务的依据,协助管理者优化站点结构,提高站点效率,更好地为网络教育服务。
3.4在网站设计中的应用
在网站设计方面中的应用，主要是通过对网站内容的挖掘，特别是对文本内容的挖掘，可以有效地组织网站信息，如采用自动归类技术实现网站信息的层次性组织；通过对用户访问日志记录信息的挖掘，把握用户感兴趣的信息，从而有助于开展网站信息推送服务以及个人信息的定制服务，吸引更多的用户。
4. 结束语
社会的发展越来越离不开信息的传播与使用,在数据量急剧增长的情况下如何高效地检索出使用者需要的信息更加显得重要,Web 数据挖掘正是因为满足了这方面的需要才能获得如此迅速的发展, Web 挖掘技术也将成为重要的研究课题和方向。
参考文献
[1] 曼丽春, 朱宏, 杨全胜. Web 数据挖掘研究与探讨[J].现在电子技术2005 (8) :3～6
[2] 夏火松. 数据仓库与数据挖掘技术[M]. 科学出版社,2004.207- 227.
[3] Jiawei Han,Micheline Kamber.DataMining:Concept and Techniques[M].Morgan Kaufmann Publishers,Inc 2001.272- 312.
[4] 陈文伟.黄金才.赵新昱.数据仓库与数据挖掘技术[M].北京:北京大学出版社,2002.1- 14.
[关键词]数据挖掘客户关系管理应用步骤
根据波特的影响企业的利益相关者理论，企业有五个利益相关者，分别是客户、竞争对手、供应商、分销商和政府等其他利益相关者。其中，最重要的利益相关者就是客户。现代企业的竞争优势不仅体现在产品上，还体现在市场上，谁能获得更大的市场份额，谁就能在竞争中占据优势和主动。而对市场份额的争夺实质上是对客户的争夺，因此，企业必须完成从“产品”导向向“客户”导向的转变，对企业与客户发生的各种关系进行管理。进行有效的客户关系管理，就要通过有效的途径，从储存大量客户信息的数据仓库中经过深层分析，获得有利于商业运作，提高企业市场竞争力的有效信息。而实现这些有效性的关键技术支持就是数据挖掘，即从海量数据中挖掘出更有价值的潜在信息。正是有了数据挖掘技术的支持，才使得客户关系管理的理念和目标得以实现，满足现代电子商务时代的需求和挑战。
一、客户关系管理（CRM）
CRM是一种旨在改善企业与客户之间关系的新型管理方法。它是企业通过富有意义的交流和沟通,理解并影响客户行为,最终实现提高客户获取、客户保留、客户忠诚和客户创利的目的。它包括的主要内容有客户识别、客户关系的建立、客户保持、客户流失控制和客户挽留。通过客户关系管理能够提高企业销售收入，改善企业的服务，提高客户满意度，同时能提高员工的生产能力。
二、数据挖掘（DM）
数据挖掘（DataMining，简称DM），简单的讲就是从大量数据中挖掘或抽取出知识。数据挖掘概念的定义描述有若干版本。一个通用的定义是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取人们感兴趣的知识，这些知识是隐讳的、事先未知的、潜在有用的信息。
常用的数据挖掘方法有：（1）关联分析。即从给定的数据集中发现频繁出现的项集模式知识。例如，某商场通过关联分析，可以找出若干个客户在本商场购买商品时，哪些商品被购置率较高，进而可以发现数据库中不同商品的联系，进而反映客户的购买习惯。（2）序列模式分析。它与关联分析相似，其目的也是为了控制挖掘出的数据间的联系。但序列模式分析的侧重点在于分析数据间的前后（因果）关系。例如，可以通过分析客户在购买A商品后，必定（或大部分情况下）随着购买B商品，来发现客户潜在的购买模式。（3）分类分析。是找出一组能够描述数据集合典型特征的模型，以便能够分类识别未知数据的归属或类别。例如，银行可以根据客户的债务水平、收入水平和工作情况，可对给定用户进行信用风险分析。（4）聚类分析。是从给定的数据集中搜索数据对象之间所存在的有价值联系。在商业上，聚类可以通过顾客数据将顾客信息分组，并对顾客的购买模式进行描述，找出他们的特征，制定针对性的营销方案。（5）孤立点分析。孤立点是数据库中与数据的一般模式不一致的数据对象，它可能是收集数据的设备出现故障、人为输入时的输入错误等。孤立点分析就是专门挖掘这些特殊信息的方法。例如，银行可以利用孤立点分析发现信用卡诈骗，电信部门可以利用孤立点分析发现电话盗用等。
三、数据挖掘在客户关系管理中的应用
1.进行客户分类
客户分类是将大量的客户分成不同的类别，在每一类别里的客户具有相似的属性，而不同类别里的客户的属性不同。数据挖掘可以帮助企业进行客户分类，针对不同类别的客户，提供个性化的服务来提高客户的满意度，提高现有客户的价值。细致而可行的客户分类对企业的经营策略有很大益处。例如，保险公司在长期的保险服务中，积累了很多的数据信息，包括对客户的服务历史、对客户的销售历史和收入，以及客户的人口统计学资料和生活方式等。保险公司必须将这些众多的信息资源综合起来，以便在数据库里建立起一个完整的客户背景。在客户背景信息中，大批客户可能在保险种类、保险年份和保险金额上具有极高的相似性，因而形成了具有共性的客户群体。经过数据挖掘的聚类分析，可以发现他们的共性，掌握他们的保险理念，提供有针对性的服务，提高保险公司的综合服务水平，并可以降低业务服务成本，取得更高的收益。
2.进行客户识别和保留
(1)在CRM中,首先应识别潜在客户,然后将他们转化为客户
这时可以采用DM中的分类方法。首先是通过对数据库中各数据进行分析，从而建立一个描述已知数据集类别或概念的模型，然后对每一个测试样本，用其已知的类别与学习所获模型的预测类别做比较，如果一个学习所获模型的准确率经测试被认可，就可以用这个模型对未来对象进行分类。例如，图书发行公司利用顾客邮件地址数据库，给潜在顾客发送用于促销的新书宣传册。该数据库内容有客户情况的描述，包括年龄、收入、职业、阅读偏好、订购习惯、购书资金、计划等属性的描述，顾客被分类为“是”或“否”会成为购买书籍的顾客。当新顾客的信息被输入到数据库中时，就对该新顾客的购买倾向进行分类，以决定是否给该顾客发送相应书籍的宣传手册。
(2)在客户保留中的应用
客户识别是获取新客户的过程，而客户保留则是留住老顾客、防止客户流失的过程。对企业来说，获取一个新顾客的成本要比保留一个老顾客的成本高。在保留客户的过程中，非常重要的一个工作就是要找出顾客流失的原因。例如，某专科学校的招生人数在逐渐减少，那么就要找出减少的原因，经过广泛的搜集信息，发现原因在于本学校对技能培训不够重视，学生只能学到书本知识，没有实际的技能，在就业市场上找工作很难。针对这种情况，学校应果断的抽取资金，购买先进的、有针对性的实验实训设备，同时修改教学计划，加大实验实训课时和考核力度，培训相关专业的教师。
(3)对客户忠诚度进行分析
客户的忠诚意味着客户不断地购买公司的产品或服务。数据挖掘在客户忠诚度分析中主要是对客户持久性、牢固性和稳定性进行分析。比如大型超市通过会员的消费信息，如最近一次消费、消费频率、消费金额三个指标对数据进行分析,可以预测出顾客忠诚度的变化，据此对价格、商品的种类以及销售策略加以调整和更新，以便留住老顾客，吸引新顾客。
(4)对客户盈利能力分析和预测
对于一个企业而言，如果不知道客户的价值，就很难做出合适的市场策略。不同的客户对于企业而言，其价值是不同的。研究表明，一个企业的80%的利润是由只占客户总数的20%的客户创造的，这部分客户就是有价值的优质客户。为了弄清谁才是有价值的客户，就需要按照客户的创利能力来划分客户，进而改进客户关系管理。数据挖掘技术可以用来分析和预测不同市场活动情况下客户盈利能力的变化，帮助企业制定合适的市场策略。商业银行一般会利用数据挖掘技术对客户的资料进行分析，找出对提高企业盈利能力最重要的客户，进而进行针对性的服务和营销。
(5)交叉销售和增量销售
交叉销售是促使客户购买尚未使用的产品和服务的营销手段，目的是可以拓宽企业和客户间的关系。增量销售是促使客户将现有产品和服务升级的销售活动，目的在于增强企业和客户的关系。这两种销售都是建立在双赢的基础上的，客户因得到更多更好符合其需求的服务而获益，公司也因销售增长而获益。数据挖掘可以采用关联性模型或预测性模型来预测什么时间会发生什么事件，判断哪些客户对交叉销售和增量销售很有意向，以达到交叉销售和增量销售的目的。例如，保险公司的交叉营销策略：保险公司对已经购买某险种的客户推荐其它保险产品和服务。这种策略成功的关键是要确保推销的保险险种是用户所感兴趣的，否则会造成用户的反感。
四、客户关系管理应用数据挖掘的步骤
1.需求分析
只有确定需求，才有分析和预测的目标，然后才能提取数据、选择方法，因此，需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测，还是其他应用。应对现有资源如已有的历史数据进行评估，确定是否能够通过数据挖掘技术来解决用户的需求，然后将进一步确定数据挖掘的目标和制定数据挖掘的计划。
2.建立数据库
这是数据挖掘中非常重要也非常复杂的一步。首先,要进行数据收集和集成，其次,要对数据进行描述和整合。数据主要有四个方面的来源：客户信息、客户行为、生产系统和其他相关数据。这些数据通过抽取、转换和装载，形成数据仓库，并通过OLAP和报表，将客户的整体行为结果分析等数据传递给数据库用户。
3.选择合适的数据挖掘工具
如果从上一步的分析中发现，所要解决的问题能用数据挖掘比较好地完成，那么需要做的第三步就是选择合适的数据挖掘技术与方法。将所要解决的问题转化成一系列数据挖掘的任务。数据挖掘主要有五种任务：分类，估值预测，关联规则，聚集，描述。前三种属于直接的数据挖掘。在直接数据挖掘中，目标是应用可得到的数据建立模型，用其它可得到的数据来描述感兴趣的变量。后两种属于间接数据挖掘。在间接数据挖掘中，没有单一的目标变量，目标是在所有变量中发现某些联系。
4.建立模型
建立模型是选择合适的方法和算法对数据进行分析，得到一个数据挖掘模型的过程。一个好的模型没必要与已有数据完全相符，但模型对未来的数据应有较好的预测。需要仔细考察不同的模型以判断哪个模型对所需解决的问题最有用。如决策树模型、聚类模型都是分类模型，它们将一个事件或对象归类。回归是通过具有已知值的变量来预测其它变量的值。时间序列是用变量过去的值来预测未来的值。这一步是数据挖掘的核心环节。建立模型是一个反复进行的过程，它需要不断地改进或更换算法以寻找对目标分析作用最明显的模型，最后得到一个最合理、最适用的模型。
5.模型评估
为了验证模型的有效性、可信性和可用性，从而选择最优的模型，需要对模型进行评估。我们可以将数据中的一部分用于模型评估，来测试模型的准确性，模型是否容易被理解模型的运行速度、输入结果的速度、实现代价、复杂度等。模型的建立和检验是一个反复的过程，通过这个阶段阶段的工作，能使数据以用户能理解的方式出现，直至找到最优或较优的模型。
6.部署和应用
将数据挖掘的知识归档和报告给需要的群体，根据数据挖掘发现的知识采取必要的行动，以及消除与先前知识可能存在的冲突，并将挖掘的知识应用于应用系统。在模型的应用过程中，也需要不断地对模型进行评估和检验，并做出适当的调整，以使模型适应不断变化的环境。
参考文献:
[1]罗纳德．S．史威福特．客户关系管理[M]．杨东龙译．北京：中国经济出版社，2002
[2]马刚:客户关系管理[M]大连：东北财经大学出版社，2008
[3]朱美珍:以数据挖掘提升客户关系管理[J]．高科技产业技术与创新管理，2006，（27）
[4]顾桂芳何世友:数据挖掘在客户关系管理中的应用研究[J].企业管理，2007，（7）
关键词：大数据 数据挖掘 互联网
中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2016）04-0000-00
20世纪80年代，计算机和互联网技术的发展使得数据量飞速增长，大数据是互联网技术发展到一定程度后必然出现的一种现象。
1数据挖掘的概念及功能
1.1 数据挖掘概念
数据挖掘是从大量的随机、模糊并带有噪声的数据集合中通过采用一定的算法对信息进行提取，发现规律和有用的价值信息的过程。一个完整的数据库挖掘系统主要包括了：数据库、数据库服务器、知识库、数据库挖掘引擎、模式评估模块、可视化用户界面。
1.2 数据挖掘方法和步骤
数据库挖掘的主要方法有基于遗传算法，粗集方法，决策树方法和神经网络方法。数据挖掘的一般步骤为：分析问题，判定源数据库是否满足数据挖掘的标准；提取、清洗和校验数据，去除数据中的噪声，得到数据完整、格式统一的数据；创建和调试模型，将选用的数据挖掘算法应用到数据中创建模型，通过数据来对模型进行校验和调整，得到满足使用要求的数据模型；维护数据挖掘模型，随着数据量的增加，需要对模型进行调整和维护，一些关键信息的改变有可能严重模型的精度，模型维护是数据挖掘的重要环节，通过模型维护可以保持模型的活力，不断完善模型。
1.3 数据挖掘的主要功能
数据挖掘的功能主要可以分为五大类：自动预测趋势和行为，关联分析，聚类分析，概念描述，偏差检测。采用数据挖掘技术在大型的数据库中寻找预测性信息，市场预测就是数据挖掘技术在自动预测趋势和行为方面的典型应用；关联分析是采用数据挖掘技术研究数据空中自变量和因变量之间的某种规律，找出数据库中存在的隐藏的关联网；聚类分析通过数据挖掘定义具有共同特征的子集，增强人们对于客观事实的理解和认识，数据挖掘技术避免了传统的模式识别和数学分类方法的片面性，是一个更加先进的聚类分析方法；概念描述建立在聚类分析的基础上，提取对象的特征，形成对概念的描述；偏差检测，数据库中的数据很可能存在着异常记录或者是数据噪声，通过偏差检测提出异常数据。
2数据挖掘技术的应用
数据挖掘技术已经应用在了各个行业中，数据量巨大的互联网行业、天文学、气象学、生物技术，以及医疗保健、银行、金融、零售等行业。通过数据挖掘技术将大数据融合在各种社会应用中，数据挖掘的结果参与到政府、企业、个人的决策中，发挥数据挖掘的社会价值，改变人们的生活方式，最大化数据挖掘的积极作用。以互联网行业为例，探究数据挖掘技术在社交网络中的应用。
互联网时代的信息爆炸给互联网用户的使用需求带来了一定的不便，用户如何快速获取有用信息，网站如何快速定位用户需求成为了研究课题。以社交网络为例，社区中的视频、音频、图片、文字等信息各式各样，每个人的兴趣、习惯不同，要得到的内容也不同。采用数据挖掘技术对社交网络数据分析，通过细分用户，挖掘不同用户的需求，开出出符合不同用户个性特征的服务和产品，满足WEB2.0时代对于网络个性化智能化的要求。
数据的采集和预处理是数据挖掘技术实现的前提，数据的预处理内容主要包括数据收集与录入、数据清洗与净化、用户识别、会话识别、文本提取。数据收集与预处理的系统结构图如图1所示。采集的数据一般会存放在数据库中，数据库中的数据具有组织性、结构性、易存取的特点，数据为了达到数据挖掘的要求还需要进行数据清洗、数据集成、数据转换和数据简化。
数据挖掘器的设计目的是对文本数据的内容进行分析与挖掘，提取能够代表和概括整个文本内容的标签。文本挖掘的步骤包括识别中文词，去除停用词，检测短语，检查同义词，创建单词向量。中文中字、句、段之间都有间隔，只有词之间没有，本文采用机械分词法进行识别处理，通过扫面句中字符串，将其余词典词语进行匹配，识别出词汇。去除停用词是将文本中常用的词汇去除，这些词汇在文本数据挖掘中属于无用词汇，去除后能够减小数据处理的复杂程度。检测短语和检测同义词的方法类似，都是通过类来实现，检测短语通过类PhrasesCache实现，检测同义词通过类SynonymousCache实现，通过词汇和记号词的匹配实现短语和同义词的识别。构建单词向量，通过单词向量来表示一个项目，单词向量是通过文本单词及其权重来构成的，通过单词检索可以得到用户想要获得的文档和信息。
3结语
本文主要分析了大数据的含义和特点，数据挖掘的概念和主要功能，着重探究了数据挖掘技术的主要应用，并结合数据挖掘技术在互联网社交网络中的应用进行了实例分析，通过数据挖掘技术更好的匹配用户想要得到的信息。
参考文献
[1]郭春.基于数据挖掘的网络入侵检测关键技术研究[D].北京邮电大学，2014.
[2]樊嘉麒.基于大数据的数据挖掘引擎[D].北京邮电大学，2015.
关键词：数据挖掘技术；气象数据；应用
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）09-0239-02
Abstract： along with our country social improvement， economic development，meteorological services in China has been developed greatly in the process.In the process of the development of meteorological services， meteorological data along with the increasing scale and coverage. In the face of this part of the huge data， how to effectively search， its use has become a problem of great concern to the industry of our country. In this paper， the application of data mining technology in meteorological data on the study and analysis of some.
Key words： data mining； meteorological data； application
对于气象数据的收集与分析有利于帮助我们对不同地区所具有的气象条件以及气象规律进行把握，以此使我们能够更好的对该地区某一时段下的气象情况进行预测。但是，这种数据的收集就会使我们所具有的气象数据资料越来越多，难以对其进行管理与应用。仅仅通过我们计算机方式的应用，也很难对这种规模较大的数据集进行处理，在这种情况下，就需要我们能够以数据挖掘技术的应用更好的实现气象数据的管理。
1 数据挖掘流程
1.1 确定对象
在开展数据挖掘工作中，首先需要对业务所具有的问题进行明确的定义，帮助我们对数据挖掘的目的进行确定。虽然对于我们后续数据的挖掘结果会具有一定的不可预测性，但是对于我们问题探索的目标却需要具有良好的预见性，并以此针对性目标的确定帮助我们更好的开展后续工作。
1.2 数据准备
在这个环节中，主要具有数据预处理、数据转换以及数据选择这三个主要步骤。其中，数据选择是对同本次业务具有关联的维度或者数据进行选择，并从中选择出适合本次数据挖掘工作的相关数据；数据预处理则是对本次研究数据所具有的质量进行研究，并以此帮助我们为后续的进一步分析作出准备，同时对数据操作所具有的类型进行确定；数据转换则是要将不同类型数据通过一定的方式将其转换为我们所需要的数据分析模型，对于该模型而言，其是针对我们原有挖掘算法而建立的，而这种分析模型的建立也是我们开展数据挖掘工作的重要基础与重点环节。
1.3 数据挖掘
数据挖掘正是我们本次工作的核心环节，需要对所有数据预处理完成的、经过转换的数据进行全面的挖掘。在此过程中，除了需要我们以人工的方式对适合本次挖掘工作所使用的算法进行选择之外，其余的工作都会以自动的方式开展。
1.4 结果解释与评价
在我们数据挖掘工作结束之后，往往会得到一系列规则集，而这部分规则集通常需要在专业人员对其进行一定的研究与合理的解释才能够被人们更好的掌握。对此，就需要我们对本次数据挖掘结果进行适当的解释与评价，进而使其能够具有更好的易用性以及广泛性。
2气象资料特点
2.1 数据量大
气象资料可以说是我国历史最为久远、保存最为系统且完善的一类资源信息。尤其随着改革开放之后，我国已经积累了数量非常多的气象基础数据以及信息，且新的气象数据资料也以非常快的速度在每年增长，在我们实际处理时经常会出现冗余情况。
2.2 多样性
气象信息具有着非常多样化的种类，如高空气象资料、农业气象资料、日地物理资料、雷达资料、气象辐射资料、冰雪圈资料、土壤与植被资料、气象灾害资料、地面气象资料、水文气象资料以及卫星资料等等。而气象资料所具有的载体也具有着很多种方式，如不同气象站所的气象原始报表，不同省市所的气象卫星云图以及雷达图等等。
2.3 多维性
在气象资料中，通常都具有着较多的气象要素，如高空资料以及地面资料往往具有着温度、日照以及气温等很多种要素。而在每一类要素中，也都具有着其所独特的属性维度。也正是根据这种特点，则使气象资料往往具有着较为明显的多为特征。
2.4 复杂性
气象资料中所常见的数据类型主要有标称类型、二元类型、数值类型以及序列类型等等。比如降雨与否为二元类型、气压为数值类型等等。
2.5 连续性
在气象站中，无论是高空站还是地面站，其所具有的气象要素属性值都是一种具有连续特征的数值，比如气压、温度以及气温要素。
3 气象资料预处理
3.1 缺失值处理
在SPSS软件中，具有着很多种对于数据的缺失值处理方式。而对于气象数据来说，由于其所具有的变化是一个能量的动态变化过程，对此，我们对于气象数据所具有的缺失值则使用Mean of nearby points方式进行，并对其中所具有的缺失值根据邻近三个小时所具有的数据平均值对缺失值进行替代。
3.2 气象资料属性泛化
在数据维度泛化方面，需要严格的按照我国相关标准开展工作，比如在二氧化硫数据的泛化方面，其是否存在超标情况则需要根据我国所制定的污染物浓度标准对其进行泛化。即如果CO2所执行的为一级标准，那么则可以根据其每小时所具有的浓度值同标准中的参考值0.15进行比对，并以此帮助我们判断该项参数是否存在超标的现象。而对于其所具有的超标、不超标现象来说，我们则需要在对结果判断之后将其标记为（是，否）二元属性值。
3.3 气象资料标准化
在气象数据资料中，不同维度间数据往往具有着不一致的量纲，而我们在对其开展定量量测以及聚类分析时，也经常由于量纲所具有的不同而对最终的分析结果产生较大的影响。一般情况下，气象资料中所具有的风向数值都会控制在0至360之间，而如果污染因子的单位为毫克，那么其所具有的范围则会在0至1之间，我们在对聚类进行应用时如果以距离作为评价，其主要依据则会在两个维度中更加倾向于风向维护。而为了能够对这部分维度间所具有的影响进行消除，就需要我们对这部分重点维度开展标准化预处理。在气象数据的标准化处理中，具有着很多种方式，Z标准化是我们应用较多的一类方式，即均值为0，方差为1。
3.4 气象资料维归约
在气象资料中有时候维度之间具有很强的依赖性或者说相关性，对于维度之间的这种依赖性或者相关性有时候在数据分析时候由于数据量巨大会导致多余的计算，所以对于一些需要把握主要的或者消除冗余的数据来进行数据分析时就可以采用主成分分析方法或者计算相关性来消除这些冗余的属性维度。
4 气象资料孤立点分析
在气象资料中的庞大数据中，我们在对其进行分析时往往忽略了孤立点的存在，或者忽略了孤立点所具有的特殊意义。通常来说，人们认为孤立点仅仅是噪声数据的一种，且经常将孤立点分析这项工作作为了数据预处理进行处理，仅仅对其中可能对数据挖掘整体结果产生影响的因素进行了剔除。但是，在气象数据中，这部分孤立点往往具有着非常特殊的意义，通过孤立点数据的分析与检测，很容易帮助我们对很多灾害气象进行分析。目前，对于孤立点进行分析的技术主要有以下几种：
4.1 基于统计方式
首先，需要假设我们所具有的数据集能够满足某一种概率的分布形式，之后再根据其所具有的这种独特概率对数据集进行拟合，并通过不一致检验方式的应用对其中很多个数据对象开展不一致性测试。如果经过测试发现其存在着不符合的情况，就可以认为其是一个孤立点。
4.2 基于距离方式
在该种方式中，我们可以将对于孤立点的分析视作邻居对象不充分的集合，且这种邻居对象也是根据对象所具有的距离进行定义的。通常来说，人们仅仅会通过DB（p，d）的应用对全局孤立点进行发现，而对于局部孤立点却很难判断。对此，我们则可以认为孤立点概念不需要以一分为二的属性对其分离，而可以通过对象孤立度的制定对其所具有的模糊度进行衡量。
4.3 基于密度方式
基于密度的孤立点分析就是探测局部密度，通过不同的密度估计策略来检查
孤立点。密度即指任一点和 p 距离小于给定半径 R 的领域空间数据点的个数。基于密度的孤立点分析最显著的特点就是给定了对象是孤立点程度的定量量度，并且是数据具有不同密度的区域也能得到很好的处理。基于密度的孤立点分析较基于距离的孤立点分析更合理，但数据的计算复杂度较基于距离的孤立点分析要高许多。
4.4 基于聚类方式
聚类分析是用来发现数据集中强相关联的对象组，而孤立点检测是发现不与其他对象组强关联的对象。因此，孤立点分析与聚类是两个相互对立的过程。首先聚类所有的对象，然后评估对象属于簇的程度，对于基原型的聚类，可以用对象到它的簇中心的距离来衡量对象属于簇的程度。
总得来说，数据挖掘技术在我国现今的气象数据处理中具有着较为重要的作用。在上文中，我们对于数据挖掘技术在气象数据中的应用进行了一定的研究，而在实际操作过程中，也需要我们在联系数据类别的基础上通过数据挖掘技术的应用获得更好的气象分析效果。
参考文献：
[1] 何永健， 曹芸， 黄勇. GIS气象数据的管理与表达方法[J]. 南京信息工程大学学报（自然科学版）， 2011（3）：232-237.
一、海量数据挖掘关键技术随时代而变化
所谓海量数据挖掘，是指应用一定的算法，从海量的数据中发现有用的信息和知识。海量数据挖掘关键技术主要包括海量数据存储、云计算、并行数据挖掘技术、面向数据挖掘的隐私保护技术和数据挖掘集成技术。
1.海量数据存储
海量存储系统的关键技术包括并行存储体系架构、高性能对象存储技术、并行I/O访问技术、海量存储系统高可用技术、嵌入式64位存储操作系统、数据保护与安全体系、绿色存储等。
海量数据存储系统为云计算、物联网等新一代高新技术产业提供核心的存储基础设施；为我国的一系列重大工程如平安工程等起到了核心支撑和保障作用；海量存储系统已经使用到石油、气象、金融、电信等国家重要行业与部门。发展具有自主知识产权、达到国际先进水平的海量数据存储系统不仅能够填补国内在高端数据存储系统领域的空白，而且可以满足国内许多重大行业快速增长的海量数据存储需要，并创造巨大的经济效益。
2.云计算
目前云计算的相关应用主要有云物联、云安全、云存储。云存储是在云计算(cloud computing)概念上延伸和发展出来的新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
3.并行数据挖掘技术
高效率的数据挖掘是人们所期望的，但当数据挖掘的对象是一个庞大的数据集或是许多广泛分布的数据源时，效率就成为数据挖掘的瓶颈。随着并行处理技术的快速发展，用并行处理的方法来提高数据挖掘效率的需求越来越大。
并行数据挖掘涉及到了一系列体系结构和算法方面的技术，如硬件平台的选择(共享内存的或者分布式的)、并行的策略(任务并行、数据并行或者任务并行与数据并行结合)、负载平衡的策略(静态负载平衡或者动态负载平衡)、数据划分的方式(横向的或者纵向的)等。处理并行数据挖掘的策略主要涉及三种算法：并行关联规则挖掘算法、并行聚类算法和并行分类算法。
4.面向数据挖掘的隐私保护技术
数据挖掘在产生财富的同时也随之出现了隐私泄露的问题。如何在防止隐私泄露的前提下进行数据挖掘，是信息化时代各行业现实迫切的需求。
基于隐私保护的数据挖掘是指采用数据扰乱、数据重构、密码学等技术手段，能够在保证足够精度和准确度的前提下，使数据挖掘者在不触及实际隐私数据的同时，仍能进行有效的挖掘工作。
受数据挖掘技术多样性的影响，隐私保护的数据挖掘方法呈现多样性。基于隐私保护的数据挖掘技术可从4个层面进行分类：从数据的分布情况，可以分为原始数据集中式和分布式两大类隐私保护技术；从原始数据的隐藏情况，可以分为对原始数据进行扰动、替换和匿名隐藏等隐私保护技术；从数据挖掘技术层面，可以分为针对分类挖掘、聚类挖掘、关联规则挖掘等隐私保护技术；从隐藏内容层面，可以分为原始数据隐藏、模式隐藏。
5.数据挖掘集成技术
数据挖掘体系框架由三部分组成：数据准备体系、建模与挖掘体系、结果解释与评价体系。其中最为核心的部分是建模与挖掘体系，它主要是根据挖掘主题和目标，通过挖掘算法和相关技术(如统计学、人工智能、数据库、相关软件技术等)，对数据进行分析，挖掘出数据之间内在的联系和潜在的规律。大体上，数据挖掘应用集成可分为几类：数据挖掘算法的集成、数据挖掘与数据库的集成、数据挖掘与数据仓库的集成、数据挖掘与相关软件技术的集成、数据挖掘与人工智能技术的集成等。
二、海量数据挖掘应用广泛但深度不足
2011年中国数据挖掘软件市场规模达接近2亿元，2012-2014年还将快速增长。从数据挖掘应用行业上看，国内大多数的用户都来自电信、银行、保险、税务、政府等领域。应用主题主要包含：消费者行为分析、信用评分与风险管理、欺诈行为侦测、购物篮分析等方面。目前，国内数据挖掘应用仍停留在初级阶段，行业企业大规模的运用数据挖掘技术尚需时日。
1.国内数据挖掘应用可分为3个层次
从数据挖掘应用层次上看，大体可以分为三个层次：第一层次是把挖掘工具当作单独的工具来用，不用专门建设系统；第二层次则是把数据挖掘模块嵌入到系统中，成为部门级应用；第三层次是企业级应用，相当于把挖掘系统作为整个企业运营的中央处理器。目前，国内的数据挖掘应用的企业基本处于第一层次，偶尔某些企业用户能够做到第二层次。
2.国内有代表性的数据挖掘行业应用情况简评
(1)通信业：国内应用数据挖掘的企业还是以通信企业(移动、联通、电信)为首，应用的深度和广度都处于领先地位。
(2)互联网企业：随着电子商务的普及，各大商务网站已经大规模使用数据挖掘技术，并且迅速从中取得商业价值。例如，国内很多网上商城已经开始使用数据挖掘技术进行客户聚类或者商品关联推广。另外，搜索引擎企业使用数据挖掘技术的需求也非常迫切。
(3)政府部门：我国政府部门中使用数据挖掘技术比较领先的是税务系统。数据挖掘在电子政务中的应用，更多的涉及到报表填制、数据统计。
(4)国内金融行业：操作型数据挖掘应用在国内金融行业应用广泛，尤其是信贷评审领域。中小型银行数据挖掘需求将是未来金融行业数据挖掘市场的主要增长点。未来5年时间里，数据挖掘应用在金融行业仍将高速发展。
关键词：大数据 数据挖掘 数据分析
中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2015）11-0000-00
随着我国网络技术的快速发展，大数据挖掘技术越来越成为影响影响网络信息发展的重要因素，而大数据挖掘技术的主要内容以及经常采用的主要方法直接影响了我国未来网络技术的发展方向。因此，这一技术的发展直接影响了网络的发展。本文从大数据挖掘技术的角度出发，研究大数据挖掘技术的应用情况。
1大数据挖掘技术的概念分析
大数据挖掘及时是KDD的一个重要的过程，这种技术是从许多数据中还有一些不完整的应用中，以及一些比较纯净的应用或者是模糊不清的应用中随机抽取出来的。这些抽取出来的数据都是潜在存在的，但是不为人所发现的信息内容。那么什么叫做KDD（Knowledge Discovery In Database）呢？KDD是发现知识的一个过程。
通常情况下，大数据挖掘系统主要包含七方面的内容：用户图形界面接口、模式评估、数据挖掘引擎、数据库或数据仓库服务器、数据基地、数据仓库以及知识储备库（如图1所示）。由图1可知，数据库还有数据仓库服务器有大量的信息和数据，这些数据对很多用户都有着吸引力。图1中的知识储存库是一个简单的应用，用这个知识储存库来进行知识的探索和评价，从而确定总体的模式是不是有意义。数据挖掘引擎是整个大数据挖掘系统中十分重要的组成内容。它能够对数据的特征、关联、类别、价值等进行分类。模式评估的主要功能是在对数据进行评价的同时还要和大数据挖掘技术相互联系，从而把大数据挖掘的技术全面的应用到系统中。模型的进口是用户图形界面的接口。能够方便使用者使用这一模型。并且利用大数据挖掘技术进行信息的查询和分析。
2大数据挖掘技术的应用与挑战
2.1挖掘对象
大数据的挖掘技术面对的主要对象为大的数据库。这样一来能够有效的进行信息的搜索和查询。
2.2大数据挖掘技术体现形式局限性
当前，大数据挖掘技术在处理数据以及信息的时候所使用的方法比较有限，具有一定的局限性。通常情况下，这种技术能够分析数值型的数据，数据内容比较简单，可是仍然不能够对文本文件、公式、图片等这种没有结构或者是无结构的数据形式开展数据挖掘的工作。
2.3使用人员参加的过程和相关领域的信息
通常情况下，大数据挖掘技术的过程常常要进行信息和数据的交流。当前，所实用的数据挖掘系统很难让使用者参与到信息以及数据的筛选过程中。使用人员自身的知识能力以及经验对挖掘的开展速度有着直接的影响。而且能够顺利的获取大量的利用度十分高的数据信息等。
2.4进行知识的表现和内容的解析
很多应用程序中主要的内容都是用户自己发现并分析出来的知识。这就需要大数据技术在挖掘信息的时候不但要有分析数字还有符号的能力还需要对图片、语言等理解分析的技术。
2.5帮助保护知识内容和信息的更新换代
伴随着知识量的增多，以往旧的知识会逐渐的失去自己的作用，被新的知识内容所取代。所以知识需要不断的保护和进行及时的更新换代。当前采取的主要更新知识的方法包括维护关联规则的增量算法等。
2.6支持局限性的系统发展
当前的大数据挖掘系统还不能够在广大的系统平台上进行推广使用。一些应用程序是应用在PC上面的，还有一些应用是针对大型的主机系统中的。除此之外，还有一些是专门针对用户的。
3结语
数据挖掘技术是近几年新产生的网络技术，可是它的广泛应用性受到了很多公司以及研究人员的喜爱。这些年来，伴随着时间的推移以及网络技术的不断发展大数据挖掘技术不断的被更新，开发，而且在金融、管理、教学等行业中都得到了广泛的应用。我相信随着网络技术的不断发展，大数据挖掘技术的应用面将会越来越广。
参考文献
[1]吕竹筠，张兴旺，李晨晖 等.信息资源管理与云服务融合的内涵即共性技术体系研究[J].情报理论与实践，2012，35（09）：26-32.
[2]《中国电子科学研究院学报》编辑部.大数据时代[J].中国电子科技研究院学报，2013（01）：41-43.
[3]淮晓永，熊范伦，赵星.一种基于粗集理论的增量式分类规则知识挖掘方法.南京大学学报（自然科学版，计算机专辑），2000，（11）：203～209.
[4]方开泰.实用多元统计分析[M].上海：华东师范大学出版社，1992：189～193.
【关键词】数据挖掘 计算机 数据
1 关于数据挖掘技术
数据挖掘技术是20世纪80年代诞生的一门新兴学科。对数据挖掘技术从技术的角度来看，顾名思义就是从大量的、复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有察觉的、有潜在价值的信息和知识的过程。而从商业角度来看，数据挖掘技术就是从海量的数据库当中进行抽取、转换、分析一些潜在规律和价值，从而获得辅助商业决策的关键信息和有用的知识的过程。
计算机的数据挖掘技术对于海量的数据可以起着整理的作用，不仅对于企事业的工作生产起着巨大的作用，同时对于学校的校园生活也提供了很好的帮助，除此，计算机的数据挖掘技术还应用在许许多多的不同领域当中。
2 数据挖掘的基本流程
2.1 数据准备阶段
由于海量的原始数据是长期的、无规律积累的结果，而且这些原始的数据是不适合进行数据挖掘的，因此必须要进行预处理的过程，在海量的原始数据中进行数据的选择、清洗、推测、转换等相关的操作，在进行数据准备阶段的时候，一般分为三个子步骤，既是：数据集成，就是从多个数据源中来提取整合的数据，并对这些数据进行处理；数据收集，就是根据要挖掘数据的目的来对数据进行缩小范围的操作，从而提高挖掘的数据的质量；数据预处理，就是对已经挖掘的数据做进一步的准备和分析，来确定进行挖掘的类型。这一系列的过程就被称之为数据准备阶段，数据准备的好与坏是直接决定数据挖掘的质量和效率的。
2.2 数据挖掘阶段
当原始数据进行相应的处理之后，就进入相当关键的阶段，按照数据挖掘的目标要求，来选择恰当的算法，挖掘数据的规律，一般来说，常用的算法主要包括决策树、分类、神经网络等，具体操作就是进行算法的选择和参数的确定，不断反复的进行重复的操作，直到对挖掘的数据满意之后，此过程被称之为数据挖掘阶段。
2.3 数据的评价分析及知识运用
对进行数据挖掘之后的结果进行解释、分析，来提取有意义的或者是有使用价值的规律，将这些数据进行还原的操作，使之成为能够被用户所谓理解的数据语言。将挖掘到的评估结果在现实的决策中进行运用，就是所说的知识运用，这样是一个非常重要的过程，是数据挖掘的最终实现的目的。
3 数据挖掘技术的应用
计算机数据挖掘技术作为一门新兴的学科，是顺应时展的潮流的，自从此项技术诞生以后，就备受瞩目，由于自身的特点也受到广大用户的亲睐，因此，在许多的行业范围之内，计算机数据挖掘技术也得到了充分的发挥和使用。
3.1 在金融领域的应用
金融领域所涉及的层面较为广泛，包括诸如银行、金融机构、金融分析领域等不同的方面，对于这些海量的数据来说，对金融的投资方面的风险和股票交易的方面的预测，则更是让投资者和决策者大伤脑筋，这就要求大家对如此的海量进行判断，而如果通过个人的经验进行判断的话，可能容易导致错误的发生，在这时，计算机的数据挖掘技术就恰恰迎合了用户的心理，可以通过此项技术在海量的信息当中提取自己所需的各种信息，以及信息之间的关联和关系，对风险进行规避，对股票进行很好的预测。
3.2 在教育领域的应用
教育信息化不断的发展，已经成为近几年教育培养的新趋势。学校已经摒弃了较为传统的时间空间比较固定的教育模式，而是开始了学生、教师、学校三者之间的较为繁杂多样的交流方式，数据挖掘技术也为教育领域开辟了新思路。比如在学校中的学生信息的管理系统、教师的教务管理系统、选课系统等都体现了数据挖掘技术的优势。此外，还包括学生在校园中的图书馆借阅的功能、饭卡充值等一卡化的功能，也离不开计算机数据挖掘技术的应用。因此，计算机的数据挖掘技术也很大程度的辅助了信息化教学的持续发展。
3.3 在电子商务领域的应用
电子商务已经成为计算机用户每天必不可少的一个环节，尤其对于年轻人而言，很多用户每天浏览于各个电子商务网站，同时企业又很期望自己的网站或者是产品能够被更多的用户所浏览和点击，从而来完成订单的操作，获得利润。那这时，计算机的数据挖掘技术便起了巨大的作用，用户或者企业可以通过此技术对一些的数据进行归纳汇总、分析、判断，最终得以整合，使得用户可以选到满意的产品，同时，企业也可以在众多的竞争对手中处于不败之地。
3.4 在军事领域的应用
随着信息化和科技化的不断加强，军事领域的任务也不单单是传统的关注了，更多的需要进行新兴的媒体技术对存在的数据进行收集、分析、整理，这样，既可以掌握自己的军事实力，同时，又能有效的去了解和监管其他方面的军事情况。事实上，在当今的形势之下，任何一个国家，都非常的重视数据挖掘技术对所需信息的使用，同时，也需要大量的计算机能力很强的人才，爱国敬业，计算机挖掘技术在军事领域的应用是绝对不可小觑的。
4 结语
总之，随着数据挖掘技术的不断发展，许多的人们也越来越认可数据挖掘技术的重要性，对信息的价值性越来越重视，因此，如何从大量的数据中去挖掘出自己日常所需的数据知识已经日益重要。同时，计算机的数据挖掘技术已经广泛的被应用到各个领域当中，充分发挥着作用。
参考文献
[1]赵杨杰，王树斌.数据挖掘技术的前景探究[J].科技创新导报，2014（15）.
[2]许芳芳，丁雷道.浅谈数据挖掘技术及其相关问题解析[J].数字技术与应用，2014.（04）.
[3]林敏.数据挖掘技术及应用浅析[J].无线互联科技， 2014.（03）.
【关键词】软件工程;数据挖掘技术;应用
一、数据挖掘技术概述
从当前大量的数据中搜索与寻找自己想要的数据信息的过程被称为数据挖掘，将验证驱动法作用于数据中，对数据进行验证驱动时可以认为相关信息是存在的，之后再进行收集数据，并且对数据具体情况作出分析，证明相关信息的真实存在。目前无论是在民众的日常生活还是在各大企业中，数据都是繁多且庞杂的，如果只有验证驱动法无法对全部数据进行挖掘。能够实现对大量数据进行挑选的只有发现驱动法，而且这一方法能够对数据的内部信息进行筛选，在对数据进行挖掘时，对有效信息的收集对于优化自身产品属性具有很大的帮助，因此在进行数据收集时要注意各类标准，数据挖掘技术有以下几种分类，聚类技术、关联技术、人工神经网络等几种，多维度、高耦合是其中的主要特点。
二、数据挖掘技术具体步骤
如图所示，数据挖掘技术首先需要对数据进行挑选，之后再进行预处理，最后在对数据机型挖掘与吸收。实现需要以下几个进程，首先需要对产品进行评估，在生产软件的过程中，对各类资源的自身属性进行检查，同时对未知属性进行定义，在评估工作完成后，对产品的各个属性进行检测；其次需要对各个属性之间进行关联，如果某一内容中的各个属性能够实现相互关联并且相互依存，那么就要寻找出他们之间存在的关联点；再次，将软件中拥有不同属性的各个群体归于拥有相同属性的集合内，这一步骤被称为聚合；最后，对数据进行可视化处理，这一进程就是将复杂的数据信息利用可视化的方法展现出来，利用这一进行还能够对各类数据进行检验与分析。在软件工程进行的数据挖掘与在一般工程中进行的数据挖掘之间区别实际上不大，预处理、数据挖掘以及结果评估是数据挖掘的主要步骤，具体流程如下图，预处理指的是将数据转化为能够进行数据挖掘的状态，这其中与各种数据的格式与来源相关，将很多数据转化为格式化数据之后，对它的特征进行记录。在大量数据信息中寻找出具有规律性的信息是数据挖掘这一技术的本质，人们对于一些信息也能通过数据挖掘的形式去理解。
三、软件工程中数据挖掘的应用方式
1、检查漏洞。使用数据挖掘技术在软件工程中对漏洞进行检查，能够对软件工程中存在的问题进行及时的处理与解决，保证软件具有的质量与作用，首先需要对软件进行系统的查看，之后将具有漏洞的数据进行整合处理，清理多余的数据并且对其中缺失、客户要求进行弥补，让数值作为数据属性的体现，并且要注重数据模型的建立，在建立数据模型时需要重视数据属性与产品之间的相关联系，选择合理的数据挖掘方式。2、版本信息。在这一类应用中需要保证项目参与者的相关档案是相同的，对于信息以及系统的更新也较为方便，利用版本信息来对开发软件以及系统管理进行控制是一件很正常的事情，利用不同的版本信息获取到自己想要的资源、信息，而且能够对其中漏洞进行检查。数据挖掘在软件工程中的应用不断加深，这样的应用可以加强对系统的把控，进行更加良好的软件开发。3、执行记录。它能够对程序的执行路径进行分析处理，在程序中寻找与之相关的代码关系，对相关执行路径利用数据挖掘技术进行跟踪，这样既能够对程序进行检验与跟踪，又能够达到对数据进行挖掘的目标。利用相关系统进行编程，并且对相关信息进行整理。4、开源软件。与开源软件相关的数据挖掘环境需要有全面性与开放性，开发时间长，功能完全的开发软件对于自身在开发中出现的错误能够进行详细的记录，对于软件的具体应用情况也能够有一个充分的了解，这一特性也会让开发软件的工作人员逐渐发生转变，在软件工程中也需要加强对开源项目的相关管理。
结语
软件开发自身是一个较为复杂的过程，数据挖掘技术是其中非常好的应用方式，软件开发商应重视这点，加强对数据挖掘技术的应用，保证数据挖掘技术能够给软件工程带来更多，更好的作用，体现出数据挖掘技术自身的价值。
参考文献
[1]罗韬,罗峰.数据挖掘在软件工程领域中的应用浅析[J].电子技术与软件工程,2014,(1):166-167
[2]谭薇.刍议软件工程中数据挖掘技术的实践运用[J].科技创新与应用,2016,(30):32-33
关键词：数据挖掘技术；水利工程管理；应用分析
中图分类号：TV512文献标识码：A文章编号：1673-0038（2015）52-0287-02
水利工程在现代社会中的重要性是不言而喻，但是做好水利工程的管理工作对于保证水利工程施工质量以及达到预期效果方面均发挥着重要作用。在几十年间，我国的水利工程网正在不断的扩大，而且具备功能多样性，除了防涝、灌溉、发电之外，还具有养殖、旅游、种植等重要作用。要保证这些水利工程长期的发挥作用，就需要掌握一种现代化的管理方法，本文主要就数据挖掘技术在水利工程管理中的应用进行分析。
1数据挖掘技术概述
数据挖掘技术指的是从大量的、有噪声的、随机性的以及模糊的数据中经过分析之后提取出来的具有重要潜在应用价值的数据。通过长时间的数据分析，可从中找出重要的数据，进而为后期的生产管理工作提供一定的参考。
2数据挖掘技术常用方法分析
数据挖掘技术在运用过程中只有掌握了一定的数据挖掘技术，才能从大量的数据中挖掘出有潜在价值的数据信息。常用的数据挖掘技术方法主要有以下几点：①数据的分类与整合方法，面对大量的数据，只有根据数据的特点进行有效的分类整合，这样对于同一条件或者具有相同规律的数据就会集中在一起，而对于没有规律的数据将其单独进行分类整合，当所有的数据均有对应的分类之后，在使用数据进行分析的时候就不会具有盲目性，同时提高数据挖掘速度；②从关联性角度出现进行数据挖掘，面对大量的数据，只有对个别数据进行分析，找出数据之间的关联性，才能根据这种关联性更好地去进行数据分析处理，提高数据处理水平；③结合数据的预见性实施挖掘，许多数据会随着事物的发展，呈现出一定的规律，在挖掘数据的时候可根据这种规律，对某些数据实施预测，根据自己预测的数据从大量数据中寻找与之接近的数据，完成数据挖掘；④对于部分数据其实际值与统计值之间存在有偏差，根据这种偏差去对某些数据进行挖掘，从而挖据出关键性的数据。
3水利工程管理中数据挖掘技术的实际应用
水利工程管理中涉及到的数据较多，除了水利工程本身的一些数据之外，对于影响水利工程的相关因素同样具有较多的数据，比如：气象数据库、水旱灾情数据、某一地区在近年来的降雨量数据等。这样就造成了在水利工程管理中不仅涉及的数据种类多，同时在数据类型上也存在着一定的差异性，上面虽然介绍了数据挖掘的常用方法，但是要在实际应用中去操作还是具有一定的难度。下面就针对水利工程管理中的数据挖掘技术要点进行分析：
3.1数据挖掘中重视GIS系统的应用
水利工程管理受到外界因素影响较大，通常的地形、河流、地质、水文条件以及经济因素等均会对水利工程管理造成较大影响。GIS系统在空间信息的运用处理以及分析方面有着重要的应用价值，所以在水利工程大数据挖掘过程中借助GIS系统的帮助，可为数据的挖掘提供一定的指导，同时还可以将GIS系统与数据挖掘技术相结合，这样不仅有利于GIS数据处理能力的提高，同时对于水利工程管理同样发挥着重要作用。
3.2数据挖掘过程中进行嵌入式耦合
GIS系统在空间信息处理和分析方面能力较强，如果有效地将数据挖掘技术与GIS系统进行有效地耦合，也就是将挖掘的数据系统溶入到GIS系统中，这样形成的一个综合系统不仅包括了GIS系统，同时也包括了数据挖掘技术。采用这样的嵌入式耦合，可将大量的空间数据借助GIS系统完成相关的分析处理，降低了在挖掘数据过程中的工作量，同时对于数据处理的难度也会相应降低，当然这种嵌入式的耦合并非是完美的，通过耦合之后数据挖掘技术知识嵌入到了某一特定的GIS系统中，对于其它的GIS系统则不具备数据挖掘能力，而且在嵌入式的过程中并不能满足所有用户的需求。
3.3数据挖掘中重视松散式耦合
松散式耦合是一种特殊的GIS系统与数据挖掘技术的耦合方法，也就是GIS系统和数据挖掘技术之间有一定的关联，同时彼此又是相互独立的。数据挖掘系统从GIS系统中获取大量的属性数据以及空间数据。这些获取的数据经过冲洗、过滤以及变换之后就会自动的在数据挖掘系统中进行保存，而之后数据挖掘系统进行的相关处理就不在依靠GIS系统。通过这种松散式耦合形成的数据挖掘系统相对而言适用范围较广，具有一定的普遍适用性。不过这种松散式系统相对开发难度较大，对于专业的技术要求较高。
4结束语
水利工程管理过程中主要涉及到运用、操作、维修以及保护工作，也是实现水利工程建设价值的关键，传统的一些管理方法已经逐渐的不能满足现代管理需要，通过大数据挖掘技术可从与水利工程相关的大量数据中搜集出潜在的重要数据，从而提高水利工程管理水平。
参考文献
[1]戴元将，祁智，陈爱鑫.数据挖掘技术在水利工程管理中的应用研究[J].经营管理者，2014（13）.
[2]韩红旗.数据挖掘技术在水利工程管理中的应用研究[J].中国管理信息化，2010（04）.
[3]侯召成，曹明亮，张弛，殷峻暹.流域水文数据挖掘体系研究[J].南水北调与水利科技，2010（01）.
