时间:2023-07-10 16:29:51
引言:易发表网凭借丰富的文秘实践,为您精心挑选了九篇数据分析设计范例。如需获取更多原创内容,可随时联系我们的客服老师。

关键词:习题设计;发展 ;数据分析观念
【中图分类号】G 【文献标识码】B 【文章编号】1008-1216(2016)12C-0029-02
简单的数据统计重在让学生经历数据的收集、整理和分析过程,掌握一些简单的数据处理技能,感受数据蕴含着的信息,培养初步的数据分析观念。在课堂教学中,这一核心知识受到教师的足够重视,然而我们的课堂时间有限,仅仅依靠教材提供的有限的统计活动还不足以发展学生的数据分析观念。如果能够依托统计教学的核心,灵活设计习题,从不同侧重点进行有针对性的训练,有意识地让学生运用数据分析解决问题,将能发展学生的数据分析观念,使习题成为教材的有益补充。
一、丰富统计素材,主动收集整理数据
培养数据分析观念的首要方面是引导学生有意识地从数据的角度思考有关问题,就是遇到有关问题时能够想到通过设计简单的数据收集计划收集所需数据,解决所求问题,从而体会到数据是有用的,数据中蕴含着我们想要的信息。教师在进行练习设计时,要考虑不同年龄学生生活经验和认知水平的差异,赋予习题鲜活的背景,激励学生主动收集整理数据。
在学习了简单的统计图表之后,我设计如下统计练习:
夏天到了,吃冰激凌成为很多孩子的爱好,学校门前的张老板想通过一个调查来了解哪种口味的冰激凌在我们学校最流行。
(1)小组讨论:要完成这项任务,你们需要做哪些工作?请在下面的表格中,圈出需要的选项。
1 确定调查时间,设计调查用的统计表。
2 以小组为单位,每班随机抽取15名学生,对他们最喜欢的冰激凌进行调查统计。
3 以小组为单位,对我校学生的年龄进行调查统计。
4 汇总统计表,绘制条形统计图。
(2)小组合理分工,展开调查统计。
(3)根据分析结果给张老板提出一些建议。对爱吃冰激凌的同学又会提出什么建议?
吃冰激凌是孩子们的最爱,与学生的生活密切相关,很容易引起他们的共鸣。学生意识到要想帮张老板解决这一问题,调查收集数据是必需的,有用的,激发学生热情投身学习活动。真实的统计数据,会帮助张老板解决现实的问题。而对爱吃冰激凌的同学提建议,又有意识地对学生进行健康常识教育。由扶到放的习题设计,帮助学生逐步提高开展实际调查的能力。
二、精心设计问题提高分析数据信息能力
从不同角度分析数据,以便从数据中获得尽可能多的信息,并发现蕴含其中的一些规律,是数据分析观念的基本内涵之一。练习中通过精心设计问题串,引导学生从不同角度理解和分析数据信息,感受数据分析方法的多样性,并为发现和提出更有意义的问题提供机会。
小明家每两个月交一次水费,每次用水的吨数如下表:
月份 1~2月 3~4月 5~6月 7~8月 9~10月 11~12月
用水量(吨) 8 5 6 16 7 6
根据上表回答以下问题:
(1)从上表中知道,用水量最多的是哪两个月份?最少呢?分别占全年总用水量的百分之几?
(2)全年平均每个月用水多少吨?
(3)根据生活常识,你能解释一下为什么7~8月份的用水量最多吗?
(4)如果想说明7~8月份的用水量比全年的1/4还多,选( )统计图表示最容易使人明白。
本题中前两题从一组数据的极值入手,大致了解数据的分布范围,对于家庭用水量有个初步了解。然后通过计算解决其中一个月份与全年之间的关系,并通过平均数分析用水情况,对于出现的极端情况,尝试利用生活常识进行解释,使学生体会极端数据出现的原因,最后通过选择统计图,加深对各种统计图的特征的把握,进一步增强学生根据解决问题需要灵活选择统计图分析数据的能力。
三、连贯使用数据提高收集整理数据意识
对于同样的数据,由于背景和目标不同可以有多种分析的方法,需要根据问题背景选择合适的方法。每年学校都会组织学生进行体检,我将学生的身高情况及时收集,保存。在解决“ 铁道部门规定,儿童身高在120厘米以下乘火车免票,120~150厘米之间享受半价。我们班有多少人乘火车可以享受免票?有多少人需要购买全价票?”这一习题时,我组织学生讨论并形成一些可行的收集学生身高的方法,将最近学生体检的身高数据及时呈现在大屏幕上,学生感到非常惊讶,感到老师真是个有心人,根据提供的数据学生很快列表整理信息,顺利解决问题,老师这种收集和整理重要数据的习惯,使学生也受到潜移默化的影响。这时,我进一步追问,看到这些身高的数据,它们还能帮助我们解决什么问题。学生想到可以了解自己身高在班级处于什么情况,学校可以根据身高给我们定做课桌椅,可以定做校服……这时我又呈现,定做校服时大号、中号、小号和特号相关的身高要求,然后让学生根据需要重新对刚才的数据进行分组整理。通过变换问题情境,使学生体验到同一数据由于要解决的问题不同,整理、分析的方法往往会不同。
到了五年级学习了折线统计图,我再一次将学生身高情况呈现给学生,不同的是这次我将每个同学1~5年级的身高情况都呈现出来,学生感到非常兴奋,“你能将自己这5年的身高情况绘制成折线统计图吗?”,学生绘制非常用心,在组内交流近5年身高增长情况时更是积极主动,分析得头头是道。这时我又引导学生根据自己身高增长情况对六年级的身高进行预测,并学习老师,做一个“数据收藏家”,记住自己的身高,到时看看自己预测得准不准。
等到六年级复习时,我再次呈现,学生将六年来的身高增长情况绘制完整,并检验自己的预测,同时对自己15岁时的身高情况再次进行预测,此时,给学生增加了我市近年来男、女生平均身高增长统计图,发现男女生13~15岁身高增长的一些规律,很多同学又调整了预测。同样的身高数据由于解决的问题不同,分析方法大不相同,对数据进行横向及纵向的比较,会使我们的判断和预测更准一些。
四、巧设矛盾冲突促进动手实验能力提升
游戏是激发学生主动参与统计活动的很好方式,在游戏实验活动中通过数据体会概率事件的随机性,在教学可能性时,我设计这样一题:
小明和小军两人玩游戏,袋子里放有2个和1个,每次任意从中摸出两个图形,摸完后放回,如果摸到的两个图形能拼成平行四边形为小明赢,如果能拼成小房子图形,则是小军赢。你认为这样的游戏公平吗?同桌的同学玩一玩,看看拼成哪种图形的人赢的次数多?想想为什么?
游戏中的三个图形中有两个是相同的,任意从中摸两个,结果只有2种情况,学生很容易认为游戏是公平的,实际上两种情况出现的可能性大小不同,极易引发学生争辩,促使学生主动通过实验活动求证结论。动手实验正是学生体会随机现象的最佳路径,通过学生的实验,认识到游戏的设计是不公平的,与原有猜测产生冲突,学生急于一探究竟,发现小军赢的可能性会大一些。当然,游戏试验中,也会出现拼成平行四边形的次数等于或超过小军的现象,这一非常规情形的出现也是体会随机现象的重要资源,使学生深刻体会小军赢的可能性大一些,游戏是不公平的,但是小军不会一定赢,更有利于学生感悟随机现象的特点。
五、适度综合运用,全面感受分析数据的意义
统计与概率的内容和其他数学领域的内容有着紧密的联系。这部分课程的教学,应为发展和运用比、分数、百分数、度量、图像等概念提供活动背景,为培养学生综合运用知识解决问题能力提供机会。
王阿姨在汽车销售公司上班,工资由基本工资和销售奖金组成,即每销售1辆汽车给予一定数量的奖金。下表显示王阿姨今年3~6月份销售汽车的辆数与工资情况:
销售汽车辆数 8 10 11 12
月工资(元) 3000 3300 3450 3600
根据上表提供的信息你能算出王阿姨的基本工资是多少,每销售1辆汽车的奖金是多少元吗?
本题紧密联系社会生活实际问题,学生需要在认真理解题意的基础上,借助计算分析题中的数量关系,发现不同信息之间的联系,从而得出正确的计算方法,提升学生数据分析能力,在综合解决问题的过程中全面感受分析数据的意义。
关键词:数据分析系统;交互界面;MFC;串口通信;USB通信
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2013)12-2798-04
目前在激光准直、测角、自动跟踪等精密光电检测系统中,探测目标位置的连续变化已经变得非常重要。位置敏感探测器(Position Sensitive Detector,PSD)是对入射到光敏面上的光斑能量中心位置敏感的光电感应器件,可以利用少数几个输出光电信号的相对程度来计算位置信息。由其构成的数据分析系统具有位置分辨率高、响应速度快等特点[1];四象限探测器(Four-Quadrant photodetector,QPD)通过比较四个象限的电流来确定光斑中心在二维平面上的位置坐标,其数据分析系统可以探测目标位置的连续变化,具有位置分辨率高、响应速度快、调节方便等特点[2-3]。该文在对光电位置敏感器件构成的数据分析系统研究的基础上,开发了一套上位机软件界面。该上位机软件交互界面设计了供用户选择位置敏感器件型号及输入系统修正参数的窗口,通过对串口通信和USB通信方法的研究,设置了上下位机通信控制部分,同时,设计了光斑中心位置数据文本直观显示、模拟坐标绘制、历史信息保存模块,及设备状态显示模块。软件功能全面、界面友好、操作直观、方便,且适用于其他型号的位置敏感器件数据分析系统中。
1 开发工具简介
Visual C++ 6.0拥有强大的功能和友好的界面,能为用户提供一个良好的可视化开发环境,它将程序和资源的编辑、编译、调试和运行融为一体,且提供了大量的程序开发工具。MFC是它一个庞大的类库,实现了标准的用户接口,提供了管理窗口、菜单、对话框的代码,可实现基本的输入/输出和数据存储,为用户开发Windows应用程序建立了一个非常灵活的应用程序框架[4]。
在MFC中对消息的处理利用了消息映射的方法,该方法的基础是宏定义实现,通过宏定义将消息分派到不同的成员函数进行处理。因此,在这种机制的支持下,MFC具有强大的消息处理能力[5]。
借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制,可以很便捷地开发上位机软件交互界面。
2 交互界面设计
上位机软件交互界面包括供用户选择位置敏感器件型号及输入相应修正参数的窗口部分,上下位机通信控制部分,数据/设备状态显示部分。
2.1 供用户选择输入的窗口设计
利用下拉式列表框控件提供供用户选择位置敏感器件型号的窗口。通过给其连接变量m_Type,利用m_Type.AddString()函数为列表框添加选项,m_Type.SelectString(-1, "HY1315(Active area 1.3*15mm)")函数添加默认选项。软件通过m_Type. GetCurSel()函数获得用户的选择,完成相应量程及坐标轴范围的改变及显示。利用编辑框控件提供用户输入增益及修正系数的窗口,以完善数据处理[6]。
2.2 上下位机通信控制模块设计
上下位机通信控制模块是数据分析系统实时数据采集的核心部分。设计中采用了串口通信和USB通信两种方式进行数据采集与传输。其中,串口通信用于测试,USB通信用于实际数据传输。
图1 USB通信流程图
2.2.1 串口通信控制部分
利用单选按钮控件提供串口号选择窗口,通过函数GetCheckedRadioButton()获取串口号。通过按钮控制串口设备的状态,按钮交互的实现,通过MFC类向导对按钮按下时,触发消息BN_CLICKED进行拦截,并重写对应的消息处理函数On*Button(),在函数中完成相应按钮的功能。串口控制区中,“Open”、“Close”按钮对应的函数在获取用户选择的串口号后,分别完成对应串口的打开及关闭功能;“Start”、“Stop”按钮通过控制参数m_SPStop控制串口通信的开始与否。借助串口类成员函数OnComm()实现接收字符及相应数据处理的功能[7]。
2.2.2 USB通信控制部分
USB通信接口具有即插即用的特点,方便与微处理器进行联机通信,同时USB的通信效率要远远高于RS232、RS485等通信接口。USB通信控制部分通过按钮控制数据传输,根据用户选定的位置敏感器件型号,进行相应的数据处理。通信程序流程图如图1所示。
“Link”按钮通过标志位m_OpenFlag控制设备是否连接。“Start”和“Stop”按钮通过标志位m_stop控制数据接收与否。“Suspand”按钮通过参数m_pause控制数据传输的暂停和继续,当按下该按钮时,按钮改变为“Continue”字样,同时通过调用Invalidate()函数使整个客户区无效,这时Windows会在应用程序的消息队列中放置WM_PAINT消息,MFC为窗口类提供了其消息处理函数OnPaint();当再次按下该按钮时,OnPaint()函数负责重绘窗口,从而重新进行数据传输。
上下位机的数据通信通过直接调用CH375DLL.dll动态链接库实现。CH372是一款USB总线的通用设备接口芯片,是芯片CH375的功能简化版,硬件成本更低,且完全兼容CH375,可以直接使用其WDM驱动程序和动态链接库。CH372在计算机端提供了应用层接口,即由动态链接库DLL提供的面向功能应用的API,包括:设备管理API、数据传输API及中断处理API。设备管理API包含了打开设备函数CH375OpenDevice(),关闭设备函数CH375CloseDevice();数据传输API包含了读取数据块(数据上传)函数CH375ReadData(),写出数据块(数据下传)函数CH375WriteData()等[8]。
2.3数据/设备状态显示设计
上位机软件在数据传输过程中,借助CString类成员变量stateinfo直观显示设备状态。数据接收处理后,借助Format()函数,以文字形式直观显示光斑中心位置的横纵坐标值,利用绘图函数在模拟坐标中显示光斑位置。借助文件实现数据历史信息保存的功能,关键代码如下:
GetDlgItem(IDC_RECEIVE_EDIT)PostMessage(WM_VSCROLL,SB_BOTTOM,NULL);
CString strPath;
图2 HY1315系统调试结果图
GetModuleFileName(NULL,strPath.GetBufferSetLength(MAX_PATH+1),MAX_PATH);
strPath.ReleaseBuffer();
//此时strPath内容为工程文件全路径,如:E:\TestPro\Exam\ Test.exe
//以下函数作用是获取最后一个"\"的位置
图3 四象限探测器系统调试结果图
int nPos=strPath.ReverseFind('\\');
//开始取全路径
strPath=strPath.Left(nPos+1);//此时strPath保存为当前工程的全路径,如:E:\TestPro\Exam\
//保存文件
CFile m_rFile;
if(!m_rFile.Open("Rec.txt",CFile::modeCreate | CFile::modeWrite)) {
AfxMessageBox("创建记录文件失败!");}
m_rFile.Write(m_Receive,m_Receive.GetLength());
m_rFile.Close();
3 实际调试结果
上位机软件设计完成后,运行程序,选择位置敏感器件的型号为默认选项,即一维位置敏感探测器HY1315,连接其对应的系统设备,输入需要的增益参数,选择串口号,单击串口控制区“Open”按钮打开串口,“Start”按钮接收数据,此时上位机界面数据、设备状态显示,模拟光斑坐标结果如图2所示。再次运行程序,选择四象限探测器型号,即QP36(Active area 6*6mm),连接相应系统设备,单击USB通信控制区按钮,可以控制数据传输设备的状态,单击“Link”按钮打开设备,“Start”按钮接收数据,此时上位机软件界面结果如图3所示。
4 结束语
针对位置敏感器件构成的数据分析系统,通过对串口通信和USB通信方法的研究,借助VC++提供的软件代码自动生成可视化资源编辑的功能及MFC消息映射机制,设计了上位机人机交互界面。调试结果证明,该界面能够实现用户选择输入,实现数据的上下位机通信传输,直观显示数据,准确绘出光斑在模拟坐标中的位置,完成光斑位置的历史信息存储。设计为数据分析系统提供了一套功能全面、界面友好、操作直观、方便的上位机软件。应用中只需修改对应的数据处理,即可应用到其他类似的数据分析系统中,很大程度上增强了系统的实际应用性。该界面已用于PSD及QPD数据分析系统试验箱中。
参考文献:
[1] Henry J,Livingstone J.Improved position sensitive detectors using high resistivity subs- trates[J].J Phys D :Appl Phys ,2008,41.
[2] Liu Yun,De Xu,MinTan.A new pre-alignm ent approach based on four-quadrant-photo- detector for IC mask[J].International Journal of Automation and Computing,2007, 4(2): 208 -216.
[3] Guo Li,Zheng Shuang.A high-performanc -e smallsignal amplifier[J].Journal of Northe-ast Agricultuial University,2005,12(2):141-145.
[4] Wang Ziying.The design of scene simula- tion system based on MFC programming fra- mework[J].Advanced Computer Control (ICA CC).2010,V3: 302-305.
[5] 潘恒.基于VC++/MFC的麻将牌连连看程序设计.[J]科协论坛:下半月,2011,25(5): 53-54.
[6] 揣锦华.面向对象程序设计与VC++实践[M].西安:西安电子科技大学出版社,2005:201-204.
[7] Rong Jian,Zhao Cuilian,Fan Zhijian,et al. Realistic 3D face reconstruction based on VTK and MFC[J]. Optoelectronics and Image Processing 2010,V(2): 145-149.
关键词 “3414”试验;数据分析软件;设计原理
中图分类号 TP319 文献标识码 A 文章编号 1007-5739(2011)21-0043-01
Design Principle of Data Analysis Software for ‘3414’ Test
LONG Ying 1 XI Yong-shi 1 ZOU Zhong 2
(1 Agricultural Technique Extension and Service Center in Tibet Autonomous Region,Lhasa Tibet 850000; 2 Rugao Soil and Fertilizer Station in Jiangsu Province)
Abstract Data Analysis of ‘3414’ soil testing and formula fertilization test was complicated.The function,module structure and module design of ‘3414’ test data analysis software were introduced,so as to promote efficiency of data entry,regression analysis,equation analysis,etc,and to guide the production and new test design by using the analysis results.
Key words ‘3414’ test;data analysis software;design principle
“3414”试验是农业部测土配方施肥技术规范中指定的用于肥料效应函数研究的一种试验方法[1-3]。其设计包括3个因子4个水平(表1)。“3414”方案设计吸收了最优回归设计处理少、效率高的优点,是目前应用较为广泛的肥料效应田间试验方法。
自开展测土配方施肥参数试验以来,“3414”试验得到广泛的应用。随着试验的实施,试验结果的数据分析虽然有相关的专用软件支持,但试验中常出现特殊的情况,如缺区、部分重复时常给回归方程的计算带来难度,当2水平设计较偏或产量异常时,甚至会出现最高产量和推荐施肥量均为负值的现象,给数据分析与应用带来一定难度。为解决这一系列问题,应用Visaul Basic6.0研究开发了一个针对“3414”试验数据分析的软件,并在Windows XP下测试通过。为共享对“3414”的分析方法,现将该软件的设计方法介绍如下。
1 软件功能
软件的功能设计主要有2个方面:一是进行数据分析,二是反馈设计。数据分析主要是完成试验数据的回归分析,计算其回归方程,并通过方程求取最高产量和最佳经济效益时的施肥参数。反馈设计是针对本次试验设计初定的2水平与试验结果获得的最高产量或最佳经济效益时的参数水平间的差异,对下一次试验的2水平进行修正设计,以便获得更好的回归模型和肥料效应参数。
2 模块结构
软件模块主要包括数据输入、回归分析和方程应用3个部分。一是数据输入。数据输入主要包括单个试验的设计参数输入和试验结果数据的输入,还包括相同实施处理小区的多点试验数据的输入。二是回归分析。根据设计参数、回归模型和试验结果数据,运用回归运算求取回归方程。三是方程应用。本模块主要是在取得回归方程后,完成方程的试验总体评价、边际产量配方分析、最佳效益配方分析、反馈设计配方分析功能。
3 模块设计
3.1 模型生成
“3414”试验的回归分析模型是以三元二次方程(Y=b0+b1X1+b2X2+b3X3+b4X12+b5X22+b6X32+b7X1X2+b8X1X3+b9X2X3)为基础进行生成。生成方法主要分3种:一是通过内置生成标准模型,二是通过对标准模型修改生成非标模型,三是通过人机输入生成所需要的模型。
3.2 数据输入
在试验实际操作中,试验结果常非常复杂[4-6],如可能是完全实施的n次重复,可能是部分重复,也可能是部分实施,还可能会出现缺区现象。因此,就某一试验结果的数据输入通过会出现很多情况,在软件设计时都必须给予充分的考虑。但是,不管“3414”试验实施过程中会出现什么样的情况,其结果仍可归纳出一个共同的规律:每个取得有效试验结果数据的小区都有1组与之对应的设计参数,从而数据的输入就可归纳为2种数据组的输入:一是各小区设计参数的输入,二是各小区试验结果数据的输入。在数据的输入方法上,可以通过文本框以字符串的方式输入,也可通过文本文件或电子表格文件导入。数据输(导)入后,再用Split函数分离给设计矩阵(A)变量和依变量矩阵(Y)变量,从而完成数据的输入。对处理小区均相同的多个试验,则可使用相同的设计矩阵参数,将各试验结果数据一并输(导)入,供一并分析,以方便统计和管理人员快速分析审核多点试验资料。
3.3 回归分析
回归分析分3个部分:一是通过设计矩阵A和回归分析模型计算生成结构矩阵X;二是通过X的转置矩阵X′与X的乘积矩阵的求取逆阵C;三是通过依变量矩阵Y、结构矩阵X和逆阵C求取偏回归系数矩阵B,从而完成回归分析,建立试验的回归方程。
3.4 方程分析
方程分析主要包括3个方面:一是方程显著性检验。首先是通过F测验对回归方程进行总体评价;其次是方程F检验显著再对偏回归系数进行显著性检验。二是方程合理性分析。通过对各试验因子(Xi)求导后,分析各因子的一元二次回归方程,看其一、二次项的系数的正负性及其顶点位置,判断其合理性,从而确定回归方程的可用性。三是最高产量和最佳效益参数分析。通过上述2步检验确认方程合理可用时,首先通过对回归方程求导,获取最高产量时的施肥参数方案;其次是通过对试验肥料数量替换为价值因子后,求取最佳经济效益时的施肥参数方案。
3.5 反馈设计
在获得试验的回归方程后,通常会出现方程的边际产量并不出现在设计的2水平,有的偏差较大,甚至超出了试验设计范围(如大于3或小于0),这常给试验分析和下一步试验设计带来困难。通过运用计算机的高效运算效能,通过对方程各因子进行一定级度(精度可调)试验全域(0~3)扫描,求取方程所反映出的实际边际产量水平时的施肥参数,再将此参数反馈给试验设计者,用于作为下一次试验设计2水平的参考,从而可有效加快试验实施的进程,提高试验精度。
4 参考文献
[1] 莫惠东.农业试验统计[M].上海:上海科学技术出版社,1984:151-174.
[2] 张建玲,赵宏儒,马丽萍,等.固阳县旱地马铃薯测土配方施肥田间肥效试验[J].内蒙古农业科技,2011(1):75-77,118.
[3] 张明安,马友华,褚进华,等.基于WebGIS的县域测土配方施肥系统的建立[J].农业网络信息,2011(6):20-23.
[4] 张国峰 贺立源 韩松,等.基于移动GIS的施肥推介系统研发[J].华中农业大学学报,2011(4):484-487.
关键词:数据分析;数据挖掘;大数据;云计算
0引言
商业银行作为经营信用、货币的企业,面向的客户是几乎全方位的,同时银行业的竞争也是异常残酷的[1]。从网点、ATM、POS、网银、手机银行乃至其他网络信息等各类渠道数据信息中,挖掘、分析出有效的数据,可以增加营销效率、加快产品创新,快人一步扩大业务发展空间和市场份额[2]。大数据可以使商业银行决策由经验依赖到数据依赖的转变,实时、深入地把握业务和市场动态,从而更加科学、有效地决策,让商业银行能够稳健、可持续发展[3]。大数据的挖掘、分析可以有效地提高商业银行精细化管理水平,在风险控制、成本核算、资本管理、绩效考核等各个方面发挥出巨大作用,让经营管理能力大幅提升,更理性、更高效、更精确[4]。
1大数据技术
1.1HadoopMapReduce技术
Hadoop是一种分布式系统的平台,通过它可以很轻松地搭建一个高效、高质量的分布系统[5]。Hadoop的最核心的设计思想:MapReduce是Hadoop的核心组件之一,Hadoop主要包括2部分:一是分布式文件系统HDFS,HDFS为海量的数据提供了存储;二是分布式计算框MapReduce,为海量的数据提供了计算。MapReduce是大规模数据计算的利器,Map和Reduce是它的主要思想,Map负责将数据打散,Reduce负责对数据进行聚集。Hadoop采用并行工作模式,同时维护多个工作数据副本,确保失败的节点能够重新分布处理,具有可靠、高效、可伸缩、低成本的优点。
1.2NOSQL数据库技术
NOSQL(NotOnlySQL)数据库是指非关系数据库。这是相对于传统关系数据库提出的概念,随着Web2.0网站的兴起,数据量越来越大,传统关系型数据在处理大数据、实时读写以及多表联查已经越来越力不从心,而NOSQL以键值对存储,机构不固定,每个元组可以根据需要增加、减少键值对,减少了时间和空间的开销,同时NOSQL可以处理大数据,能够良好地运行在廉价的PC服务器机器上,便于扩展[7]。
1.3内存分析技术
内存分析(In-memoryAnalytics)技术是在内存中直接获取分析数据。随着64位操作系统的普及,系统可用内存大幅度提升,同时由于工艺不断成熟,内存容量不断,价格不断下降。由于内存容量暴增,人们开始直接将数据预读到内存中,对内存中的数据进行分析加工,而不用如传统的那样将数据反复不断地读入内存、写入磁盘,从而极大地提升了数据分析效率。
2商业银行数据应用现状
目前,商业银行对于大数据的挖掘还处于起步阶段,没有一个在设计之初就目标明确的定位于大数据挖掘、分析的系统[8]。现有的几个与数据挖掘相关的管理信息系统有PCRM系统(个人优质客户系统)、RPTS系统(综合报表系统)、GDP系统(基础数据平台系统)等,这些系统在设计之初就具有先天的局限性,它们仅仅是针对某个或者某几个业务部门的应用开发的,远远还谈不上大数据分析。同时这些系统由于没有统一的规划设计,物理架构大致相同,一些重要数据,如定期、活期主档及明细表全部重复加工,造成人力、财力的浪费,效率较低[9]。在上面提到的几个管理信息系统中,GDP系统是相对比较典型的应用,现在对GDP系统物理架构和逻辑架构进行分析。如图1所示的GDP物理架构图,采用成熟的3层B/S架构,2台乃至多台PC服务器部署WEB前置服务,做表示层;由1台小型机部署应用服务程序,做逻辑层;1台小型机上运行数据库系统,做数据访问层。数据库由控制库和日终库组成,其中控制库使用SYBASEASE库,将不同的处理任务划分成一个个的作业链,作业链中包含不同的作业,通过对作业和作业链调度次序进行控制;日终库采用SYBASEIQ库,对日终数据进行高效处理。控制库与日终库可在同一台小型机上。2台PC服务器使用IBMWebSphere部署高可用集群,提供WEB服务,包含作业调度服务和前台展示。
3构建商业银行数据分析
系统模型商业银行作为传统金融企业,与新兴的互联网企业不同之处在于:行内的数据中含有许多机密、隐私的信息,同时无论媒体还是客户都关心银行数据的安全性。在数据挖掘、分析包括使用的时候,效率与安全的选择需要慎重考量。为了避免资源的浪费,本文在设计模型前,必须对现有数据进行详尽分析,剔除重复、无效的数据,将有效数据进行分类。商业银行数据应用中大致可以分为2种类型:一类是高可靠数据,以数据的准确性为主,需要提供给统计部门、核算部门及监管部门,对于这类数据我们必须在使用前进行数据清洗、筛选后,才能够真正使用;另一类则不需要很精确,只需要一个大致数量级或者一个大的方向,主要供决策层、管理经营层及产品研发、营销等部门使用,对于这类数据其实才是真正符合现今大数据的概念,无需对数据进行清洗,可以直接进行挖掘。针对侧重于安全可靠和快速高效这2种不同的需求,以及结合商业银行现有技术发展,本文设计出下面2种模型。
3.1高可靠模型
基于商业银行对数据的精度要求较高,在设计模型时首先考虑的是数据的完整性和安全性,其次才考虑效率等其他的问题。因此,本文对现有成熟和完备的商业银行GDP系统3层架构和业务定位深入分析的基础上,进行了一些改进,克服现有GDP系统3层结构的不足。
3.2高效率模型
对于商业银行精度要求不高,但是非常具有时效性和海量的数据,不需要考虑数据的完整性、安全性。为此,本文使用一些互联网的新技术以及开源的软件,抛弃原有3层架构,引入大数据挖掘新技术,实现大数据的挖掘需求。
4数据分析
当将海量的数据挖掘出来后,怎样使用这些数据?投入这么多人力、物力当然是希望它能带来更多的收益,怎样将数据变成收益?这就需要对数据进行分析,结合自身以及行业的现状进行分析。在传统的数据中,以少量的数据为依据,以数据的准确性为目标进行的统计工作,其实这样的统计是有偏差和片面的。而大数据则以海量数据为依托,强调数据的完整性、综合性和复杂性,通过答题轮廓,捕捉发展脉络,确定未来发展方向。从决策层出发,大数据可以为我们更快地找出未来银行的发展方向,最大限度地避免在决策方向上出现偏差。一直以来商业银行的决策是由个人或小团队进行的,但是在这些决策中往往有很多依靠过往的经验、主管判断的,这就带来决策缺少扎实的依据,很多决策适合一些地方,但在另外一些地方却未必很适合。特别是现在科技发展日新月异,对传统银行业带来了巨大的冲击,原来的很多经验不但不能带来帮助,甚至会制约决策层的思维,决策远远满足不了前瞻性、有效性和针对性的要求。
而大数据的分析则可以更准确、更快捷地帮助决策层把握脉络,从而做出具有前瞻性、及时的、精准的决策。从管理执行层来看,通过大数据的分析可以更快捷地推出精品产品,更有效地营销客户,更高效的使用行内各种资源,提高管理能力,创造更多利润。通过大数据的分析,管理层能够分析出哪些产品受哪些客户的喜好,分析各类客户都有什么需求,可以根据这些有针对性地开发一些受客户欢迎的产品。可以对一些高质量的VIP客户进行分析,对他们的资金利用进行跟踪,尽量将资金链锁定在行内,利用资金空闲时段进行中间业务的营销,可以对这些客户在贷款的利率上进行一定幅度的优惠等等。可以对基层行、网点人员效率进行分析、优化,对行内的电子设备,如ATM、POS机等进行分析,在使用量庞大的地方可以加大投放,收回一些效率低下的设备等等。从监管层来看,通过大数据的分析可以更加直观、有效地对商业银行的合规经营做出监管。可以从大数据中对各地的经营、营销费用、采购招标等需要进行监管的地方进行分析,一旦发现某个地方有异常情况,就可以进行重点关注、重点监管,而不是像以前那样无差别的监管,或者靠经验去进行监管,从而能够更快、更有效地进行监管,提前去发现问题,制止问题事件的扩大,为商业银行减少损失,更有效保障商业银行的利益。
5结语
大数据在商业银行决策、生产运行和经营管理中越来越重要,构建商业银行自身的大数据挖掘、分析系统已经迫在眉睫了,如何构建大数据分析系统、利用分析系统实现数据到价值、利润的转化,这需要不断的研究。本文通过深入分析商业银行的数据分析现状,总结其数据分析的优、缺点。并针对侧重于安全可靠和快速高效2种不同需求,以及结合商业银行现有技术发展,设计了商业银行数据分析系统,使商业银行从珍贵数据中分析、挖掘对其战略发展和业务经营有巨大推动作用的信息。
参考文献:
[1]薛良飞.云计算在新型信息化系统中的综合研究[D].济南:山东大学,2013.
[2]李斌,黄治国,彭星.利率市场化会降低城市商业银行投融资水平吗?——基于中国24家城市商业银行数据的实证研究[J].中南财经政法大学学报,2015(1):40-47.
[3]方先明,苏晓珺,孙利.我国商业银行竞争力水平研究——基于2010—2012年16家上市商业银行数据的分析[J].中央财经大学学报,2014(3):31-38.
[4]刘晓茜.云计算数据中心结构及其调度机制研究[D].北京:中国科学技术大学,2011.[5]陆嘉恒.Hadoop实战[M].北京:机械工业出版社,2012.
[6]张世明,徐和祥,钱冬明,等.云架构模式下“网络学习空间人人通”体系探析[J].华东师范大学学报(自然科学版),2014(2):30-39.
[7]江务学,张璟,王志明.云计算及其架构模式[J].辽宁工程技术大学学报(自然科学版),2011(4):575-579.
[8]韩浩.大数据技术在商业银行中的运用探讨[M].苏州:苏州大学,2014.
关键词:物联网;数据分析;网络拓扑;节点管控
中国分类号:TP311・1文献标识码:A文章编号:10053824(2013)03003004
0引言
物联网(internet of things, IoT)是指将各种信息感知设备及系统通过接入网络与互联网结合起来而形成的巨大的智能网络[12]。物联网作为一次技术革命,代表了通信技术和计算技术的未来,被称作继计算机和互联网之后,世界信息产业的第三次浪潮[3],受到了世界各国政府和科研机构的广泛关注[4]。
作为物联网的主要支撑技术之一[5],信息处理软件直接影响着物联网的用户体验及其进一步发展[67]。但是已有的物联网数据处理软件的功能较为单一,可扩展性不足,应用领域受限。为了改善物联网数据处理软件的功能性和扩展性,为用户提供快速、高效的物联网实时管控方案,本文设计并实现了一种模块化的多功能的物联网数据分析与处理软件。该软件采用模块化设计,以VC++ 6.0作为主控模块实现环境,便于在Windows系统环境下方便地使用本软件;服务器采用Apache Tomcat 6.0搭建;数据库模块基于MySQL 6.0实现,以保证软件的易扩展性和稳定性;拓扑显示模块采用Flex和flash player ActivX 10.0进行开发,以改善用户体验。
1软件的总体设计
1.1主要功能
本软件旨在为用户提供一套快速、高效的物联网实时数据处理与管控方案,其主要功能包括以下几个方面。
1)网络数据解析和处理功能:软件可对物联网数据进行协议解析、分析、处理和存储等操作,并同相邻网络层设备进行数据交互。
2)网络数据的存储功能:软件可通过数据库读写操作,将网络重要历史数据存储于远程数据库中,并可进行读取等操作,为物联网网络管理人员提供便利。
3)网络拓扑显示功能:软件采用FLEX技术绘制目标物联网网络拓扑,并通过定时发送拓扑数据请求实现网络拓扑状态图的实时更新,提供了优越的用户体验。
4)网络信息查询和控制功能:本软件集成了网络节点信息的显示、查询能力,用户可对网络节点相关状态进行针对性的查询;同时,提供网络属性调整和节点控制功能,用户可根据实际需要修改网络节点参数,控制网络运行情况。
1.2软件系统总体架构
本软件系统运行于C/S架构的服务器平台上,作为远端服务器控制软件完成网络监听与数据包接收、网络数据分析处理、网络拓扑状态显示以及节点信息查询与控制等物联网管控工作。系统总体组织架构图如图1所示。
图1软件总体架构图软件功能模块主要由6个部分组成,分别是网络通信模块、参数设置模块、数据处理模块、拓扑显示模块、信息查询模块和数据库交互模块,如图2所示。其中,网络通信模块完成底层的网络通信工作;参数设置模块接收并设定用户输入的软件工作基本参数;数据处理模块负责数据包的解析、判别和数据分类处理工作;拓扑显示模块负责为用户提供网络拓扑和节点简要信息的显示;信息查询模块为用户提供网络节点详细属性的查询和节点控制;数据库模块负责完成网络数据的存储和查询等工作。
图2软件系统功能模块1.3软件系统工作流程
本软件功能模块间的数据流关系如图3所示。各模块间通过相应接口完成网络数据的上传、分析与处理和控制命令的下发操作。首先,软件接收来自网络的各类型数据,并对其进行分类与解析。随后,软件将数据处理结果通过数据库模块进行存储。在此基础上,拓扑显示模块和信息查询模块分别通过查询/更新数据库进行信息显示和用户控制指令的下发操作。数据处理模块和数据库模块扫描数据库中的相应表项,提取控制信息后通过网络通信模块下发至目标网络。
图3软件工作流程图2主要功能模块的实现
2.1网络通信功能模块
网络通信模块是本软件的底层数据通信模块,该模块采用完成端口模型(I/O completion port, IOCP)作为本软件的网络服务引擎,由于IOCP规定了并行线程的数量,并使用线程池对线程进行管理,从而避免了反复创建线程和线程调度的开销,提高了本软件的并行处理能力。该模块通过构造完成端口模型类(IOCPModeSvr),使用CreatIOCompletionPort()函数创建完成端口对象;构造ListenProc()函数监听来自物联网感知层网络网关节点的连接请求;使用bool CIOCPModeSvr::SendMsg()函数响应上层控制命令的下发要求,向客户端发送控制命令帧。
2.2数据分析与处理功能模块
数据处理模块是物联网数据分析与处理软件的关键组成模块之一。该模块接收来自底层网络模块的数据帧,并进行分类、分析、处理及重构等操作,为上层数据应用奠定数据预处理基础。通过创建DataProc类实现该模块,具体包括:
1)通过内联函数checkType()快速解析由底层网络上传的数据帧的协议类型与数据类型;
2)构造getInt()、getRangeString()等函数完成数据帧的数据进制与格式转换;
3)使用ProcessRecvData()函数分析数据帧,重构出信息处理所需数据;
4)完成相应数据处理功能,主要包括数据聚类、数据计算、数据范围判断、数据异常的处理、反馈数据帧的构造。
2.3参数设置模块
参数设置模块是物联网数据分析与处理软件的系统参数初始化模块,该模块读取用户设置的软件运行参数,并对软件进行相应运行参数初始化。该模块响应用户参数设置操作,读取参数并判断参数是否有效。若参数设置有效,则对软件相应运行参数进行修改,同时显示软件当前连接状态,界面实现如图4所示。
图4参数设置界面
2.4数据库与Web服务器
本软件采用MySQL数据库进行原始数据的存放,其中已经直接保存了经由数据分析与处理模块上传的全部数据,主要数据表包括:表node_topu_stat,用以存储网络所有原始拓扑信息;表node_info_stat,存储网络节点上传的状态信息;表control_stat,负责存储用户的查询和控制指令。由于上层的拓扑展示模块所需要的是最新的数据信息,因而需要Web服务器模块将冗余的原始数据进行初步处理,为拓扑显示模块提供无冗余的信息,以实现基于拓扑图的物联网实时监控。首先,通过对数据库中各分类表加入触发器实现数据的初步提取。其次,在本模块中,数据处理模块所生成的最新数据进一步转换为能够表示拓扑图的XML文件,即将节点所上传的邻居表转换为节点与边的关系。本系统中使用了Web服务器所能支持的JSP技术实现了实时访问数据库生成转换数据的功能,拓扑控制模块直接访问该页面的地址,即可实现拓扑数据的获取,如图5所示。
图5数据库与Web服务器2.5拓扑显示模块
网络拓扑显示模块是与用户进行交互的主要模块,用户通过点击“网络拓扑”访问拓扑展示模块。该模块通过定时向Web服务器数据处理模块发起拓扑数据请求实现网络拓扑的实时更新。通过向数据处理模块获取拓扑XML数据,图形界面将其转化为拓扑图中的“节点”与“边”的实际图形对象,并将其他附加数据作为标签保存在给节点,方便用户查看。模块工作流程及实现界面分别如图6和图7所示。
图6拓扑显示模块图7拓扑显示界面2.6信息查询与控制
本模块中的查询控制功能是指对物联网可控节点发送控制指令。查询控制指令与拓扑数据一样,需要经过数据库作为中转,整个中转回传的代码构成了控制模块。控制指令需要根据实现指定的通信协议发送。在控制指令的收集窗口中,用户可以进行相应的选择,控制模块负责将用户在窗体中的选择输出至与数据库相连的JSP页面,并由JSP页面将其存入数据库中。网关通过定期与服务器通信获得最新的操作指令,将其转换为控制指令最终发送至物联网节点,实现界面如图8所示。
3结束语
本文设计并实现了一种多功能物联网数据分析与处理软件。该软件通过网络监听、数据分析处理、网络拓扑显示以及节点信息查询与控制等功能模块实现对物联网数据的有效处理。通过将该软件移植于实际物联网应用环境,验证了该软件能够快速、高效地处理网络数据,且易于扩展,为多模异构网络条件下的物联网创新应用平台构建提供了新的思路。
图8信息查询与控制界面
参考文献:
[1]孙其博,刘杰,黎.物联网:概念、架构与关键技术研究综述[J].北京邮电大学学报,2010,33(3):19.
[2]International Telecommunication Union. Internet reports 2005: the Internet of Things [R]. Geneva: ITU, 2005.
[3]刘强,崔莉,陈海明.物联网关键技术与应用[J].计算机科学, 2010, 37(6):110.
[4]刘云浩. 从普适计算、CPS到物联网:下一代互联网的视界[J]. 中国计算机学会通讯, 2009, 5(12):6669.
[5]邬贺铨. 物联网的应用与挑战综述[J].重庆邮电大学学报:自然科学版, 2010, 22(5): 526531.
关键词:防爆电机电磁设计 管理系统
电机的设计包括电磁设计和结构设计。那么电磁设计师作为电机设计的先行者,承担了电机设计的核心工作――电机的电气性能设计。现以防爆电机的电磁设计进行说明。
有经验的设计师在进行系列防爆电机产品的电磁设计时,全新设计要根据电机的防爆结构型式、防护等级、环境温度、海拔高度及其它环境参数等,再结合工厂的工艺制造水平和自己的工作经验来选取适合的参数进行电磁方案设计,而对于派生系列产品进行电磁设计时,可参照成熟产品的电磁参数进行个别计算参数调整达到技术要求以满足用户的需要。由于大多数的电磁设计软件的功能主要是方案设计,而对于方案的管理、存档方面的功能就显得苍白无力。大多数的电磁设计师一般会利用Windows操作系统加个人帐本进行管理。每个计算方案通过操作系统保存到本地磁盘,根据流水号分类进行管理,然后将流水号记录到账本上,方便以后查阅使用。这样的管理对于数据量小、设计种类少的小企业还是可行的。但对于系列产品多,种类杂的大企业来说,这样的管理满足不了企业及管理者的要求。每每查阅设计资料都需要从厚厚的账本中查出,然后到计算机上找到相应的文件。如果频繁使用查阅,就可能造成账本的老化和损坏,那么电磁设计师还需要对这些帐本数据重新整理,既费时又费力。那么如何简化劳动使电磁设计师有更多的精力和时间投入到新产品开发呢?于是我们开发了一个防爆电机电磁设计数据管理的软件系统,本文以哈尔滨理工大学孟大伟教授开发的几个电磁设计计算功能模块的输入、输出数据进行管理为例进行说明。
1 系统设计
为了使防爆电机电磁设计更加快捷,同时在功能上有可靠和保障,采用了后台数据库与前台应用程序相结合的方式来实现。
数据库方面,选择微软的Access桌面型数据库作为电磁数据管理系统的支撑平台。
应用程序设计方面,分两部分构成:
①系统数据库环境定制软件(YBDJConfig.exe)。
②电磁设计数据管理软件(YBDJProject.exe)。
2 开发语言的选择
能实现对数据库系统(信息管理系统)开发工具很多,目前主流的开发工具有Visual Basic 6.0、Visual C++、Delphi等。其中Visual Basic以其简洁易懂的语法、直观强大的IDE(集成开发环境)、丰富强大的数据库操作特性获得了大部分程序员的青睐,所以我们使用Visual Basic 6.0进行电磁设计数据管理软件开发。
3 功能模块的划分
就本例而言的防爆电磁设计管理软件需要包括:
①产品的分类分级管理,方便用户查阅。
②对不同类型的电磁单需要有单独的界面进行新增,编辑,保存等操作。
③对每个电磁单都应该有它的属性以及特征描述信息。
④具有条件查询的能力,实现对数据库进行快速的定位查找。
⑤能够输出电机的性能曲线,方便提供给用户曲线图。
⑥为其他系统(如:清华英泰PDM)提供存档的计算单。
下面对各功能模块分别进行叙述:
①对于产品的分类分级管理。这里我们采用目录树(TreeView控件)结构来实现。如下图1:这样通过目录树进行分类分级就可以把电磁数据分层次管理起来,查看时只需点击[+]号,系统会逐级展开直至找到所需要查看的数据方案。
②对于每一种类型如小型鼠笼电磁设计数据信息都有单独的界面进行输入,编辑,保存以及察看输出计算单的功能。如下图2为正在编辑的YB2隔爆电机电磁方案:
③对于在编辑界面中新增的计算单都可以为其添加一些描述信息,以方便设计师管理方案。如下图3为YB2-280-2 75kW 500V的描述信息内容:④为了更好的方便查询,程序满足对各个描述信息或具体的防爆电机电磁方案的设计参数进行数据查找,减少人工的检索提高工作效率。下图4为对描述信息进行的查找的结果:下图5为对防爆电机电磁方案的设计参数进行方案查找的结果:⑤能够自动输出电机的性能曲线到文件中,方便提供给用户曲线图。
由于核心的防爆电磁设计程序是DOS版,曲线输出是在显示屏上绘制的。这就导致无法将其保存为图片格式的文件。所以,在给用户提供防爆电机的特性曲线时,往往采用的手工的方式,通过电子表格(Excel)的图表功能进行曲线输出,显得十分繁琐,而且制作时间长,曲线显示不光滑,很难满足企业快速发展的需要。为了解决上述问题,防爆电磁管理系统对防爆电机的特性曲线各点数据利用三次样条曲线原理解析出曲线方程,然后在绘图容器中进行图形的绘制,并支持保存为位图文件。同时系统利用微软的ActiveX与OLE技术输出到Micro Word文档中(外供用)。并且曲线各点连接光滑,完全能够满足用户的需要。
下图6为系统输出的YB2-132M-4 9kW 440V 60Hz特殊设计防爆电机的[效率、功率因数VS输出功率]特性曲线图:⑥ 为其他系统(如:清华英泰PDM)提供存档的计算单。
该系统支持对于每个防爆电机的电磁方案的存档输出,满足企业对防爆电磁数据的整体管理存档的需要。
4 结束语
工欲善其事,必先利其器。在电子技术迅速发展的今天,利用电子计算机对电机进行设计和管理已经被广泛接受和采用。随着科学技术的发展,越来越多的技术被应用到电机设计中来,如:采用有限元法对电磁场进行仿真分析,可以解决传统方法解决不了的瞬态问题,对防爆电机结构进行强度、刚度、扭矩、剪切等受力分析,大大减少了设计过程中难以控制的技术难题。我们开发的防爆电机电磁设计管理系统软件已在我公司得到应用,并取得了良好的效果,受到了公司的嘉奖。但由于我们理论水平有限,本文难免出现疏漏,敬请见谅。
参考文献:
[1]计算机辅助电机设计.北京:机械工业出版社,1990.
[2]Visual Basic 数据库开发及工程实例.北京:人民邮电出版社,2003.
一、突出数据分析的意义
统计是研究“数据”的,“数据”和我们平时说的“数”不同,数据是有实际背景的。数据包括数,又不仅仅指数。史宁中教授指出,数据是信息的载体,这个载体包括数,也包括言语、信号、图像,凡是能够承载事物信息的东西,都构成数据。
人们进行统计活动都是有目的的,并不是为了统计而统计。通过对统计数据进行分析,帮助人们进行判断、预测或决策,从而让人们体会到数据中蕴含的信息,这就是数据分析的意义。
这节课中,教师精心安排与现实生活联系紧密的统计内容,呈现丰富的背景,让学生充分感受“数据”是说明问题的有力“证据”,充分感受数据分析不仅是有意思的,更是有意义的。
课堂教学伊始,教师没有平铺直叙,而是组织学生将对春季降水量的感受和经验与数学中的问题联系起来,从“春雨贵如油”“好雨知时节”引出他们对两张折线统计图的辨析。“春雨贵如油”,这是针对北方的春季降雨而言的,春天降水量不大,雨水显得很珍贵;而对于南方来说,春天的降水量要比北方大一些。学生利用经验想象数据,继而出示两张图,学生很自然地将表格中的图像等数据进行对比分析,即用数据来阐释经验,做出判断。
呈现6~18岁男女生平均身高统计图,贴近学生的生活,帮助学生发现数据中蕴含的信息,从数据角度了解学生时期身高变化的特点,有生活味又有数学味。通过对常州、悉尼各月平均气温统计图的分析,了解南半球、北半球的气温情况,判断暑假去澳大利亚旅游带什么样的衣服,问题既是现实的又是有趣的。学生提供建议,必须用数据“说话”。对不锈钢保温杯和陶瓷保温杯的保温效果做出判断,根据数据进行分析,判断是科学的、有说服力的。
全课呈现了不同的统计内容,有“大事”,有“小事”,但每一次的分析,都紧扣数据,感受数据分析的意义,体现统计活动的价值,从而激发学生学习统计知识的兴趣,发展他们的数据分析观念。
二、注重数据分析的方法
传统数学主要根据假设和规定的原则进行计算或推理,而数据分析的方法,却主要采用归纳来推理。著名数理统计学家陈希孺先生认为,统计方法是一种归纳性质的方法,统计推断是一种归纳推断。统计学的研究方法是基于归纳,而传统数学是基于演绎。我们要认识到,归纳推理得出的结论具有随机性,与代数、几何等通过演绎推理得到的结论不同。结论的随机性,并不说明数据分析的方法有问题,而这正是通过数据分析方法得到的统计结果的特性。
在这节课中,教师设计的统计内容,在由数据分析方法得到某些结论时,注意体现数据分析方法的特性。
如,我国男女生平均身高的统计图,这里呈现的数据是根据样本推断出来的,体现了局部推断整体的数据分析方法。把上课班级具体的学生身高与之对照,会有“出入”,教师在学生出现疑义时要给予适度引导:即从总的方面看有其规律性,但要承认例外个案的存在。
再如,暑假去澳大利亚旅游问题,教师首先呈现2002年常州、悉尼各月平均气温统计图,从中引导学生发现:悉尼的气温变化趋势和常州正好相反。教师追问:是因为2002年特别冷吗?再出示从1858年到2002年这145年间悉尼市各月平均气温统计图,学生在对照比较2002年与这145年的数据的过程中,深切体会到了“归纳”的思想,并认识到:对今年的气温情况做出预测,仅看去年的情况,是有一定的随机性和偶然性的,因为每年收集到的数据可能是不同的,所以要将过去的情况综合起来看。天气预报,在一定程度上就是基于对过去积累的气象数据的分析研读,发现数据中隐藏的规律,从而预测将来的天气变化情况。这里,学生对“归纳”的体验特别深刻,正是源自教师的精心设计。
又如,北京奥运会的举办时间,在考虑天气因素时,呈现2003、2004、2005、2006年8月份的降水量统计图,在数据的基础上形成预测与推论,让学生体会到数据分析的预测和决策作用。呈现第25~30届奥运会中国和美国获得金牌情况的统计表,通过分析近6届奥运会上中国与美国所获得金牌的数量,预测下一届奥运会上中国可能获得的金牌数量,这也很好地体现了数据分析方法的特性。即,不能简单地从中国前几届奥运会金牌数量总体呈上升趋势,就断定下一届奥运会金牌数还会上升。
从这节课的教学中,可以看到教师对数据分析方法准确而深刻的认识,进而在教学过程中精妙表达与清晰传递。统计教学“教什么”,是值得我们深入研究的。
三、经历数据分析的过程
数据分析观念,是一种需要在亲身经历的过程中培养出来的对一组数据的“领悟”,是由一组数据所想到的、所推测到的以及在此基础上对于统计独特的思维方法和应用价值的认识。经历数据分析的过程,要围绕“数据”做文章,遇到问题“想数据”,分析问题“用数据”,让学生在看数据时有需求、有目的、有过程、有体会。
哪幅图是北京各月降水量统计图?哪幅图是常州各月降水量统计图?学生并不是盲目地猜测,而是依据对俗语“春雨贵如油”“好雨知时节”的理解,并调度自己的经验,将春季的降水量与其他季节的降水量进行比较,把两张降水量统计图联系起来观察。由此,引导学生对两幅单式折线统计图的数据进行辨别、分析。辨别的过程,也就是对表格中的数据进行分析的过程。教师又通过呈现一连串的需要对单式折线统计图中的数据进行分析比较才能作答的问题,让学生在感到麻烦、困难的过程中体会到单式折线统计图的不足,他们会联系单式条形统计图与复式条形统计图的学习经历寻思“合并”单式折线统计图。这也就产生了学习复式折线统计图的需求,促进学生主动领悟复式折线统计图的特点,明确其使用的情境。
在分析6~12岁男女生平均身高统计图的基础上,让学生预测12岁之后男女生身高变化的情况。这里,教师关注的是让学生体会并理解后面的两条“折线”发生怎样的变化,需要再调查数据、分析数据才能做出判断。之后,对两条“折线”的比较与解读充分体现了复式折线统计图的特点,让学生体悟到数据有助于分析问题。
买哪一种保温杯,教师提出问题:不锈钢保温杯和陶瓷保温杯,哪一种保温效果好一些?教师先让学生联系自己的“经验”说一说,继而出示有关数据的统计表。在此基础上,呈现复式折线统计图,让学生更直观地“看出”哪种保温杯保温效果更好。
不同的统计对象,教师一次又一次让学生面临具体的问题,通过问题引领,运用数据去分析、解释。“数据”是学生发现、提出、分析、解决问题的好伙伴。数据分析观念,是在与数据接触的过程中培养出来的。
这节课,加强了对图、表的分析解读,适当淡化了有关统计图、表的制作,但也不是不要制作。在合并北京、常州各月降水量的统计图时,教师完整地演示复式折线统计图的制作过程,以第一幅图为标准,再描点、注数、连线,并在学生对图例、线条表示方法、统计图的名称等方面提出修改建议的过程中完善了他们对复式折线统计图的认识。而在呈现12~18岁男女生平均身高统计表之后,教师放手让学生根据统计表制作统计图。我们要认识到,制作统计图表,是整个统计活动的中间环节,是作为工具为最终的判断、预测、决策服务的。适当的画图,有助于学生认识图,读懂数据表达的信息。制作图表的过程,也是认识数据的过程。
我们已经形成这样的认识:统计教学应引导学生经历完整的收集、整理、描述和分析数据的过程,发展数据分析观念。我们还要辩证地认识到:让学生经历统计活动的全过程,并不是每一次统计活动都要让学生经历全过程,在统计知识与方法的学习过程中,我们可以组织学生有侧重地参与统计活动的某一个片段。如果在学习统计的过程中,都是让学生经历统计的全过程,并在其中的每一个环节平均着力,那教学也就变得牵强附会、形而上学。
Abstract: Combined with measurement of metal electric work function, designing the data processing and management sysetm by using Excel software. This system has the advantages of rapidity, conciseness and visualization, completely can compare common processing software with experiment teaching instrument accompanied. This design method is popular value.
关键词: Excel软件;数据处理;数据管理;金属电子逸出功
Key words: Excel software;data processing;data management;metal electric work function
中图分类号:TP274;O4—39 文献标识码:A 文章编号:1006—4311(2012)27—0216—03
0 引言
在物理实验尤其是近代物理实验以及科学研究中,经常产生大量测量数据,经过记录、整理、计算、绘图、分析等大量复杂繁琐的数据处理后,方能给出科学结论。传统方法往往是手工处理大量数据,最终仅在坐标纸上描点绘图。因此效率低,易出错,误差大,甚至影响结论的准确性。
随着计算机迅速发展,数据分析处理的软件实现和应用也逐渐成为每个科研工作者必须掌握的一门技术。常见的数据处理软件如Origin、MATLAB、SPSS等功能强大,专业性强,对使用者有较高要求,而Excel直观易学,使用方便,数据处理过程简单,无需精通计算机编程,因此成为处理物理实验数据的首选工具。
Excel集数据表格、图表和数据库三大基本结构功能于一身,还提供了大量函数,用户可通过这些函数进行统计管理、线性分析等工作[1—3]。并能很方便地将数据处理过程的基本单元制成电子模板,使用时只要调出相应的模板,输入原始数据,激活相应的功能按钮,就能得到实验作图要求的各项参数。
1 电子逸出功的测量原理简介
由费米—狄拉克能量分布公式可得到热电子发射的里查逊—热西曼公式[4] I=AST2exp(—■)(1)
式中I是加速电压为零时热电子发射电流,称零场电流。A与阴极材料有关,S为阴极有效发射面积,T为发射热电子的阴极绝对温度(该温度与加热电流对应关系可查表)。实际测量中采用理查逊直线法避开A、S测量,将(1)式两边除以T2,再取对数得
1g■=1gAS—■=1gAS—5.04×103?渍■(2)
可见,1g■与■成线性关系,由斜率即可求出该金属的逸出电位?渍或逸出功e?渍。
由于肖特基效应,零场电流I与阴极发射电流Ia、加速电压Ua有
1gIa=1gI+■■■(3)
式中Ia是加速电压Ua为时阴极发射电流,r1和r2分别是阴极和阳极半径。几何尺寸一定的管子,阴极温度T一定时,1gIa与■成线性关系,截距为1gI。
实验一般在7个不同温度值采集49组电压和电流值,根据公式(3)进行7次直线拟合,采用直线外延法分别找出7个温度对应的零场电流对数1gI,之后再根据公式(2)进行1g■~■直线拟合,找出该直线斜率,进而求出该金属的逸出功e?渍。计算公式繁琐,图表较多,数据处理困难。
2 设计思路
本设计旨在实现数据的记录管理和分析处理。使用者仅需录入测量数据并保存,系统便自动生成处理结果以及相关图表。保存后可获得原始测量数据备份,避免随意篡改伪造测量数据;同时,又可形成一个数据信息库,为使用者查询测量数据提供便利。
基于以上构思,数据录入和数据处理作为两个独立且关联的模块,分别出现在两个工作表中。数据录入模块将个人信息和测量数据输入电脑,除必要输入栏目,使用者没有权限更改其他选项。处理分析模块的数据来自于对管理模块的链接,包括数据处理的中间过程和最终处理结果,为了便于管理还应包含使用者的基本信息。流程如图1。
3 基于Excel实现测量数据的录入和管理
本测量采用西安超凡光电设备有限公司WH—I型金属钨电子逸出功测量仪完成。
打开Excel,创建新工作表,该工作表作为数据记录用表,命名为“原始数据”。根据测量原理和要求,该工作表由基本信息、数据记录、温度对照表三个部分组成,如图2。
此工作表A1—H3为使用者基本信息,其中G2单元格输入的内容为“=TODAY()”,可获取当前系统日期。A6—H12为数据Ia、Ua记录栏。A14—H17为“加热电流If与钨丝真实温度对照表”,数据处理过程中需查此表获得阴极灯丝温度。
4 基于Excel实现数据处理和分析
【关键词】 1B1H编解码 PRBS MSTP
一、前言
当前,随着光纤通信技术的飞速发展,SDH、MSTP设备在城域网、电信网等领域发挥着重要的作用。同时,鉴于历史因素,以前搭建的光纤传输网络中仍然有部分PDH设备。且SDH、MSTP设备成本较高,带宽利用率相对较小,所有在传输带宽要求不高的光通信传输网络中,PDH还在发挥着作用。本文提出了一种能够测试指定厂商生产的PDH光接口和标准STM-1、STM-4光接口的通用光数据分析仪的解决方案。
二、硬件设计
硬件总体设计如图 1所示。
如图,测试仪的光接口接收方向经一2×2电平交叉开关芯片的输入,电平交叉开关芯片的输出一路直接进入FPGA,另外一路则连接到E1映射/解映射集成电路上。同理,光接口发送方向硬件连接与接收方向类似。通过FPGA控制电平交叉开关芯片的选通引脚,可实现光接口在FPGA和E1映射/解映射芯片之间的切换,也就是光接口在PDH和SDH之间的类型切换,这样设计节约了硬件开销。
为了对集成电路进行配置和提供可视化界面,测试仪采用一颗32位的嵌入式CPU芯片,实现显示屏的显示和按键的扫描。同时提供了一个串口用于测试仪软件的升级和维护。
三、软件设计
本设计软件部分由FPGA模块、CPU底层2部分组成。FPGA模块
FPGA模块主要有两个功能,一是实现PDH的E1信号复用和解复用、1B1H编解码;二是实现E1信号的HDB3编解码;三是实现PRBS的插入与误码检测。
PRBS 插入与误码检测
本设计使用的PRBS(伪随机序列)速率为标准2.048Mb/ s,速率等级采用215-1,相位“正”、“反”可选。检测部分电路采用帧头检测法,在伪随机序列中插入固定的帧头“0011011”,这也是PCM标准帧头,在接收端通过检测帧头信号实现同步,当连续16次在正确位置检测到帧头信号则认为帧同步,当帧同步后,将信号送入比较器,比较器本地生成一个与发送PRBS模块一样的PRBS,并将本地PRBS序列和同步后的信号进行比较,以1024个bit为一个比较序列,设置数据正确指示信号,用于指示当前比较的结果。另外设置误码计数器,用于存储错误发生时,产生的误码bit数。
E1信号成帧
本设计将PRBS封装到标准的E1信号,复用进PDH光通道中,或映射到SDH的VC-12中。从而实现PDH光通道的性能监控和对SDH低阶支路状态的监控。通常,E1有5种帧格式:非成帧、PCM30、PCM30CRC、PCM31、PCM31CRC。对这5种帧格式,本设计做了较为灵活的处理,将设计主要分成3个通用模块:帧头生成电路、复帧生成电路、CRC校验电路。对这三个模块进行简单的配置,即可实现相应的帧格式。
HDB3编解码
在二进制消息代码序列中,HDB3码的编码规则:
(1)当连“0”的数量不大于3时,HDB3编码规律与AMI码相同;(2)当出现4个或超过4个连“0”时,将每4连“0”小段的第4个0变换成与前一非0符号(+1或-1)同极性的符号,用“V”脉冲表示,以破坏AMI码极替规律.所以,“V”脉冲称为破坏脉冲,“V”脉冲和前3个连“0”(“000V”)称为破坏节;(3)为了使脉冲序列不含直流分量,必须使相邻的破坏点V脉冲极性也交替;(4)当相邻V符号之间有奇数个非0符号时,能保证(2)和(3)条件成立;当有偶数个非0符号时,则得不到保证,这时应将该小段的第1个“0”变换成“+B”或“-B”,B符号的极性与前一非0符号相反,并让后面的非0符号从V符号开始再交替变化[1]。本设计采用D触发器和与门、或门等门级电路实现HDB3编码和解码。
1B1H编解码
1B1H码:把B1~B4、H1~H4交替按顺序编排,以同步复接方式形成线路码流。码速率约为68Mb/s,B1-B4各传输120个话路,H1、H3各传输120个话路,H2可传输60或90个话路,因此1B1H线路码可传输780至810个话路。比普通(34Mb/s)多传输330个话路,传输速率提高了一倍。电路简单,最大连“0”、“1”为4,具有良好的传输特性,可靠性高,误码检测精度高,缺点是码速率提升大,灵敏度代价高。
1B1H帧结构如下:
图 2 1B1H码结构
本设计编解码模块采用读写脉冲速率差异的方法实现H码的插入。读出脉冲速率比写入脉冲速率高,这样B码分组后出现多余的空位,在此多余空位插入H码。
软件设计框图如图 3、图 4所示。
CPU底层程序设计
CPU底层程序主要由以下模块组成: 显示控制模块、按键扫描模块、性能监控模块。
本设计采用了一个65K色的TFT显示屏,显示屏通信方式为串口,显示屏与CPU之间数据吞吐量较大,因此底层软件设计了一个环形缓冲器,环形缓冲器定长256byte。另外,为矩阵键盘设计了一个专门的扫描算法,设计了一个状态机,将正确的按键路径存储在一个查找表中,状态机根据查找表的内容做出相应的操作或者提示。同时查找表中有无效操作项,当用户采用了无效操作后,给出提示,让用户重新操作。
底层软件设计了一个性能监控模块,创建了一个告警监控任务,该任务即时监控FPGA送出的当前E1信道上的误码情况,从而实现对PDH光口和SDH光口低阶的监控。FPGA同时将E2复用和1B1H编解码的信道误码和告警报告给CPU,由CPU显示控制。为了监控SDH再生段、复用段误码情况,底层软件创建了一个分析任务,读取E1映射/解映射芯片的B1、B2字节,通过B1、B2字节的情况判断当前光接口再生段、复用段是否误码。
底层软件设计了一个SDH开销字节监控模块,并在显示屏上设计了一个可视化窗体,用于显示当前SDH开销字节的具体值,并能通过可视化窗体向被测设备开销字节中插入数值。
四、总结
本设计提出的光数据分析仪解决方案完美的将对PDH设备光接口和SDH设备光接口的测试功能集成在了一个体积小巧、功耗较低的便携式仪器上。设计完成的样机有美观简洁的可视化窗体和灵活的功能按键,这使仪器具有很高的操作性。