变形观测数据处理系统的研究

变形观测数据处理系统的研究

倪宏宇

无锡市测绘院有限责任公司

通信地址：无锡市五爱路215号无锡市测绘院   邮编：214031

Mailing address : WuXi WUAI Road 215# WuXi Institute Of Surveying And Mapping

Zip code : 214031

摘要

变形观测处理系统面对多个问题，包括数据和资料的管理、数据序列和基准的一致性、变形本身的复杂性和变形分析的困难以及自动化测量仪器的数据累积问题。结合工程实践，本文探讨了一个自主研发的变形观测处理系统（WX变形观测处理软件 – WXDAS）的构架与实现，以及支撑其功能的关键技术。系统有5个特点，1数据输入和预处理使用与记录手簿接近的表格形式，输入工作量小且便于检查；2数据结构定义使用Schema定义，适应数据转换和入库；3数据格式使用XML定义，添加或修改数据格式只需在文本文件中说明；4使用数据列表管理观测数据和计算结果，通过比较和排序找出影响观测质量及变形量的因素；5使用矩阵运算和绘图函数简化程序设计复杂程度，便于移植到可编程计算器上去。功能分析的手段主要包括数据处理逻辑一致性检查、工作实践检查和工程上复算验算工作。

关键词：变形观测处理系统  平差  数据分析  报告

中图分类号：F228.4

Wu Xi Deformation And Analysis System

Ni hong yu

Software School Of Fudan University

Abstract

According to the author’s engineering experience, this thesis proposes the architecture, its implementation and supporting techniques of one deformation analysis system (WXDAS). The system addresses four issues, which are data and material management, the consistency between data sequence and benchmark, the complexity of deformation and its analysis, and the accumulation of measured data. For solving the above problems, our system pays much effort on data communication, data processing using database, data layout, measurement program coding, and data statistics using regression techniques.

WXDAS includes five functional modules. Namely, they are data transmission and conversion, data preprocessing, data regression, data analysis, and data report. The data transmission module includes two data manipulation manners, super-console and explorer，which are implemented using Visual Basic Control. The data conversion module is implemented using short program of Visual Basic. Data preprocessing module adopts data list manner for presenting information, and its layout is similar to the record format of outdoor measurement using paper. Data analysis is implemented one rank reduction free-grid algorithm using TB, which uses iterative approach to progressively compute the ground truth value. We also design data fitting and approximating methods for keeping the consistency of data temporal and spatial sequences. The report format is based on that of award-winner, it supports HTML、Word and Excel documents.

For testing our WXDAS system, we check the logic consistency between the input and output data after processing. The system is also used and verified on field for usability verification. Our system is successful in many engineering projects and its function and robustness are verified.

KeyWords: Deformation and analysis system; Adjustment; Analysis; Report

1 引言

变形是自然界普遍存在的自然现象，它是指变形体在各种内部和外部作用下，其形状、大小及位置发生变化。变形超过允许范围，则可能引发灾害。变形观测是在某一变形区域内部和周围地区选取具有代表性的观测点，周期性地对观测点进行测量，确定变形量。变形观测作为变形灾害防治的核心技术，在工程上有广泛的应用前景。变形观测工作受到测量人员、建筑设计和施工人员、机械设计和制造者以及地质学家和物理学家的高度重视。变形观测处理系统是处理变形观测数据的有力工具。变形观测处理系统运用现代变形分析的理论和方法，从系统角度出发，紧密结合工程实践，集成数据传输及转换、数据预处理、平差计算、分析建模以及展示分析结果并提交报告功能。它可以提高变形观测的自动化程度，一定程度上优化变形观测的流程体系。本文将结合工程实践，探讨一个自主研发的变形观测处理系统（WX变形观测处理软件 – WXDAS）的构架与实现，以及支撑其功能的关键技术。

2 变形观测数据的特点

变形观测数据具有四个主要特点：它在时空分析上数据呈序列性；序列内相邻数据的变化很小；数据累积非常快；验证模型所需的时间较长。以建筑物沉降观测数据序列为例，它具有趋势变化和随机变化的特点。沉降量时间序列从其特征来看，可以看成趋势项和随机项的组合，趋势项符合土力学荷载与地质情况函数关系，随机项是零均值的平稳序列。工程中，通常需要对同一数据序列蕴含的两种规律分别建立相应的模型，再将它们进行组合构建综合数据分析模型。综合模型具有更高的预测精度和相似性，能够较好地反映沉降变化规律[1]。

变形观测同一序列相邻数据的变化通常比较小，常常接近甚至小于仪器观测误差。常规观测方法由于观测数据量非常有限，数据片段偶尔出现遗失或出错，往往不能获得完整的数据序列。此外，现场影响观测准确性的因素很多，变形观测数据的质量会很不稳定。图1描述了在变形体安全与危险转化过程中，观测精度和影响因子对反映变形量的作用。白色区域表示对变形程度、变形趋势以及影响变形的因素完全清楚；黑色区域表示变形数据杂乱无章，完全没有规律；黑白中间的灰色区域表示变形信息不完全，变形的规律和影响变形的因素不完全明确。变形观测的过程就是变形信息逐渐完整，变形因素趋于明确的过程[2]。

图1变形量、精度与影响因子

现代变形观测工作为构建完整的数据序列，通常使用自动化的测量仪器长时间、大观测次数地对变形体进行密集地观测，观测数据累积非常快。如上海市GPS综合服务网由覆盖长江三角洲地区的14个GPS基准站组成，GPS接收机数据采样频率30秒，每天的数据量达到600MB；同样广州地铁隧道监测系统使用Leica TCA2003测量机器人，每十分钟对300多个棱镜进行一次观测，每次观测原始数据约为512KB；还有如无锡市1年1次地面沉降观测生成16MB数据和资料。这些变形观测数据常年累积下来，数据量非常惊人。

变形观测需要常年累月不间断地对变形体进行观测，大型人工建筑需要相当长的建设时间，建成后经过长期运营，才能趋于逐渐稳定，这一过程可能要长达几十年甚至几百年。获得大型建筑变形观测相对完整的数据序列，并根据这一序列验证一项变形分析的模型和公式需要漫长的等待。

3 变形观测处理系统所面对的困难

变形观测处理系统所面对的主要困难有：数据和资料的管理复杂繁琐；变形观测的方法、流程及基准很难保持长期一致；变形本身的复杂性和物理几何分析的困难。

一般建筑工作中变形监测是从施工开始前持续到工程结束，再经过额外的一段观测时间，直至建筑稳定为止，整个过程会产生大量原始观测资料。变形监测资料种类繁多，数量庞大，再加上各种复杂繁琐的计算评定和统计汇总，如果完全依靠资料管理员人工制作管理，则存在诸多弊端：随意性强、容易出错、效率低下且查找不便，同时也存在补、编资料的情况，使得变形观测资料并不能真实反映工程项目的实际情况。

一般一个工程的变形观测处理要求在一个统一基准上做，但在复杂的施工情况下，很难保证工作基准点和观测点长期稳固；在实际工作中，很难长时间保持变形观测实施方法和作业流程不变化。此外，变形观测数据要遵循严格的测量规范，有它自身的特点，各部门和各厂商遵循的规范并不一致。基准、观测方法及规范不统一会造成数据体系混乱，不能进行分析。虽然不同基准之间可以相互转换，但转换的过程复杂而且低效，会大大增加系统的冗余。

变形分析作为学术界研究的一个热点，新的模型、方法和新的技术不断涌现[3]。为专家分析提供符合要求的原始数据，是一项重要的工作，专家分析的结果具有权威性，分析的方法具有先进性。变形观测项目较大时，请专家分析数据是工程必不可少的重要环节。

目前已有一些商业变形系统，这些商业变形系统从系统集成角度出发，软硬件结合，对特殊事件和安全性考虑地比较周到，功能比较强；但是这些系统的价格比较贵，而且都带加密狗，一次只能供一个用户使用。出于商业目的，开发商不会公开源代码，这为修改程序适应用户特殊需求带来了不变。另外各工程单位也根据需要开发了不同的变形处理系统，这类系统功能较弱，只有数据转化和管理功能，计算和数据分析在他人的计算平台上完成，这类系统可以按照规范输出标准的数据报表，有一定的市场前景。

4 WXDAS系统功能设计

“WX变形观测处理软件” (简称WXDAS)，它将变形观测中的常规地面测量方法与计算机技术相结合，对光学水准仪、电子水准仪、经纬仪和全站仪数据特点进行分析，以建筑变形观测等测量工程为对象，实现从外业数据采集、质量检核、数据预处理、平差计算到最后成果报表输出和图形绘制的一体化及自动化作业流程。系统用Visual Baisc6.0(以下简称VB)编写，数据库管理系统用Access和FileMaker。

WXDAS系统界面设计直观、友好，界面设计参考一些Windows系统下开发的测量数据后处理商业软件，系统功能在菜单栏和工具栏选择并调用。系统设计数据管理功能使用类数据库表的数据列表，计算和分析结果功能用图表形式表达。考虑到系统使用人员是有一定工作经验的工程技术人员，他们可以熟练使用测量仪器，对仪器参数较为熟悉，平常经常接触公式、数据表、图形和报告，对观测数据超限问题设计了提示表，并对数据分析和报告功能进行了强化[4]。

变形观测工程中工作人员的职责有明确划分，从工程实际情况和使用权限设置考虑将WXDAS系统划分为5个主要功能模块。5个功能模块彼此独立又相互联系，可以单独使用也可以综合使用。图2是WXDAS系统功能模块划分图。工程师进行数值计算、数据分析并生成最后报告，主要使用模块3～5；观测员、记录员使用模块1及模块2也可以很好地完成自己的工作[5]。

图2 WXDAS系统功能模块划分

5 WXDAS系统关键技术

如前文所述，变形观测处理系统主要面临四种困难，这些困难解决的好坏，是衡量变形观测系统成功与否的重要标志。WXDAS系统可以解决这些困难。WXDAS系统的所表现功能，是在其背后的关键技术支撑下完成。下面分别阐述各个模块的技术细节，模块1 数据转换功能的实现和数据结构的定义；模块2 数据列表的设计；模块3 秩亏自由网平差程序设计；模块4 绘制回归分析曲线图；模块5 报告格式的设置。

5.1 数据转换

数据转换是WXDAS系统一项重要的功能。一方面不同电子测量仪器的数据记录文件格式差别非常大；另一方面各工程单位使用的记录手簿、观测记录程序没有统一的规范，数据记录格式也不相同。数据格式不统一造成管理和计算的混乱，为了规范数据管理和计算及分析数据需要，必须进行数据转换工作[6]。

WXDAS系统分三个步骤实现数据转换：第一步，利用VB open语句的Input、Append、Output功能，从数据文件中读、添加或重建一个新的数据文件。第二步，在模块区声明XLsheet为一个对象。第三步，定义XLsheet对象为一个电子表格，将各数据块依次填入各单元之中。

目前各仪器厂商都提供可以免费下载的数据传输软件。有一些数据传输软件也提供简单的数据转换功能。检查这些数据传输软件的代码可以看到，不同的原始数据格式，对应不同的赋值。程序要识别不同种类数据格式，就要编写很多程序段。如果使用XML文件的中间件技术，就可以大大降低程序复杂程度。使用数据转换功能，尤其是转换成数据库文件时，要注意到各仪器厂商定义的数据结构不同。本文根据需要使用XML Schema定义WXDAS系统的数据结构。

5.2 数据结构

定义WXDAS系统数据结构主要考虑三个问题，首先要保持数据序列完整和一致；其次要考虑数据累积问题；第三要为专家分析提供要求的数据和结果文件，为各种平差计算平台提供所需的观测数据和起算数据。

WXDAS系统数据结构是在捷克工业大学的Ales Cepek电子水准仪格式转换程序上发展起来的。2004年2月29日，捷克工业大学的Doc. Ing. Ales Cepek公布了把电子水准仪记录文件转换成XML程序convert.exe的源代码[8]。本文在分析convert.exe的源代码后，构建WXDAS系统数据结构模型，模型用XML Schema定义[9]。用Schema定义数据结构条理清晰，容易理解，层次性非常明显，逻辑模型明确。WXDAS系统的数据结构定义使用全局复合型元素，便于重复使用提高数据结构效率。

WXDAS系统数据结构模型描述了完整的变形测量形式。模型为树型结构，根目录下分三个模块：系统相关信息、项目描述、测量。系统相关信息包括系统用户、系统信息、和源文件路径。项目描述模块缺省值是空，用来表达大型项目时，所必须的时间、任务分配完成情况。测量模块有测量相关信息和测量数据。

5.3 数据列表

设计数据列表目的是简明清晰地表达变形观测数据、精度指标和计算结果。WXDAS系统数据列表格式设计成与外业观测手簿近似格式，符合测量员的操作习惯，另外也可以与仪器记录的数据一一对应，查找出错的数据进行修改、编辑或删除。

考虑到测量原始观测数据的特点和《规范》精神的实质[10]，数据预处理模块里设计了插入自动序号功能，电子仪器导入数据与手工输入数据设计了不同的转换界面，并且设置数据修改权限和仪器读数只读属性。

5.4 秩亏自由网平差程序

平差计算是WXDAS系统非常重要的功能。在算法筛选和程序设计上，经反复试验和对比，WXDAS系统选用True Basic(以下简称TB)编写平差程序，平差方法选用秩亏自由网平差法[11] [12]。

从80年代开始，有大量论文和工程实践，不断对秩亏自由网平差的方法进行优化和改进。矩阵形式表述秩亏自由网平差算法，清晰简明，是科技论文普遍采用的表达方法。相对其它编程语言，TB在数值计算，尤其在矩阵运算方面有非常明显的优势，所以WXDAS系统使用TB编写秩亏自由网平差程序[13]。

5.5 回归分析曲线图

WXDAS系统可执行线性回归、多项式回归、对数回归、指数回归和乘方回归计算。回归分析法是工程上广泛使用的变形分析方法。《规程》还给出了软土地基沉降对数回归的参数范围。

回归曲线图，能直观地反映回归计算趋近程度。简单地绘图，有人选择Excel图表菜单下添加趋势线功能绘制沉降曲线图，这种方法绘制的曲线过于简单，不适合描述复杂多变的变形情况，不宜在变形分析报告里提交。WXDAS系统使用TB编写绘图程序。主程序调用3个模块：数据计算，绘图界限确定，绘图连线。TB矩阵运算函数计算回归曲线插值点坐标，矩阵绘图功能连线绘制沉降回归曲线。也可以把计算得到的回归曲线插值点坐标保存为坐标文件，将坐标文件转换成AutoCAD DXF文件格式，使用AutoCAD绘回归分析曲线图，提交报告时将AutoCAD所绘图形插入报告的Word文档里。

图3是某建筑的沉降曲线。可以很清晰地看出建筑物正常的沉降，是循着：从缓慢活跃缓慢稳定的过程。变形观测成果图结合数据报表，可以得到令人信服的变形观测结论，这些成果应在最后的报告里提交。

Figure 3 Building Settlement Diagram(图3 建筑沉降曲线图)

5.6 报告

变形观测的最终成果是一份内容详实、清晰完整且结论明确的报告。《规范》规定报告应提交的内容、结构和格式，另外对编写报告内容的次序，图表绘制的位置、大小、标注，前人总结了很多宝贵的经验，尤其是一些获奖项目报告，倾注了许多人的心血，这些经验要继承下来，不断改进作为以后工作基准。

报告中需要添加统一规格、工整清楚的图表。为了编写符合要求的报表，有些单位在Excel等工具里做好报表，然后在Word文档里面反复调整，以获得******效果。同样为了添加清晰的图形，用屏幕截图在绘图工具上截取图像，图像贴到Word文档里面后反复调整。这种方法有明显的缺点，相对计算机强大的绘图功能，屏幕截图方法难以对图形进行修改，而且容易产生失真。

WXDAS系统使用TB格式打印函数编写数据报表输出子程序。TB格式打印函数是“PRINT USING format$ x,y,z”，其中“format$”为格式定义字符串，如“＃”代表一个数字位，“|”表示分隔。TB按行打印数据，输出结果排列整齐看起来象一张表格。源代码主要使用的语句是“PRINT using"|  +##.#####":i”。利用TB行输出的特点，这种特点可以让我们输出一份整齐的数据表格。

TB结果窗口的文件菜单下，有拷贝和打印功能选项。这里的拷贝功能，也是生成一个图像文件，可以插入Word文档。WXDAS系统还用VB开发了报表生成工具，可以根据数据自动生成一份Excel的错行表格。

6 WXDAS系统性能分析

实际工作中在开发WXDAS系统每个模块时，都事先好选择对应的检验分析手段。有些检验通过是自己实验，有些测试是复算已知数据等。功能测试较好的方法是功能模块放到日常工作中去，面对日常工作里有各种意想不到的情况，则功能的缺陷可以很快发现。如WXDAS系统频繁使用的数据导入、导出功能模块，各作业小组每天都在使用。各小组使用不同的仪器并设置不同的仪器通讯参数，时间和工作可以部分检验程序功能的完备性[14]。另外还有数据预处理功能模块，它主要的功能数据管理包括数据浏览、检查及修改等，每个工程项目经常要进行这些工作，程序里明显的错误很快可以发现，因为数据列表里的数据格式与仪器记录的数据一一对应，数据管理的准确性比较容易检验，而且若数据预处理出错，会导致下一步计算结果出错，与检核数据出现差异。

数据转换功能作业小组使用的比较少一些，这是后台的一些工作。检验数据转换功能，借助了测量仪器厂商提供的后处理软件。各种测量仪器的数据格式定义差异很大，各种数据表达的变形信息也不完全一致，使用仪器厂商的后处理软件能提供较为完整的信息，通过与这类信息比较，可以检验转换后的数据是否完整和一致[15]。

平差计算是变形观测程序最重要的模块，需花费很多精力来验证程序正确性。验证包括计算各种特例数据、使用经典算例的结论、使用大型工程项目数据及检查数值计算的精度和可靠性等。检验平差计算结果，与不断优化调整程序的过程是相互影响的过程。平差程序经过不断优化，可以达到一个比较成熟的阶段。

7 小结

变形是复杂的物理现象，变形的几何物理分析存在一定困难。变形观测数据有很强的序列性和累积性；同一序列相邻数据变化往往非常小，接近甚至小于仪器观测的误差和分辨度；建筑变形观测网范围较小，而要求较高，各种施工情况和意外事件很容易造成变形数据序列中断，变形观测基准变更；现代变形分析方法主张变形观测自动化，大量的数据和资料容易造成数据累积和资料管理繁琐。

变形数据处理工作首先应检查数据序列时空间一致性，利用变形观测处理系统，以数据列表的形式表现数据质量指标和指标限差，通过比较和排序检查数据序列的完整和一致，在时空间一致性立方体模型基础上可以找出影响变形观测数据质量和变形量的主要因素[16]。

变形数据处理的前提是变形数据及计算基准一致，以及选取与变形监测网所采用的基准相适应平差方法。变形数据处理的目的是进行变形分析，确定变形规律并预报变形趋势。变形数据处理的结果应为一份完整翔实规范的报告[17]。

WXDAS系统主要特点包括按照变形测量工作流程划分功能模块，根据测量人员的使用习惯设计操作方法；系统采用广泛使用的VB开发环境，使用ADO和DataGrid数据控件访问数据库，数据管理遵循《规程》要求的实质并顾及实际操作简便和工程应用情况，在数据列表里进行属性和权限设置；数据结构使用XML Schema定义，数据格式使用标准XML定义。这样改变变形观测工作方式和添加数据格式只要在文本文件中声明；根据《规程》要求计算采用秩亏自由网平差方法，平差用TB矩阵运算函数以迭代逼近方法计算结果，矩阵形式表达算法并进行优化清晰简洁；变形观测报告中使用TB屏幕拷贝功能提交数据报表和回归曲线图，可以得到令人信服的变形分析结论。