source: 1dwg/trunk/IgorPro/cansasXML.ipf @ 57

Last change on this file since 57 was 57, checked in by prjemian, 13 years ago

check that keywords are updated

  • Property svn:keywords set to Date Revision Author HeadURL Id
File size: 35.2 KB
Line 
1#pragma rtGlobals=1             // Use modern global access method.
2#pragma version=1.09
3
4// file:        cansasXML.ipf
5// author:      Pete R. Jemian <jemian@anl.gov>
6// date:        2008-06-19
7// SVN date:    $Date$
8// SVN rev.:    $Revision$
9// SVN URL:     $HeadURL$
10// SVN ID:      $Id$
11// purpose:  implement an IgorPro file reader to read the canSAS 1-D reduced SAS data in XML files
12//                      adheres to the cansas1d/1.0 standard
13// readme:    http://www.smallangles.net/wgwiki/index.php/cansas1d_binding_IgorPro
14// URL: http://www.smallangles.net/wgwiki/index.php/cansas1d_documentation
15//
16// requires:    IgorPro (http://www.wavemetrics.com/)
17//                              XMLutils - XOP (http://www.igorexchange.com/project/XMLutils)
18
19// ==================================================================
20// CS_XmlReader("bimodal-test1.xml")
21// CS_XmlReader("1998spheres.xml")
22// CS_XmlReader("xg009036_001.xml")
23// CS_XmlReader("s81-polyurea.xml")
24// CS_XmlReader("cs_af1410.xml")
25//  testCollette();  prjTest_cansas1d()
26// ==================================================================
27
28
29FUNCTION CS_XmlReader(fileName)
30        //
31        // open a canSAS 1-D reduced SAS XML data file
32        //      returns:
33        //              0 : successful
34        //              -1: XML file not found
35        //              -2: root element is not <SASroot> with valid canSAS namespace
36        //              -3: <SASroot> version  is not 1.0
37        //              -4: no <SASentry> elements
38        //              -5: XOPutils needs upgrade
39        //
40        STRING fileName
41        STRING origFolder
42        STRING workingFolder = "root:Packages:CS_XMLreader"
43        VARIABLE returnCode
44
45        //
46        // set up a work folder within root:Packages
47        // Clear out any progress/results from previous activities
48        //
49        origFolder = GetDataFolder(1)
50        SetDataFolder root:                                     // start in the root data folder
51        NewDataFolder/O  root:Packages          // good practice
52        KillDataFolder/Z  $workingFolder                // clear out any previous work
53        NewDataFolder/O/S  $workingFolder       // Do all our work in root:XMLreader
54
55        //
56        // Try to open the named XML file (clean-up and return if failure)
57        //
58        VARIABLE fileID
59        STRING/G errorMsg, xmlFile
60        xmlFile = fileName
61        fileID = XmlOpenFile(fileName)                  // open and parse the XMLfile
62        IF ( fileID < 0 )
63                SWITCH(fileID)                                  // fileID holds the return code; check it
64                        CASE -1:
65                                errorMsg = fileName + ": failed to parse XML"
66                        BREAK
67                        CASE -2:
68                                errorMsg = fileName + " either not found or cannot be opened for reading"
69                        BREAK
70                ENDSWITCH
71                PRINT errorMsg
72                SetDataFolder $origFolder
73                RETURN(-1)                                              // could not find file
74        ENDIF
75
76        //
77        //      test to see if XOPutils has the needed upgrade
78        //
79        XMLlistXpath(fileID, "/*", "") 
80        IF ( EXISTS( "M_listXPath" ) == 0 )
81                XmlCloseFile(fileID,0)
82                errorMsg = "XOPutils needs an upgrade:  http://www.igorexchange.com/project/XMLutils"
83                PRINT errorMsg
84                SetDataFolder $origFolder
85                RETURN(-5)                                              // XOPutils needs an upgrade
86        ENDIF
87        WAVE/T  M_listXPath
88
89        // check for canSAS namespace string, returns "" if not valid or not found
90        STRING/G ns = CS_getDefaultNamespace(fileID)
91        IF (strlen(ns) == 0 )
92                XmlCloseFile(fileID,0)
93                errorMsg = "root element is not <SASroot> with valid canSAS namespace"
94                PRINT errorMsg
95                SetDataFolder $origFolder
96                RETURN(-2)                                              // root element is not <SASroot> with valid canSAS namespace
97        ENDIF
98        STRING/G nsPre = "cs:"
99        STRING/G nsStr = "cs=" + ns
100
101        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
102        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
103       
104        STRSWITCH(ns)   
105        CASE "cansas1d/1.0":                                                    // version 1.0 of the canSAS 1-D reduced SAS data standard
106                PRINT fileName, "\t\t identified as: cansas1d/1.0 XML file"
107                returnCode = CS_1i_parseXml(fileID)                     //  This is where the action happens!
108                IF (returnCode != 0)
109                        IF (strlen(errorMsg) == 0)
110                                errorMsg = "error while parsing the XML"
111                        ENDIF
112                        PRINT errorMsg
113                        XmlCloseFile(fileID,0)
114                        SetDataFolder $origFolder
115                        RETURN(returnCode)                      // error while parsing the XML
116                ENDIF
117                BREAK
118        CASE "cansas1d/2.0a":                                           // unsupported
119        DEFAULT:                                                        // optional default expression executed
120                errorMsg = fileName + ": <SASroot>, namespace (" + ns + ") is not supported"
121                PRINT errorMsg
122                XmlCloseFile(fileID,0)
123                SetDataFolder $origFolder
124                RETURN(-3)                                              // attribute list must include version="1.0"
125        ENDSWITCH
126
127        XmlCloseFile(fileID,0)                                  // now close the file, without saving
128        fileID = -1
129
130        SetDataFolder root:Packages:CS_XMLreader
131        KillWaves/Z M_listXPath, SASentryList
132        SetDataFolder $origFolder
133        RETURN(0)                                                       // execution finished OK
134END
135
136FUNCTION/S CS_getDefaultNamespace(fileID)
137        // Test here (by guessing) for the various known namespaces.
138        // Return the one found in the "schemaLocation" attribute
139        // since the XMLutils XOP does not provide any xmlns attributes.
140        // It is possible to call XMLelemList and get the namespace directly
141        // but that call can be expensive (time) when there are lots of elements.
142        VARIABLE fileID
143        STRING ns = "", thisLocation
144        VARIABLE i, item
145        MAKE/T/N=(1)/O nsList           // list of all possible namespaces
146        nsList[0] = "cansas1d/1.0"              // first version of canSAS 1-D reduced SAS
147
148        FOR (item = 0; item < DimSize(nsList, 0); item += 1)            // loop over all possible namespaces
149                XMLlistAttr(fileID, "/cs:SASroot", "cs="+nsList[item])
150                WAVE/T M_listAttr
151                FOR (i = 0; i < DimSize(M_listAttr,0); i+=1)                    // loop over all available attributes
152                        // Expect the required canSAS XML header (will fail if "schemalocation" is not found)
153                        IF ( CmpStr(  LowerStr(M_listAttr[i][1]),  LowerStr("schemaLocation") ) == 0 )
154                                thisLocation = TrimWS(M_listAttr[i][2])
155                                IF ( StringMatch(thisLocation, nsList[item] + "*") )
156                                        ns = nsList[item]
157                                        BREAK           // found it!
158                                ENDIF
159                        ENDIF
160                ENDFOR
161                IF (strlen(ns))
162                        BREAK           // found it!
163                ENDIF
164        ENDFOR
165
166        KillWaves/Z nsList, M_listAttr
167        RETURN ns
168END
169
170// ==================================================================
171
172FUNCTION CS_1i_parseXml(fileID)
173        VARIABLE fileID
174        SVAR errorMsg, xmlFile
175        STRING/G Title, Title_folder
176        VARIABLE i, j, index, SASdata_index, returnCode = 0
177
178        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
179        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
180
181        // locate all the SASentry elements
182        //      assume nsPre = "cs" otherwise
183        // "/"+nsPre+":SASroot//"+nsPre+":SASentry"
184        XmlListXpath(fileID, "/cs:SASroot//cs:SASentry", nsStr)
185        WAVE/T  M_listXPath
186        STRING          SASentryPath
187        DUPLICATE/O/T   M_listXPath, SASentryList
188
189        FOR (i=0; i < DimSize(SASentryList, 0); i += 1)
190                SASentryPath = "/cs:SASroot/cs:SASentry["+num2str(i+1)+"]"
191                SetDataFolder root:Packages:CS_XMLreader
192               
193                title =  CS_1i_locateTitle(fileID, SASentryPath)
194                Title_folder = CS_cleanFolderName(Title)
195                NewDataFolder/O/S  $Title_folder
196
197                XmlListXpath(fileID, SASentryPath + "//cs:SASdata", nsStr)
198                WAVE/T  M_listXPath
199                IF ( DimSize(M_listXPath, 0) == 1)
200                        CS_1i_getOneSASdata(fileID, Title, SASentryPath+"/cs:SASdata")
201                        CS_1i_collectMetadata(fileID, SASentryPath)
202                ELSE
203                        FOR (j = 0; j < DimSize(M_listXPath, 0); j += 1)
204                                STRING SASdataFolder = CS_cleanFolderName("SASdata_" + num2str(j))
205                                NewDataFolder/O/S  $SASdataFolder
206                                CS_1i_getOneSASdata(fileID, Title, SASentryPath+"/cs:SASdata["+num2str(j+1)+"]")
207                                CS_1i_collectMetadata(fileID, SASentryPath)
208                                SetDataFolder ::                        // back up to parent directory
209                        ENDFOR
210                ENDIF
211                KillWaves/Z M_listXPath
212        ENDFOR
213
214        SetDataFolder root:Packages:CS_XMLreader
215        KillWaves/Z M_listXPath, SASentryList
216        RETURN(returnCode)
217END
218
219// ==================================================================
220
221FUNCTION/S CS_cleanFolderName(proposal)
222        STRING proposal
223        STRING result
224        result = CleanupName(proposal, 0)
225        IF ( CheckName(result, 11) != 0 )
226                result = UniqueName(result, 11, 0)
227        ENDIF
228        RETURN result
229END
230
231// ==================================================================
232
233FUNCTION CS_1i_getOneSASdata(fileID, Title, SASdataPath)
234        VARIABLE fileID
235        STRING Title, SASdataPath
236        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
237        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
238        VARIABLE i
239        STRING SASdata_name, suffix = ""
240
241        //grab the data and put it in the working data folder
242        CS_1i_GetReducedSASdata(fileID, SASdataPath)
243
244        //start the metadata
245        MAKE/O/T/N=(0,2) metadata
246
247        SVAR xmlFile = root:Packages:CS_XMLreader:xmlFile
248        CS_appendMetaData(fileID, "xmlFile", "", xmlFile)
249
250        SVAR ns = root:Packages:CS_XMLreader:ns
251        CS_appendMetaData(fileID, "namespace", "", ns)
252        CS_appendMetaData(fileID, "Title", "", Title)
253       
254        XmlListXpath(fileID, SASdataPath + "/..//cs:Run", nsStr)
255        WAVE/T  M_listXPath
256        FOR (i=0; i < DimSize(M_listXPath, 0); i += 1)
257                IF ( DimSize(M_listXPath, 0) > 1 )
258                        suffix = "_" + num2str(i)
259                ENDIF
260                CS_appendMetaData(fileID, "Run" + suffix,  SASdataPath + "/../cs:Run["+num2str(i+1)+"]", "")
261                CS_appendMetaData(fileID, "Run/@name" + suffix,  SASdataPath + "/../cs:Run["+num2str(i+1)+"]/@name", "")
262        ENDFOR
263
264        SASdata_name = TrimWS(XMLstrFmXpath(fileID,  SASdataPath + "/@name", nsStr, ""))
265        CS_appendMetaData(fileID, "SASdata/@name", "", SASdata_name)
266
267        KillWaves/Z M_listXPath
268END
269
270// ==================================================================
271
272FUNCTION CS_1i_getOneVector(file,prefix,XML_name,Igor_name)
273        VARIABLE file
274        STRING prefix,XML_name,Igor_name
275        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
276        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
277
278        XmlWaveFmXpath(file,prefix+XML_name,nsStr,"")                   //this loads ALL the vector's nodes at the same time
279        WAVE/T M_xmlcontent
280        WAVE/T W_xmlContentNodes
281        IF (DimSize(M_xmlcontent, 0))                   // test to see if the nodes exist.  not strictly necessary if you know the nodes are there
282                IF (DimSize(M_xmlcontent,1)>DimSize(M_xmlcontent,0))    //if you're not in vector mode
283                        MatrixTranspose M_xmlcontent
284                ENDIF
285                MAKE/O/D/N=(DimSize(M_xmlcontent, 0)) $Igor_name
286                WAVE vect = $Igor_name
287                vect=str2num(M_xmlcontent)
288        ENDIF
289        KILLWAVES/Z M_xmlcontent, W_xmlContentNodes
290END
291
292// ==================================================================
293
294FUNCTION CS_1i_GetReducedSASdata(fileID, SASdataPath)
295        VARIABLE fileID
296        STRING SASdataPath
297        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
298        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
299        STRING prefix = ""
300        VARIABLE pos
301
302        VARIABLE cansasStrict = 1               // !!!software developer's choice!!!
303        IF (cansasStrict)               // only get known canSAS data vectors
304                prefix = SASdataPath + "//cs:"
305                // load ALL nodes of each vector (if exists) at tthe same time
306                CS_1i_getOneVector(fileID, prefix, "Q",                 "Qsas")
307                CS_1i_getOneVector(fileID, prefix, "I",                 "Isas")
308                CS_1i_getOneVector(fileID, prefix, "Idev",              "Idev")
309                CS_1i_getOneVector(fileID, prefix, "Qdev",              "Qdev")
310                CS_1i_getOneVector(fileID, prefix, "dQw",       "dQw")
311                CS_1i_getOneVector(fileID, prefix, "dQl",               "dQl")
312                CS_1i_getOneVector(fileID, prefix, "Qmean",     "Qmean")
313                CS_1i_getOneVector(fileID, prefix, "Shadowfactor",      "Shadowfactor")
314                // check them for common length
315        ELSE                            // search for _ANY_ data vectors
316                // find the names of all the data columns and load them as vectors
317                // this gets tricky if we want to avoid namespace references
318                XmlListXpath(fileID, SASdataPath+"//cs:Idata[1]/*", nsStr)
319                WAVE/T M_listXPath
320                STRING xmlElement, xPathStr
321                STRING igorWave
322                VARIABLE j
323                FOR (j = 0; j < DimSize(M_listXPath, 0); j += 1)        // loop over all columns in SASdata/Idata[1]
324                        xmlElement = M_listXPath[j][1]
325                        STRSWITCH(xmlElement)
326                                CASE "Q":               // IgorPro does not allow a variable named Q
327                                CASE "I":                       // or I
328                                        igorWave = xmlElement + "sas"
329                                        BREAK
330                                DEFAULT:
331                                        igorWave = xmlElement           // can we trust this one?
332                        ENDSWITCH
333                        //
334//                      // This will need some work to support foreign namespaces here
335//                      //
336//                      //
337//                      xPathStr = M_listXPath[j][0]                                                    // clear name reference
338//                      pos = strsearch(xPathStr, "/", Inf, 3)                                  // peel off the tail of the string and reform
339//                      xmlElement = xPathStr[pos,Inf]                                          // find last element on the path
340//                      prefix = xPathStr[0, pos-1-4]+"/*"                                              // ALL Idata elements
341//                      CS_1i_getOneVector(fileID,prefix, xmlElement, igorWave)         // loads ALL rows (Idata) of the column at the same time
342                        //
343                        //  Could there be a problem with a foreign namespace here?
344                        prefix = SASdataPath+"//cs:Idata"                                               // ALL Idata elements
345                        xmlElement = "cs:" + M_listXPath[j][1]                                  // just this column
346                        CS_1i_getOneVector(fileID,prefix, xmlElement, igorWave)         // loads ALL rows (Idata) of the column at the same time
347                ENDFOR
348                // check them for common length
349        ENDIF
350 
351        //get rid of any mess
352        KILLWAVES/z M_listXPath
353END
354
355// ==================================================================
356
357FUNCTION CS_1i_collectMetadata(fileID, sasEntryPath)
358        VARIABLE fileID
359        STRING sasEntryPath
360        VARIABLE i, j
361        WAVE/T metadata
362        STRING suffix = "", preMeta = "", preXpath = ""
363        STRING value, detailsPath, detectorPath, notePath
364
365        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
366        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
367
368        // collect some metadata
369        // first, fill a table with keywords, and XPath locations, 3rd column will be values
370
371        // handle most <SASsample> fields
372        CS_appendMetaData(fileID, "SASsample/@name",                            sasEntryPath + "/cs:SASsample/@name", "")
373        CS_appendMetaData(fileID, "SASsample/ID",                                       sasEntryPath + "/cs:SASsample/cs:ID", "")
374        CS_appendMetaData(fileID, "SASsample/thickness",                                sasEntryPath + "/cs:SASsample/cs:thickness", "")
375        CS_appendMetaData(fileID, "SASsample/thickness/@unit",                  sasEntryPath + "/cs:SASsample/cs:thickness/@unit", "")
376        CS_appendMetaData(fileID, "SASsample/transmission",                     sasEntryPath + "/cs:SASsample/cs:transmission", "")
377        CS_appendMetaData(fileID, "SASsample/temperature",                      sasEntryPath + "/cs:SASsample/cs:temperature", "")
378        CS_appendMetaData(fileID, "SASsample/temperature/@unit",           sasEntryPath + "/cs:SASsample/cs:temperature/@unit", "")
379        CS_appendMetaData(fileID, "SASsample/position/x",                          sasEntryPath + "/cs:SASsample/cs:position/cs:x", "")
380        CS_appendMetaData(fileID, "SASsample/position/x/@unit",            sasEntryPath + "/cs:SASsample/cs:position/cs:x/@unit", "")
381        CS_appendMetaData(fileID, "SASsample/position/y",                          sasEntryPath + "/cs:SASsample/cs:position/cs:y", "")
382        CS_appendMetaData(fileID, "SASsample/position/y/@unit",            sasEntryPath + "/cs:SASsample/cs:position/cs:y/@unit", "")
383        CS_appendMetaData(fileID, "SASsample/position/z",                          sasEntryPath + "/cs:SASsample/cs:position/cs:z", "")
384        CS_appendMetaData(fileID, "SASsample/position/z/@unit",            sasEntryPath + "/cs:SASsample/cs:position/cs:z/@unit", "")
385        CS_appendMetaData(fileID, "SASsample/orientation/roll",                    sasEntryPath + "/cs:SASsample/cs:orientation/cs:roll", "")
386        CS_appendMetaData(fileID, "SASsample/orientation/roll/@unit",      sasEntryPath + "/cs:SASsample/cs:orientation/cs:roll/@unit", "")
387        CS_appendMetaData(fileID, "SASsample/orientation/pitch",           sasEntryPath + "/cs:SASsample/cs:orientation/cs:pitch", "")
388        CS_appendMetaData(fileID, "SASsample/orientation/pitch/@unit",     sasEntryPath + "/cs:SASsample/cs:orientation/cs:pitch/@unit", "")
389        CS_appendMetaData(fileID, "SASsample/orientation/yaw",                     sasEntryPath + "/cs:SASsample/cs:orientation/cs:yaw", "")
390        CS_appendMetaData(fileID, "SASsample/orientation/yaw/@unit",       sasEntryPath + "/cs:SASsample/cs:orientation/cs:yaw/@unit", "")
391        // <SASsample><details> might appear multiple times, too!
392        XmlListXpath(fileID, sasEntryPath+"/cs:SASsample//cs:details", nsStr)   //output: M_listXPath
393        WAVE/T  M_listXPath
394        DUPLICATE/O/T   M_listXPath, detailsList
395        suffix = ""
396        FOR (i = 0; i < DimSize(detailsList, 0); i += 1)
397                IF (DimSize(detailsList, 0) > 1)
398                        suffix = "_" + num2str(i)
399                ENDIF
400                detailsPath = sasEntryPath+"/cs:SASsample/cs:details["+num2str(i+1)+"]"
401                CS_appendMetaData(fileID, "SASsample/details"+suffix+"/@name",  detailsPath + "/@name", "")
402                CS_appendMetaData(fileID, "SASsample/details"+suffix,           detailsPath, "")
403        ENDFOR
404
405
406        // <SASinstrument>
407        CS_appendMetaData(fileID, "SASinstrument/name",         sasEntryPath + "/cs:SASinstrument/cs:name", "")
408        CS_appendMetaData(fileID, "SASinstrument/@name",        sasEntryPath + "/cs:SASinstrument/@name", "")
409
410        // <SASinstrument><SASsource>
411        preMeta = "SASinstrument/SASsource"
412        preXpath = sasEntryPath + "/cs:SASinstrument/cs:SASsource"
413        CS_appendMetaData(fileID, preMeta + "/@name",                      preXpath + "/@name", "")
414        CS_appendMetaData(fileID, preMeta + "/radiation",                  preXpath + "/cs:radiation", "")
415        CS_appendMetaData(fileID, preMeta + "/beam/size/@name",            preXpath + "/cs:beam_size/@name", "")
416        CS_appendMetaData(fileID, preMeta + "/beam/size/x",                preXpath + "/cs:beam_size/cs:x", "")
417        CS_appendMetaData(fileID, preMeta + "/beam/size/x@unit",           preXpath + "/cs:beam_size/cs:x/@unit", "")
418        CS_appendMetaData(fileID, preMeta + "/beam/size/y",                preXpath + "/cs:beam_size/cs:y", "")
419        CS_appendMetaData(fileID, preMeta + "/beam/size/y@unit",           preXpath + "/cs:beam_size/cs:y/@unit", "")
420        CS_appendMetaData(fileID, preMeta + "/beam/size/z",                preXpath + "/cs:beam_size/cs:z", "")
421        CS_appendMetaData(fileID, preMeta + "/beam/size/z@unit",           preXpath + "/cs:beam_size/cs:z/@unit", "")
422        CS_appendMetaData(fileID, preMeta + "/beam/shape",                 preXpath + "/cs:beam_shape", "")
423        CS_appendMetaData(fileID, preMeta + "/wavelength",                 preXpath + "/cs:wavelength", "")
424        CS_appendMetaData(fileID, preMeta + "/wavelength/@unit",           preXpath + "/cs:wavelength/@unit", "")
425        CS_appendMetaData(fileID, preMeta + "/wavelength_min",             preXpath + "/cs:wavelength_min", "")
426        CS_appendMetaData(fileID, preMeta + "/wavelength_min/@unit",       preXpath + "/cs:wavelength_min/@unit", "")
427        CS_appendMetaData(fileID, preMeta + "/wavelength_max",             preXpath + "/cs:wavelength_max", "")
428        CS_appendMetaData(fileID, preMeta + "/wavelength_max/@unit",       preXpath + "/cs:wavelength_max/@unit", "")
429        CS_appendMetaData(fileID, preMeta + "/wavelength_spread",          preXpath + "/cs:wavelength_spread", "")
430        CS_appendMetaData(fileID, preMeta + "/wavelength_spread/@unit",    preXpath + "/cs:wavelength_spread/@unit", "")
431
432        // <SASinstrument><SAScollimation> might appear multiple times
433        XmlListXpath(fileID, sasEntryPath+"/cs:SASinstrument//cs:SAScollimation", nsStr)        //output: M_listXPath
434        WAVE/T  M_listXPath
435        DUPLICATE/O/T   M_listXPath, SAScollimationList
436        STRING collimationPath
437        FOR (i = 0; i < DimSize(SAScollimationList, 0); i += 1)
438                preMeta = "SASinstrument/SAScollimation"
439                IF (DimSize(SAScollimationList, 0) > 1)
440                        preMeta += "_" + num2str(i)
441                ENDIF
442                collimationPath = sasEntryPath+"/cs:SASinstrument/cs:SAScollimation["+num2str(i+1)+"]"
443                CS_appendMetaData(fileID, preMeta + "/@name",               collimationPath + "/@name", "")
444                CS_appendMetaData(fileID, preMeta + "/length",              collimationPath + "/cs:length", "")
445                CS_appendMetaData(fileID, preMeta + "/length_unit",         collimationPath + "/cs:length/@unit", "")
446                FOR (j = 0; j < DimSize(M_listXPath, 0); j += 1)        // aperture may be repeated!
447                        IF (DimSize(M_listXPath, 0) == 1)
448                                preMeta = "SASinstrument/SAScollimation/aperture"
449                        ELSE
450                                preMeta = "SASinstrument/SAScollimation/aperture_" + num2str(j)
451                        ENDIF
452                        preXpath = collimationPath + "/cs:aperture["+num2str(j+1)+"]"
453                        CS_appendMetaData(fileID, preMeta + "/@name",         preXpath + "/@name", "")
454                        CS_appendMetaData(fileID, preMeta + "/type",          preXpath + "/cs:type", "")
455                        CS_appendMetaData(fileID, preMeta + "/size/@name",     preXpath + "/cs:size/@name", "")
456                        CS_appendMetaData(fileID, preMeta + "/size/x",        preXpath + "/cs:size/cs:x", "")
457                        CS_appendMetaData(fileID, preMeta + "/size/x/@unit",   preXpath + "/cs:size/cs:x/@unit", "")
458                        CS_appendMetaData(fileID, preMeta + "/size/y",        preXpath + "/cs:size/cs:y", "")
459                        CS_appendMetaData(fileID, preMeta + "/size/y/@unit",   preXpath + "/cs:size/cs:y/@unit", "")
460                        CS_appendMetaData(fileID, preMeta + "/size/z",        preXpath + "/cs:size/cs:z", "")
461                        CS_appendMetaData(fileID, preMeta + "/size/z/@unit",   preXpath + "/cs:size/cs:z/@unit", "")
462                        CS_appendMetaData(fileID, preMeta + "/distance",       preXpath + "/cs:distance", "")
463                        CS_appendMetaData(fileID, preMeta + "/distance/@unit", preXpath + "/cs:distance/@unit", "")
464                ENDFOR
465        ENDFOR
466
467        // <SASinstrument><SASdetector> might appear multiple times
468        XmlListXpath(fileID, sasEntryPath+"/cs:SASinstrument//cs:SASdetector", nsStr)   //output: M_listXPath
469        WAVE/T  M_listXPath
470        DUPLICATE/O/T   M_listXPath, SASdetectorList
471        FOR (i = 0; i < DimSize(SASdetectorList, 0); i += 1)
472                preMeta = "SASinstrument/SASdetector"
473                IF (DimSize(SASdetectorList, 0) > 1)
474                        preMeta += "_" + num2str(i)
475                ENDIF
476                detectorPath = sasEntryPath+"/cs:SASinstrument/cs:SASdetector["+num2str(i+1)+"]"
477                CS_appendMetaData(fileID, preMeta + "/@name",                    detectorPath + "/cs:name", "")
478                CS_appendMetaData(fileID, preMeta + "/SDD",                              detectorPath + "/cs:SDD", "")
479                CS_appendMetaData(fileID, preMeta + "/SDD/@unit",                        detectorPath + "/cs:SDD/@unit", "")
480                CS_appendMetaData(fileID, preMeta + "/offset/@name",             detectorPath + "/cs:offset/@name", "")
481                CS_appendMetaData(fileID, preMeta + "/offset/x",                 detectorPath + "/cs:offset/cs:x", "")
482                CS_appendMetaData(fileID, preMeta + "/offset/x/@unit",           detectorPath + "/cs:offset/cs:x/@unit", "")
483                CS_appendMetaData(fileID, preMeta + "/offset/y",                 detectorPath + "/cs:offset/cs:y", "")
484                CS_appendMetaData(fileID, preMeta + "/offset/y/@unit",           detectorPath + "/cs:offset/cs:y/@unit", "")
485                CS_appendMetaData(fileID, preMeta + "/offset/z",                 detectorPath + "/cs:offset/cs:z", "")
486                CS_appendMetaData(fileID, preMeta + "/offset/z/@unit",           detectorPath + "/cs:offset/cs:z/@unit", "")
487
488                CS_appendMetaData(fileID, preMeta + "/orientation/@name",        detectorPath + "/cs:orientation/@name", "")
489                CS_appendMetaData(fileID, preMeta + "/orientation/roll",         detectorPath + "/cs:orientation/cs:roll", "")
490                CS_appendMetaData(fileID, preMeta + "/orientation/roll/@unit",   detectorPath + "/cs:orientation/cs:roll/@unit", "")
491                CS_appendMetaData(fileID, preMeta + "/orientation/pitch",        detectorPath + "/cs:orientation/cs:pitch", "")
492                CS_appendMetaData(fileID, preMeta + "/orientation/pitch/@unit",   detectorPath + "/cs:orientation/cs:pitch/@unit", "")
493                CS_appendMetaData(fileID, preMeta + "/orientation/yaw",          detectorPath + "/cs:orientation/cs:yaw", "")
494                CS_appendMetaData(fileID, preMeta + "/orientation/yaw/@unit",    detectorPath + "/cs:orientation/cs:yaw/@unit", "")
495
496                CS_appendMetaData(fileID, preMeta + "/beam_center/@name",        detectorPath + "/cs:beam_center/@name", "")
497                CS_appendMetaData(fileID, preMeta + "/beam_center/x",            detectorPath + "/cs:beam_center/cs:x", "")
498                CS_appendMetaData(fileID, preMeta + "/beam_center/x/@unit",      detectorPath + "/cs:beam_center/cs:x/@unit", "")
499                CS_appendMetaData(fileID, preMeta + "/beam_center/y",            detectorPath + "/cs:beam_center/cs:y", "")
500                CS_appendMetaData(fileID, preMeta + "/beam_center/y/@unit",      detectorPath + "/cs:beam_center/cs:y/@unit", "")
501                CS_appendMetaData(fileID, preMeta + "/beam_center/z",            detectorPath + "/cs:beam_center/cs:z", "")
502                CS_appendMetaData(fileID, preMeta + "/beam_center/z/@unit",      detectorPath + "/cs:beam_center/cs:z/@unit", "")
503
504                CS_appendMetaData(fileID, preMeta + "/pixel_size/@name",         detectorPath + "/cs:pixel_size/@name", "")
505                CS_appendMetaData(fileID, preMeta + "/pixel_size/x",             detectorPath + "/cs:pixel_size/cs:x", "")
506                CS_appendMetaData(fileID, preMeta + "/pixel_size/x/@unit",       detectorPath + "/cs:pixel_size/cs:x/@unit", "")
507                CS_appendMetaData(fileID, preMeta + "/pixel_size/y",             detectorPath + "/cs:pixel_size/cs:y", "")
508                CS_appendMetaData(fileID, preMeta + "/pixel_size/y/@unit",       detectorPath + "/cs:pixel_size/cs:y/@unit", "")
509                CS_appendMetaData(fileID, preMeta + "/pixel_size/z",             detectorPath + "/cs:pixel_size/cs:z", "")
510                CS_appendMetaData(fileID, preMeta + "/pixel_size/z/@unit",       detectorPath + "/cs:pixel_size/cs:z/@unit", "")
511
512                CS_appendMetaData(fileID, preMeta + "/slit_length",                    detectorPath + "/cs:slit_length", "")
513                CS_appendMetaData(fileID, preMeta + "/slit_length/@unit",              detectorPath + "/cs:slit_length/@unit", "")
514        ENDFOR
515
516        // <SASprocess> might appear multiple times
517        XmlListXpath(fileID, sasEntryPath+"//cs:SASprocess", nsStr)     //output: M_listXPath
518        WAVE/T  M_listXPath
519        DUPLICATE/O/T   M_listXPath, SASprocessList
520        STRING SASprocessPath, prefix
521        FOR (i = 0; i < DimSize(SASprocessList, 0); i += 1)
522                preMeta = "SASprocess"
523                IF (DimSize(SASprocessList, 0) > 1)
524                        preMeta += "_" + num2str(i)
525                ENDIF
526                SASprocessPath = sasEntryPath+"/cs:SASprocess["+num2str(i+1)+"]"
527                CS_appendMetaData(fileID, preMeta+"/@name",        SASprocessPath + "/@name", "")
528                CS_appendMetaData(fileID, preMeta+"/name",         SASprocessPath + "/cs:name", "")
529                CS_appendMetaData(fileID, preMeta+"/date",                 SASprocessPath + "/cs:date", "")
530                CS_appendMetaData(fileID, preMeta+"/description",   SASprocessPath + "/cs:description", "")
531                XmlListXpath(fileID, SASprocessPath+"//cs:term", nsStr)
532                FOR (j = 0; j < DimSize(M_listXPath, 0); j += 1)
533                        prefix = SASprocessPath + "/cs:term[" + num2str(j+1) + "]"
534                        CS_appendMetaData(fileID, preMeta+"/term_"+num2str(j)+"/@name",     prefix + "/@name", "")
535                        CS_appendMetaData(fileID, preMeta+"/term_"+num2str(j)+"/@unit",           prefix + "/@unit", "")
536                        CS_appendMetaData(fileID, preMeta+"/term_"+num2str(j),                            prefix, "")
537                ENDFOR
538                // ignore <SASprocessnote>
539        ENDFOR
540
541        // <SASnote> might appear multiple times
542        XmlListXpath(fileID, sasEntryPath+"//cs:SASnote", nsStr)        //output: M_listXPath
543        WAVE/T  M_listXPath
544        DUPLICATE/O/T   M_listXPath, SASnoteList
545        FOR (i = 0; i < DimSize(SASnoteList, 0); i += 1)
546                preMeta = "SASnote"
547                IF (DimSize(SASnoteList, 0) > 1)
548                        preMeta += "_" + num2str(i)
549                ENDIF
550                notePath = sasEntryPath+"//cs:SASnote["+num2str(i+1)+"]"
551                CS_appendMetaData(fileID, preMeta+"/@name",     notePath + "/@name", "")
552                CS_appendMetaData(fileID, preMeta,              notePath, "")
553        ENDFOR
554
555        KillWaves/Z M_listXPath, detailsList, SAScollimationList, SASdetectorList, SASprocessList, SASnoteList
556END
557
558// ==================================================================
559
560FUNCTION/S CS_1i_locateTitle(fileID, SASentryPath)
561        VARIABLE fileID
562        STRING SASentryPath
563        STRING TitlePath, Title
564        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
565        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
566
567        // /cs:SASroot/cs:SASentry/cs:Title is the expected location, but it could be empty
568        TitlePath = SASentryPath + "/cs:Title"
569        Title = XMLstrFmXpath(fileID,  TitlePath, nsStr, "")
570        // search harder for a title
571        IF (strlen(Title) == 0)
572                TitlePath = SASentryPath + "/@name"
573                Title = XMLstrFmXpath(fileID,  TitlePath, nsStr, "")
574        ENDIF
575        IF (strlen(Title) == 0)
576                TitlePath = SASentryPath + "/cs:SASsample/cs:ID"
577                Title = XMLstrFmXpath(fileID,  TitlePath, nsStr, "")
578        ENDIF
579        IF (strlen(Title) == 0)
580                TitlePath = SASentryPath + "/cs:SASsample/@name"
581                Title = XMLstrFmXpath(fileID,  TitlePath, nsStr, "")
582        ENDIF
583        IF (strlen(Title) == 0)
584                // last resort: make up a title
585                Title = "SASentry"
586                TitlePath = ""
587        ENDIF
588        PRINT "\t Title:", Title
589        RETURN(Title)
590END
591
592// ==================================================================
593
594FUNCTION CS_appendMetaData(fileID, key, xpath, value)
595        VARIABLE fileID
596        STRING key, xpath, value
597        WAVE/T metadata
598        STRING k, v
599
600        SVAR nsPre = root:Packages:CS_XMLreader:nsPre
601        SVAR nsStr = root:Packages:CS_XMLreader:nsStr
602
603        k = TrimWS(key)
604        IF (  strlen(k) > 0 )
605                IF ( strlen(xpath) > 0 )
606                        value = XMLstrFmXpath(fileID,  xpath, nsStr, "")
607                ENDIF
608                // What if the value string has a ";" embedded?
609                //  This could complicate (?compromise?) the wavenote "key=value;" syntax.
610                //  But let the caller deal with it.
611                v = TrimWS(ReplaceString(";", value, " :semicolon: "))
612                IF ( strlen(v) > 0 )
613                        VARIABLE last
614                        last = DimSize(metadata, 0)
615                        Redimension/N=(last+1, 2) metadata
616                        metadata[last][0] = k
617                        metadata[last][1] = v
618                ENDIF
619        ENDIF
620END
621
622// ==================================================================
623
624Function/T   TrimWS(str)
625    // TrimWhiteSpace (code from Jon Tischler)
626    String str
627    return TrimWSL(TrimWSR(str))
628End
629
630// ==================================================================
631
632Function/T   TrimWSL(str)
633    // TrimWhiteSpaceLeft (code from Jon Tischler)
634    String str
635    Variable i, N=strlen(str)
636    for (i=0;char2num(str[i])<=32 && i<N;i+=1)    // find first non-white space
637    endfor
638    return str[i,Inf]
639End
640
641// ==================================================================
642
643Function/T   TrimWSR(str)
644    // TrimWhiteSpaceRight (code from Jon Tischler)
645    String str
646    Variable i
647    for (i=strlen(str)-1; char2num(str[i])<=32 && i>=0; i-=1)    // find last non-white space
648    endfor
649    return str[0,i]
650End
651
652// ==================================================================
653// ==================================================================
654// ==================================================================
655
656
657FUNCTION prj_grabMyXmlData()
658        STRING srcDir = "root:Packages:CS_XMLreader"
659        STRING destDir = "root:PRJ_canSAS"
660        STRING srcFolder, destFolder, theFolder
661        Variable i
662        NewDataFolder/O  $destDir               // for all my imported data
663        FOR ( i = 0; i < CountObjects(srcDir, 4) ; i += 1 )
664                theFolder = GetIndexedObjName(srcDir, 4, i)
665                srcFolder = srcDir + ":" + theFolder
666                destFolder = destDir + ":" + theFolder
667                // PRINT srcFolder, destFolder
668                IF (DataFolderExists(destFolder))
669                        // !!!!!!!!!!!!!!!!! NOTE !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
670                        // need to find unique name for destination
671                        // Persons who implement this properly should be more elegant
672                        // For now, I will blast the existing and proceed blindly.
673                        KillDataFolder/Z  $destFolder           // clear out any previous work
674                        DuplicateDataFolder $srcFolder, $destFolder
675                ELSE
676                        DuplicateDataFolder $srcFolder, $destFolder
677                ENDIF
678        ENDFOR
679END
680
681FUNCTION prjTest_cansas1d()
682        // unit tests for the routines under prj-readXML.ipf
683        STRING theFile
684        STRING fList = ""
685        VARIABLE i, result, timerID, seconds
686        // build a table of test data sets
687        fList = AddListItem("elmo.xml",                                 fList, ";", Inf)                // non-existent file
688        fList = AddListItem("cansasXML.ipf",                    fList, ";", Inf)                // this file (should fail on XML parsing)
689        fList = AddListItem("book.xml",                                 fList, ";", Inf)                // good XML example file but not canSAS, not even close
690        fList = AddListItem("bimodal-test1.xml",                fList, ";", Inf)                // simple dataset
691        fList = AddListItem("bimodal-test2-vector.xml", fList, ";", Inf)                // version 2.0 file (no standard yet)
692        fList = AddListItem("test.xml",                                 fList, ";", Inf)                // cs_collagen.xml with no namespace
693        fList = AddListItem("test2.xml",                                fList, ";", Inf)                // version 2.0 file (no standard yet)
694        fList = AddListItem("ISIS_SANS_Example.xml",    fList, ";", Inf)                // from S. King, 2008-03-17
695        fList = AddListItem("W1W2.xml",                                 fList, ";", Inf)                // from S. King, 2008-03-17
696        fList = AddListItem("ill_sasxml_example.xml",   fList, ";", Inf)                // from canSAS 2007 meeting, reformatted
697        fList = AddListItem("isis_sasxml_example.xml",  fList, ";", Inf)                // from canSAS 2007 meeting, reformatted
698        fList = AddListItem("r586.xml",                                         fList, ";", Inf)                // from canSAS 2007 meeting, reformatted
699        fList = AddListItem("r597.xml",                                         fList, ";", Inf)                // from canSAS 2007 meeting, reformatted
700        fList = AddListItem("xg009036_001.xml",                 fList, ";", Inf)                // foreign elements with other namespaces
701        fList = AddListItem("cs_collagen.xml",                  fList, ";", Inf)                // another simple dataset, bare minimum info
702        fList = AddListItem("cs_collagen_full.xml",             fList, ";", Inf)                // more Q range than previous
703        fList = AddListItem("cs_af1410.xml",                    fList, ";", Inf)                // multiple SASentry and SASdata elements
704        fList = AddListItem("cansas1d-template.xml",    fList, ";", Inf)                // multiple SASentry and SASdata elements
705        fList = AddListItem("1998spheres.xml",                  fList, ";", Inf)                // 2 SASentry, few thousand data points each
706        fList = AddListItem("does-not-exist-file.xml",          fList, ";", Inf)                // non-existent file
707        fList = AddListItem("cs_rr_polymers.xml",               fList, ";", Inf)                // Round Robin polymer samples from John Barnes @ NIST
708        fList = AddListItem("s81-polyurea.xml",                         fList, ";", Inf)                // polyurea from APS/USAXS/Indra (with extra metadata)
709       
710        // try to load each data set in the table
711        FOR ( i = 0; i < ItemsInList(fList) ; i += 1 )
712                theFile = StringFromList(i, fList)                                      // walk through all test files
713                // PRINT "file: ", theFile
714                pathInfo home
715                //IF (CS_XmlReader(theFile) == 0)                                       // did the XML reader return without an error code?
716                timerID = StartMStimer
717                result = CS_XmlReader(ParseFilePath(5,S_path,"*",0,0) + theFile)
718                seconds = StopMSTimer(timerID) * 1.0e-6
719                PRINT "\t Completed in ", seconds, " seconds"
720                IF (result == 0)    // did the XML reader return without an error code?
721                        prj_grabMyXmlData()                                             // move the data to my directory
722                ENDIF
723        ENDFOR
724END
725
726
727FUNCTION testCollette()
728                                        // !!!!!!!!!!!!!!!!! NOTE !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
729                                        //          THIS IS JUST AN EXAMPLE
730
731// suggestions from ISIS users
732        // 3.   Loading actual data from LOQ caused some problems.
733        //      Data created by Colette names files with run number.
734        //      When entering full path to load the data if you use "…\example\31531.X" Igor will read \3 as a character.
735        //      A simple fix which has worked for this is to use / instead of \ e.g. "…\example/31531.X".
736       
737        //4.    Once data is loaded in Igor it is relatively easy to work with but would be nicer if the SASdata
738        //      was loaded into root directory (named using run number rather than generically as it is at the moment) rather than another folder.
739        //This becomes more problematic when two samples are being loaded for comparison.
740        //      Although still relatively easy to work with, changing the folders can lead to mistakes being made.
741
742        //Say, for Run=31531, then Qsas_31531
743
744        CS_XmlReader("W1W2.XML")
745        STRING srcDir = "root:Packages:CS_XMLreader"
746        STRING destDir = "root", importFolder, target
747        Variable i, j
748        FOR ( i = 0; i < CountObjects(srcDir, 4) ; i += 1 )
749                SetDataFolder $srcDir
750                importFolder = GetIndexedObjName(srcDir, 4, i)
751                SetDataFolder $importFolder
752                IF ( EXISTS( "metadata" ) == 1 )
753                        // looks like a SAS data folder
754                        WAVE/T metadata
755                        STRING Run = ""
756                        FOR (j = 0; j < DimSize(metadata, 0); j += 1)
757                                IF ( CmpStr( "Run", metadata[j][0]) == 0 )
758                                        // get the Run number and "clean" it up a bit
759                                        Run = TrimWS(  ReplaceString("\\", metadata[j][1], "/")  )
760                                        // !!!!!!!!!!!!!!!!! NOTE !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
761                                        // need to find unique name for destination waves       
762                                        //          THIS IS JUST AN EXAMPLE
763                                        // Persons who implement this properly should be more elegant
764                                        // For now, I will blast any existing and proceed blindly.
765                                        target = "root:Qsas_" + Run
766                                        Duplicate/O Qsas, $target
767                                        target = "root:Isas_" + Run
768                                        Duplicate/O Isas, $target
769                                        IF ( exists( "Idev" ) == 1 )
770                                                target = "root:Idev_" + Run
771                                                Duplicate/O Idev, $target
772                                        ENDIF
773                                        IF ( exists( "Qdev" ) == 1 )
774                                                target = "root:Qdev_" + Run
775                                                Duplicate/O Qdev, $target
776                                        ENDIF
777                                        IF ( exists( "dQw" ) == 1 )
778                                                target = "root:QdQw_" + Run
779                                                Duplicate/O dQw, $target
780                                        ENDIF
781                                        IF ( exists( "dQl" ) == 1 )
782                                                target = "root:dQl_" + Run
783                                                Duplicate/O dQl, $target
784                                        ENDIF
785                                        IF ( exists( "Qmean" ) == 1 )
786                                                target = "root:Qmean_" + Run
787                                                Duplicate/O Qmean, $target
788                                        ENDIF
789                                        IF ( exists( "Shadowfactor" ) == 1 )
790                                                target = "root:Shadowfactor_" + Run
791                                                Duplicate/O Shadowfactor, $target
792                                        ENDIF
793                                        target = "root:metadata_" + Run
794                                        Duplicate/O/T metadata, $target
795                                        BREAK
796                                ENDIF
797                        ENDFOR
798                ENDIF
799        ENDFOR
800
801        SetDataFolder root:
802END
Note: See TracBrowser for help on using the repository browser.