INFO: Dieses Forum nutzt Cookies...
Cookies sind für den Betrieb des Forums unverzichtbar. Mit der Nutzung des Forums erklärst Du dich damit einverstanden, dass wir Cookies verwenden.

Es wird in jedem Fall ein Cookie gesetzt um diesen Hinweis nicht mehr zu erhalten. Desweiteren setzen wir Google Adsense und Google Analytics ein.




Unsere Partner:

DIAdem-Forum.de Partner

DIAdem-Forum.de Partner






Stellenangebote:
Softwareentwickler LabVIEW (M/W/D)
Büdingen

Experte National Instruments (m/w/d)
Steinfurt

Techniker Prozessentwicklung und Versuche (m/w/d)
Minden

Application Engineer - Service [m/w/d]
Eschbach

Senior Specialist Reliability Device Engineering (w/m/div)*
München

Wissenschaftlicher Mitarbeiter (m/w/d) Qualitätstests von Photovoltaik Modulen und Systemen
Stuttgart

Senior Developer mit Produktverantwortung (m/w/d) Messsysteme
Rheinland-Pfalz

Ingenieur (m/w/d) im Fachgebiet "Optische Strahlung (UV, Licht, Infrarot)"
Oberschleißheim





.
 
Themabewertung:
  • 0 Bewertung(en) - 0 im Durchschnitt
  • 1
  • 2
  • 3
  • 4
  • 5

Import v. *txt-Dateien dauert zu lange
29.02.2012, 15:39,
#1
DIAdem-Version: 10.2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 2011
Import v. *txt-Dateien dauert zu lange

Ich habe ein Problem mit dem Import von *txt-Dateien aus dem Navigator in das Data Portal. Die txt-Dateien haben alle den gleichen Aufbau und beinhalten 412 (TAB-getrennte) Messwerte. Das dazugehörige txt-plugin wurde mit externer Hilfe erstellt. Wenn ich eine kleine Anzahl von z.B. 5 txt-Dateien in das Data Portal lade, funktioniert der Import tadellos und auch zügig (ca. 5 sec.). Mit steigender Anzahl der zu importierenden txt-Dateien wird der Import immer und immer langsamer (142 txt-Dateien benötigen bis zu 15 min !). Ich kann auch nur maximal 159 txt-Dateien importieren, ab der 160. txt-Datei bekomme ich für jeden verbleibenden Import eine Fehlermeldung (Das Laden der Datei .....mit dem Ladeverfahren "Pumpeninsel" ist fehlgeschlagen ! Weitere Hinweise: Beim Datenimport ist das Kopieren der Massendaten aus der Datei ..... in die internen Daten fehlgeschlagen). Die Anzahl der txt-Dateien steigt täglich an, und ich muß diese von Zt.z.Zt. auswerten, doch ich frage mich, wie ich größere Bestände von z.B. 1000 und mehr Dateien handeln soll ? Einen Beispiel-Datensatz habe ich zusammen mit dem plugin im Anhang eingefügt. Ich bin für jeden Hinweis dankbar !
.vbs   Pumpeninsel.vbs (Größe: 20,04 KB / Downloads: 569)
.txt   PI_310112150448.txt (Größe: 1,13 KB / Downloads: 644)

Antworten
29.02.2012, 16:36, (Dieser Beitrag wurde zuletzt bearbeitet: 29.02.2012, 17:09 von voyager.)
#2
DIAdem-Version: 2014SP1, 2015SP2, 2017SP1 und DIAdem 2018 / dabei seit DIA/DAGO 2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 1995
RE: Import v. *txt-Dateien dauert zu lange

Hallo sofub,
das klingt erstmal wirklich merkwürdig.
Ich nehme mal an, dein Rechner verfügt über genügend Hauptspeicher, um alle Dateien ins Portal zu laden.
Desweiteren sollte es bei dieser Dateianzahl kein Problem mit irgendwelchen evtl. offenen Filehandles geben.
Falls die Dateien auf einem Netzlaufwerk liegen, würde ich als erstes einen Test mit einer lokalen Kopie dieser Daten machen. Viele kleine Dateien vom Netz zu laden, kann erstaunlich lange dauern.
Sicherheitshalber mal bei NI fragen, ob bei dieser relativ alten Version ein Bug bekannt ist.
Das PlugIn funktioniert bei mir unter DIAdem 2010 nicht, sondern bringt eine Fehlermeldung!

Gruß
Voyager

Antworten
01.03.2012, 10:55,
#3
DIAdem-Version: 10.2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 2011
RE: Import v. *txt-Dateien dauert zu lange

Hallo voyager,
vielen Dank daß du dir die Arbeit gemacht hast das plugin zu testen ! Vieleicht kannst du die Fehlermeldung posten, so daß man versuchen kann rauszufinden wo es klemmt, aber ich befürchte daß meine veralterte Quellversion (10.2) wahrscheinlich schuld daran trägt..
Mein Rechner sollte als "normal" gelten (Dell Optiplex 380, 2 Intel Kerne, 2,93 GHz, 2,00 GB RAM), aber der Einwand ist natürlich berechtigt. Der Tipp mit dem Netzwerk erschein mir da schon viel dienlicher, tatsächlich liegen die ganzen Dateien im Netz. Ich werde versuchen einen Teil v. lokal zu laden. Bei NI kann ich leider nicht mehr nachfragen (habe ich schon versucht), weil ich keinen gültigen Wartungsvertrag mehr besitze, aber wir stehen vor der Kaufentscheidung, das gesamte LabVIEW - Paket upzudaten.

Gruß
sofub

Antworten
01.03.2012, 11:25,
#4
DIAdem-Version: 2014SP1, 2015SP2, 2017SP1 und DIAdem 2018 / dabei seit DIA/DAGO 2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 1995
RE: Import v. *txt-Dateien dauert zu lange

Ich erhalte einen nicht näher spezifizierten Syntaxfehler in Zeile 47

Antworten
01.03.2012, 12:33,
#5
DIAdem-Version: 10.2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 2011
RE: Import v. *txt-Dateien dauert zu lange

Hallo Voyager,
Rückmeldung zu deinem Tipp: ich habe 167 txt-Dateien auf meine lokale Platte kopiert und habe diese dann aus dem Navigator in das data portal kopiert (alle markiert, dann drag&drop). Leider verhält sich der Import immer noch fehlerhaft, es werden nur 159 Datensätze fehlerfrei importiert, alllerdings dauert dieser Import exact 15 min. Dann wird während des Kopiervorgangs des 160. Datensatzes ein Fenster für den manuellen ASCII-Import geöffnet (screenshot s. Anhang), sowie für jeden weiteren noch zu kopierenden Datensatz. Im Moment stehe ich ziemlich ratlos da Sad
Gruß
sofub



Angehängte Dateien Thumbnail(s)
   
Antworten
01.03.2012, 12:49,
#6
DIAdem-Version: 10.2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 2011
RE: Import v. *txt-Dateien dauert zu lange

Hallo Voyager,
bezüglich deiner Rückmeldung über den nicht näher spezifizierten Syntaxfehler des dataplug in Zeile 47: das war mein Fehler, die Anzahl der Kanalbezeichnungen stimmte nicht mit der Anzahl der Kanäle überein. Ich habe leider einen Zwischenstand des plugin gepostet, sorry. Im Anhang jetzt das aktuelle plugin Blush

Gruß
sofub



Angehängte Dateien
.vbs   Pumpeninsel_new.vbs (Größe: 28,63 KB / Downloads: 465)
Antworten
01.03.2012, 13:02,
#7
DIAdem-Version: 10.2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 2011
RE: Import v. *txt-Dateien dauert zu lange

Bereitstellung 167 Datensätze
im Anhang habe ich 167 Datensätze (gepackt als RAR) zusammengestellt.Exclamation



Angehängte Dateien
.rar   Datensätze_PI.rar (Größe: 66,78 KB / Downloads: 458)
Antworten
01.03.2012, 14:23,
#8
DIAdem-Version: 2014SP1, 2015SP2, 2017SP1 und DIAdem 2018 / dabei seit DIA/DAGO 2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 1995
RE: Import v. *txt-Dateien dauert zu lange

Hallo sofub,
jetzt wundert mich natürlich nichts mehr. Du hattest nie erwähnt, dass jede Datei 412 Kanäle enthält!!!!
412 Kanäle * 159 Dateien = 65508
Spätestens jetzt zieht es dem geneigten Informatiker den Magen zusammen.
Herzlichen Glückwunsch, du wolltest als erster die üppige Kanalzahlgrenze von 2^16 = 65535 durchbrechen.
So viele Kanäle gleichzeitig zu laden macht keinen Sinn.
Falls hier gleiche Kanäle über die Gesamtzeit betrachtet werden sollen, schlage ich ein Script vor, welches den ersten Datensatz läd und jede weitere Datei dranhängt und die Gruppe wieder löscht. Dann sind es maximal während des Scripts 2 * 412 Kanäle.

Gruß
Voyager

Antworten
01.03.2012, 15:18,
#9
DIAdem-Version: 10.2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 2011
RE: Import v. *txt-Dateien dauert zu lange

Hallo Voyager,
auch an dieser Stelle erstmal vielen Dank für deine Mühe !
Was die Angabe der Anzahl Kanäle angeht, so habe ich diese im ersten Satz meiner Problembeschreibung explizit angegeben, ist dir wahrscheinlich entgangen. Den Verdacht daß ich die maximale Anzahl an Kanälen erreicht/überschritten habe hatte ich auch, ich habe aber diesbezüglich keine Hinweise gefunden. Was deinen Vorschlag mit dem Zusammenfassen der Kanäle angeht, das script habe ich auch schon vorliegen. Sobald die Datensätze im dataportal importiert wurden, starte ich mein script welches dann alle Gruppen zu einer einzigen zusammenfasst (funktioniert auch soweit wunderbar). Ich habe nur ein Problem beim importieren der Daten. Gibt es die Möglichkeit gefilterte Daten direkt aus dem Navigator per script in das datenportal zu laden ?
Gruß
sofub

Antworten
01.03.2012, 16:12,
#10
DIAdem-Version: 2014SP1, 2015SP2, 2017SP1 und DIAdem 2018 / dabei seit DIA/DAGO 2
DIAdem-Sprachversion: DE
DIAdem Erfahrung seit: 1995
RE: Import v. *txt-Dateien dauert zu lange

Hallo sofub,
"412 Messwerte" hatte ich als Kanallänge interpretiert.
Bitte nicht erst alle Gruppen laden, sondern einzeln an die erste Gruppe hängen und die 2. Gruppe wieder löschen.
Mit dem DataFinder gibt es sehr komfortable Möglichkeiten Suchergebnislisten (z.B: Dateien) per Script abzuarbeiten. Das Stichwort "ResultsList" sollte dich in der Hilfe weiterbringen.

Gruß
Voyager

Antworten


Möglicherweise verwandte Themen...
Thema Verfasser Antworten Ansichten Letzter Beitrag
  ISO-MME Daten Import/Export Multimeter 0 10.118 13.10.2015, 15:53
Letzter Beitrag: Multimeter
  [gelöst] Dateien Konvertieren Mike 2 15.677 29.01.2015, 06:53
Letzter Beitrag: Mike
  Excel Import (*.xlsm mit Blattschutz) asapDIAdem 0 10.468 16.07.2014, 07:38
Letzter Beitrag: asapDIAdem
  .edk dateien importieren e-nescafe 9 30.546 13.11.2012, 08:14
Letzter Beitrag: AHaub
  Import von DAT-Datei diadem_neu 0 12.233 07.08.2012, 17:06
Letzter Beitrag: Bruno
  Neues DataPlugin zum Lesen von HDF5-Dateien StefanR 1 12.768 11.05.2012, 08:32
Letzter Beitrag: Ludwig
  Mehrere Dateien aus einem Ordner laden Luki 1 11.610 20.07.2011, 15:29
Letzter Beitrag: Luki
  [ERLEDIGT] Plugin für .ZSE Dateien serseri 4 21.633 06.06.2011, 11:41
Letzter Beitrag: serseri
  DataPlugin für .csv Dateien Capulet 2 14.902 11.05.2011, 13:57
Letzter Beitrag: Capulet
  Neues DataPlugin zum Lesen von LFX-Dateien StefanR 1 11.997 26.07.2010, 11:53
Letzter Beitrag: chaosyeti

Gehe zu: