hallo,
ich habe eine datei (txt) mit mehreren tausend punkten die wie folgt aufgebaut
ist:
x y z
22323,83 443453,25 7,93
23356,21 342173,25 8,12
usw..
(die abstände sind tabs in dem file - keine leerzeichen)
so diese datei möchte ich so effizient wie möglich einlesen. da sie sehr gross
ist dauert es leider mit dem streamreader was ich kenn sehr lange
da kommen wir auch schon zu meiner ersten frage:
- weiss jemand eine effiziente Lösung um ziemlich große dateien einlesen zu
können ? (100000 zeilen und mehr)
dabei ist mir vorallem die letzte Spalte (z) wichtig, denn eigentlich brauch ich
zum auswerten nur diese. wo wir auch schon bei meiner 2. frage wären:
- gibt es eine möglichkeit genau nur diese spalte auszuwerten ?
im endeffekt sollen nämlich die werte in ein neues file geschrieben werden,
jedoch befreit von ausreißern aber wieder in der x y z form (die x und y werte
werden und sollen auch nicht berührt werden).
meine dritte und letzte frage lautet ob jemand eine idee hat wie ich am besten
die ausreißer eleminiere und woran ich das festmach. ich dachte da so als erstes an mitelwert, standartabweichung und median (wobei ich auch noch nicht weiss wie man diesen programmiertechnisch bestimmt )
evtl mit min max arbeiten, aber wie setze ich da am besten die grenzen ?
die ausgabe datei sollte im endeffekt die gleichen konventionen besitzen (also
tabulator und kommata, txt usw)
zusammengefasst:
1. effiziente möglichkeit zum einlesen großer dateien
2. direkt eine gewisse spalte auswerten
3. ausreißer eleminieren nach einem bestimmten algorithmus
vielleicht hat jemand von euch einen rat, snippet oder pseudocode parat der eines oder am besten alle probleme lösen kann.
das wäre super. danke im vorraus!
ich habe eine datei (txt) mit mehreren tausend punkten die wie folgt aufgebaut
ist:
x y z
22323,83 443453,25 7,93
23356,21 342173,25 8,12
usw..
(die abstände sind tabs in dem file - keine leerzeichen)
so diese datei möchte ich so effizient wie möglich einlesen. da sie sehr gross
ist dauert es leider mit dem streamreader was ich kenn sehr lange
da kommen wir auch schon zu meiner ersten frage:
- weiss jemand eine effiziente Lösung um ziemlich große dateien einlesen zu
können ? (100000 zeilen und mehr)
dabei ist mir vorallem die letzte Spalte (z) wichtig, denn eigentlich brauch ich
zum auswerten nur diese. wo wir auch schon bei meiner 2. frage wären:
- gibt es eine möglichkeit genau nur diese spalte auszuwerten ?
im endeffekt sollen nämlich die werte in ein neues file geschrieben werden,
jedoch befreit von ausreißern aber wieder in der x y z form (die x und y werte
werden und sollen auch nicht berührt werden).
meine dritte und letzte frage lautet ob jemand eine idee hat wie ich am besten
die ausreißer eleminiere und woran ich das festmach. ich dachte da so als erstes an mitelwert, standartabweichung und median (wobei ich auch noch nicht weiss wie man diesen programmiertechnisch bestimmt )
evtl mit min max arbeiten, aber wie setze ich da am besten die grenzen ?
die ausgabe datei sollte im endeffekt die gleichen konventionen besitzen (also
tabulator und kommata, txt usw)
zusammengefasst:
1. effiziente möglichkeit zum einlesen großer dateien
2. direkt eine gewisse spalte auswerten
3. ausreißer eleminieren nach einem bestimmten algorithmus
vielleicht hat jemand von euch einen rat, snippet oder pseudocode parat der eines oder am besten alle probleme lösen kann.
das wäre super. danke im vorraus!
Comment