Habt ihr Tipps für meine Herangehensweise?

[sayal]

Hallo,

ich habe folgende Aufgabe:

ich muss aus verschiedenen Dateiformaten Daten filtern, aufbereiten und dann in eine Datenbank schreiben. Die Dateien sind telweise riesig (z.B Textdateien > 50 MB), weswegen ich es mit phpmyadmin nicht geschafft habe, die Daten erst mal so zu importieren. Ausserdem möchte ich mein eigenes Programm schreiben. Nach dem Import muss ich die Daten auf einer Webseite darstellen in Form von Tabellen und Graphen usw. darastellen. Ich habe bisher solch aehnliche Aufgaben immer mit php gelöst, doch da handelte es sich auch um wesentlich kleinere Dateien. Ich schaetze, dass es da bessere Lösungen gibt, um diese riesigen Datenmengen zu bearbeiten, bevor ich sie in die Datenbank schreibe. Ich habe mir gedacht, innerhalb eines php Skriptes ein PERL Skript für die Datenbearbeitung aufzurufen. Wie würdet ihr das angehen? Danke schon mal für eure Tipps!

[fanderlf]

Ich glaube da kann Dir erstmal keiner weiterhelfen. Du musst Dein Problem erstmal in kleinere Teilaufgaben zerteilen und klären was denn überhaupt passieren soll.

Einige Fragen wären z.B.:

- Was von den Daten soll importiert werden? Kann man diese vielleicht schon vorfiltern?
- In welcher Art und Weise müssen diese Daten weiter verarbeitet werden?
- In welchem Format liegen die Daten vor? Wie sollen die danach in der Datenbank aussehen?
- Welcher Output wäre zu generieren?
- Soll noch irgendeine Logik dazwischen?
- Muss ich z.B. Textdateien in der Datenbank ablegen oder reicht mir ein Pfad aufs Dateisystem? Absolut oder relativ? Wo dort ablegen?

Das wichtigste ist wie gesagt: Finde erstmal heraus was genau zu tun ist und versuche die große Teilaufgabe in kleinere leicht überschaubare Teile zu zerpflücken. Wenn Du das alles geklärt hast dann ist die Implementierung eigentlich nur noch blankes runtertippen

[Christian Marquardt]

Ein Sprachenwechsel PHP -> PERL würde ich vermeiden....

[sayal]

@fanderlf:

danke für deine ausführliche Antwort und die Hinweise. Eben da liegt vielleicht der Hund begraben. Bisher habe ich immer nur Teile solcher Aufgaben gelöst oder halt Programme für einen bestimmten Zweck geschrieben. So ein komplettes Projekt ist was ganz Neues für mich.

- Was von den Daten soll importiert werden? Kann man diese vielleicht schon vorfiltern?

Was genau importiert werden soll, weiss ich bereits. Für die Vorfilterung wollte ich ein PERL Skript schreiben. Da müssen z.B. bestimmte Spalten ganz weggelassen werden, unrelevante ganze Zeilen weggelassen werden, einige Zellinhalte editiert werden usw. Hast du da konkret eine Idee dazu?

- In welcher Art und Weise müssen diese Daten weiter verarbeitet werden?

Ich sehe ja, wie die Rohdaten aussehen und ich habe eine Vorgabe, wie die Daten am Ende angezeigt werden sollen.

- In welchem Format liegen die Daten vor? Wie sollen die danach in der Datenbank aussehen?

Die Daten liegen meist als CSV oder TXT oder mal als XML vor. In der Datenbank möchte ich die Daten in Form von ein paar relationalen Tabellen haben.

- Welcher Output wäre zu generieren?
- Soll noch irgendeine Logik dazwischen?

Weiss leider nicht so genau, was du damit meinst.

- Muss ich z.B. Textdateien in der Datenbank ablegen oder reicht mir ein Pfad aufs Dateisystem? Absolut oder relativ? Wo dort ablegen?

Das ist mir selbst überlassen, aber ich habe eher daran gedacht, die Dateien in der Datenbank abzulegen.

[fanderlf]

Naja grob würde ich dann das so machen:

1. Daten transformieren so dass man sie in die DB importieren kann
2. Datenbankmodell aufsetzen und Daten importieren
(3. Logikschicht bauen wenn Daten irgendwie verarbeitet werden sollen bevor sie angezeigt werden)
4. Daten visualisieren

Recht viel mehr kann man schon nicht mehr helfen. Du musst halt einfach mal anfangen Dir den ersten Bereich vorzunehmen. Wenns dann irgendwelche Probleme gibt kannst Du ja nochmal einen extra Thread aufmachen.