Verschiedene Firmendatenbanken in einer Webanwendung zusammenführen

[CodeGier]

Hallo,

ich hätte da mal eine grundsätzliche Frage. In unserer Firma sollte da Controlling verstärkt werden. Ein Ansatzpunkt wäre, die Daten der verschiedenen Datenbanken über eine Webanwendung zusammen zu führen. Im Einsatz sind:
- Access-Datenbank für Zeiterfassung
- Pervasive-Datenbank für Warenwirtschaft (Zugriff über ODBC möglich)
- MS-SQL-Server für Planungs / Produktivsystem
- Schnittpläne in Einzeldateien sind auch noch zu parsen.

Bisher mache ich das mit Delphi. Es ist aber ein nicht zu unterschätzender Aufwand an den entsprechenden Clients immer die Treiber zu installieren und am Laufen zu halten. Jetzt wäre die Überlegung, das ganze Webbasiert über den IIS zu machen. Mir fehlt aber die Erfahrung in diesem Bereich.
Meine konkrete Fragen: Lassen sich diese 4 Datenströme in einer Webanwendung zusammenführen? Wenn ja, mit welchen Technologien sollte man sich beschäftigen?

Mein Ziel wäre im ersten Step einen kleinen Prototypen zu bauen, der den Chef überzeugt und den Rest dann einem Profi zu überlassen.

Danke schon mal an jeden, der bis hier her gelesen hat!

Bis bald

CodeGier

[Christian Marquardt]

Hat nichts mit PHP zu tun -> verschoben

[defo]

In diesem Fall würde ich- wegen Access- eine 2. MS SQL DB erstellen, alle Access.MDB und die Prod DB darin verlinken und die benötigten Daten zusammentragen.
Die Schnittdateien muss Du wohl weiter separat parsen und das Ergebnis in die neue MS SQL DB eintragen.

Zur Verbindung mit den anderen Systemen muss in der neuen DB die linked Server Technik eingesetzt werden.
Fremde Systeme werden via OLE DB Treiber angesprochen, die gibt's vermutlich auch für Pervasive.

Hab sowas noch nie selbst gemacht, weiß nur dass es bei sowas mal Problem mit Zugriff auf Informix Version uralt gab.

[tömmel]

Also... ich würd nicht versuchen die Daten in einer Anwendung zusammen zu fassen , sondern zunächst versuchen die Dataen im Sinne eines Data-Warehouse in einem DBMS zusmmenzufassen.

Wie du das "Data-Mining" danach angehst ist dann die nächste Frage. Wenn ihr z.B den MS-SQL wie on defo empfohlen verwendet, dannn schau ggf. mal an was der da schon so mitbringt bzw darum herum angeboten wird...

[CodeGier]

Danke für die Anregungen (... und für's Verschieben ins richtige Forum ...).

Der Ansatzpunkt alle Daten in eine MS SQL DB zu linken wäre interessant, aber für die Warenwirtschaft (Pervasive) sind keine OLE DB Treiber verfügbar. Die verwenden das Pervasive auf eine "geheimnisvolle" Art und Weise. Ich komme nicht mal mit dem Pervasive SQL Control Center an die Daten ran. Geht nur über den ODBC Treiber des Herstellers. Diesbezügliche Anfragen haben die bisher auch nicht beantwortet.

Mir ist klar, dass für eine Webanwendung wohl das sinnvollste ist, eine DB zu benutzen und alle Daten da draus zu ziehen. Aber in meinem Fall bin ich gezwungen, auf mindestens zwei DB zuzugreifen: MS SQL und Pervasive via ODBC. Hierzu vielleicht noch Anregungen?

[Christian Marquardt]

Eine Webanwendung kann auf beliebig viele Datenbanken zugreifen. Ist doch alles eine Frage der Programmierung der Serverseite.

[tömmel]

Nochmal:

Ich weiß natürlich nicht, welche Fragen es im Contoling genau zu beantworten gibt - der Klassische Fall ist aber der, dass ggf. auch nicht Echtzeitdaten aus der einen oder anderen Quelle verwendet werden können. Das hat nicht nur nachteile:

So entkoppelt man ggf. auch kritische Produktivsysteme von dem passiven Datenbestand füe Auswertungen (der ggf. schon etwas aufbereitet sein kann - weil dort die Anforderungen andere sind)... Ist ggf daran zu denken ggf. zyklisch die daten aus der Btrive Datenquelle nach MS zu überführen und dann dort damit zu machen was man möchte...

Aber wie gesagt, das hängt stark von den Fragestellungen ab.

Zu beachten iost aber auch, dass vor lauter Wissenshunger die Produktivsysteme nicht in die Knie gehen und an entsprechende Lizensen gedacht wird usw.

[Christian Marquardt]

Es wäre doch das einsammeln der Daten und die Auswertung zu trennen

[CodeGier]

So entkoppelt man ggf. auch kritische Produktivsysteme von dem passiven Datenbestand füe Auswertungen ...

Ja, da hast Du recht, das ist eine weitere Überlegung wert. Danke.

[CodeGier]

Eine Webanwendung kann auf beliebig viele Datenbanken zugreifen. Ist doch alles eine Frage der Programmierung der Serverseite.

Wie schon erwähnt: Bisher arbeite ich da mit Delphi ohne Webanwendung. Welche Technologie würdest Du für diese Anwendung empfehlen / selbst verwenden? Clientseitig sollte das ganze sehr heterogen nutzbar sein (WIN PC, MAC, iPad ...).

[defo]

Es wäre doch das einsammeln der Daten und die Auswertung zu trennen

Ja, fragt sich, wie das im Detail aussehen kann.
Eine DB die transparent auf verschiedene Systeme zugreifen kann, wäre da nicht schädlich.
Ein oder mehrere separate Tools, die Export / Import Aufgaben durchführen, sind natürlich auch denkbar.

Ich gehe mal davon aus, dass der TE selbst zumindest weiß, was er alles aus welchen Systemen braucht. Der Ansatz, alles in ein System zu kippen ist bestimmt nicht der realistischste Weg.

Was Pervasive angeht, es gibt einen MS OLE DBProvider für ODBC, damit hängt man dann praktisch 2 Treiberschichten hintereinander. Vielleicht hilft das.
Mit einer MS MSDE resp. Express kann man zumindest das Thema Konnektivität leicht testen. Wenn's scheitert, geht man dann wohl eher den Weg mittels ETL o.ä. Tools bzw. Eigenentwicklung.

[Christian Marquardt]

Ja, fragt sich, wie das im Detail aussehen kann.
Eine DB die transparent auf verschiedene Systeme zugreifen kann, wäre da nicht schädlich.
Ein oder mehrere separate Tools, die Export / Import Aufgaben durchführen, sind natürlich auch denkbar.

Dazu sind ja viele Fragen noch unklar (und werden es wohl bleiben..). Aber eine extra Anwendung, die die Daten zusammen sammelt kann zu verschiedenen Zeitpunkten laufen, ggf. sogar die DBs verschieden abklappern, konvertieren, Summendaten bilden usw. Die schaufelt die Daten dann in eine DB für die Webanwendung

[tömmel]

Es wäre doch das einsammeln der Daten und die Auswertung zu trennen

mein ich ja..

Ist aber auch meiner Meinung nach der Übliche weg - wie er die Daten am besten einsammeln kann, entzieht sich meiner Kenntnis - da müsste man den Laden genauer kennen...

uups ... seh jetzt den letzten eintrag.. sind wir uns ja einig ...

[defo]

Dazu sind ja viele Fragen noch unklar (und werden es wohl bleiben..). Aber eine extra Anwendung, die die Daten zusammen sammelt kann zu verschiedenen Zeitpunkten laufen, ggf. sogar die DBs verschieden abklappern, konvertieren, Summendaten bilden usw. Die schaufelt die Daten dann in eine DB für die Webanwendung

Das sind alles Dinge, die die Zieldatenbank selbst u.U. auch direkt selbst erledigen kann.
Bei separaten ETL Tools bzw. eigener Drittanwendung gibt es idR den Weg:
Anwendung lädt von A nach Lokal.
Anwendung schiebt von Lokal nach B (Zielsystem)

Eine ZielDB, die Daten direkt einlesen kann, verkürzt das deutlich. Das würde ich einer MSSQL DB zutrauen, wenn die Treiber zu den Fremdsystemen laufen (2 davon gehen mit Sicherheit, weil hausintern)
Ach das "abklappern" und konvertieren sollte direkt aus bzw. in der DB kein Problem sein.

[tömmel]

Das ist ein wenig der Streit um des Kaisers Bart - streng genommen nicht mal das, weil auch beim mssql nicht die "Datenbank" was macht, sondern Anwendungen drum herum...
Ich würd es aber vermeiden mich an die Warenwirtschaft dauerhaft über den ODBC-Tteiber direkt für die Auswertungen anzuhängen - auch beim PPS würde ich wohl umspeichern... aber was genaues weiss man nicht