Probleme beim Datenimport über ETL

[MiSchn1980]

Hallo Forum,

ich habe mit einem ETL-Prozess Probleme.

Ich bekomme aus einem System eine Text-Datei. Diese Textdatei imporitere ich über einen ETL-Prozess in einen SQl2008 Standard.

Beim Test hatte ich Daten von 2 Monaten in der Datei. Test war immer erfolgreich. Jetzt habe ich ein ganzes Geschäftsjahr in der Datei. Der Import bircht nun an unterschiedlichsten Stellen ab. Die Fehlermeldung sagt immer das Gleiche. Ein Feld konnte nicht konvertiert werden, da die Ziel-Spalte zu klein ist und ein Datenverlust entstehen würde. Das Feld ist ein Ländercode. Der Ländercode ist in der Textdatei 2-stellig. In der SQL-Tabelle ist die Spalte mit nvarchar (5) angelegt.

Jetzt kommt der Witz hoch 12:

Die Daten von 2011 (rund 66.000 Datensätze) importiert der ETL ohne Probleme.

Kann man für ein Feld des Imports die Prüfung bezüglich Datenverlust deaktivieren?

Hat jemand eine Idee?

Gruss

Michael

[hwoess]

Wenn du das mit einem select machst, kannst du ja mal ein substring(ländercode, 1, 2) probieren, damit würde ein zu langer Ländercode praktisch abgeschnitten. Wenn das Problem dann immer noch auftritt, hat es nichts mit dem Ländercode zu tun.
Die Überprüfung selber lässt sich nicht deaktivieren.

bye,
Helmut

[ngomo]

Textdatei immer die selbe?

Hab es vielleicht nicht ganz richtig verstanden. Also du importierst die Textdatei in eine leere Datenban und alles geht. Später dann diesselbe Textdatei, nun sind aber schon Daten in der Datenbank und es geht nicht mehr?

Oder ist es eine neue Textdatei? Dann ist vielleicht die Struktur korrupt. Evtl. erkennt der Importprozess die Datensatztrennzeichen nicht richtig, z.B. es ist eine Tab-separated Datei und in bestimmten Zeilen ist der Tab in Wirklichkeit drei Leerzeichen oder so.

Gruß ngomo

[MiSchn1980]

Hi,

ich importiere sich täglich (vom Inhalt) geänderte Textdateien. Die Tabelle im SQL-Server ist beim import immer leer.

Die Test-Datei umfasste Daten von 2 Monaten. Die neuen Dateien umfassen Daten eines Kalenderjahres.

Weil die neuen Dateien Fehler im Import aufweisen habe ich angefangen die Dateien zu splitten. Leider ohne Erfolg. Die Dateien lassen sich auch gesplittet nicht importieren.

Aus dem geleichen Export, der die Dateien erzeugt, habe ich noch für das aktuelle Jahr eine Datei mit Daten von januar bis Juni (rund 66.000 Datensätze). Diese Datei lässt sich ohne murren und Probleme über den ETL importieren.

Gruss

Michael

[MiSchn1980]

Hi,

das Problem hat sich gelöst. Die Datenquelle hatte einen Fehler.

Gruss

Michael