Announcement

**Holger_69** · 03.09.2003, 21:23

Hallo Peter, 

bei der BDE ist ggf. ein wichtiger Faktor, ob die Indizes beim f�llen schon existieren oder erst danach erstellt werden! Mein letzter Stand mit der BDE war deshalb, da� ich die Zieltabelle ( ohne Sekund�r-Indizes ) erstellt, die Daten importiert und anschl. die Sekund�r-Indizes erstellt habe. Die Zeitersparnis war wirklich dramatisch! 

F�r meine kleineren Kundenprojekte setze ich inzwischen die Jet 4.0 ( .mdb ) ein; f�r gut 300.000 Datens�tze ben�tige ich f�r den Import derzeit ca. 3-5 Minuten ( simple SQL-Anweisung ). 

Mfg Holger Rogg

**Dr.med.Bernhard Schwabe** · 03.09.2003, 21:46

hi

wo kommen die Datens�tze her?
wie gro�(lang)sind die datens�tze?
sind alle datasources disabled, so dass wirklich nur der import stattfindet und nicht irgendwo doch andere, zu diesem zeitpunkt unn�tige, routinen mitarbeiten?

ich f�rchte, ein paar informationen d�rften es schon mehr sein, um dem problem auf den leib r�cken zu k�nnen

gru�,bernhar

**Peter Schr�der** · 04.09.2003, 06:03

Hallo,
ich habe es auch so gemacht, da� ich erst die Tabelle gef�llt habe und dann die Indizes erzeuge. Das mu� ich schon deshalb machen, weil es offensichtlich bei der BDE einen Fehler gibt, der daf�r sorgt, da� das Programm bei ca. 15000 Datens�tzen (die exakte Zahl ist konstant) sich aufh�ngt. Das war mit der BDE 4.X ebenfalls so und hat sich auch mit der BDE 5.x nicht ge�ndert

Danach habe ich drei simple Indizes erzeugt. Das dauerte durch den Wechsel auf BDE5 pl�tzlich mehrere Stunden. Wir haben lange gebraucht um das zu erkennen, bei einer so langen Zeit rufen Kunden nat�rlich an und berichten, der Rechner w�rde sich aufh�ngen.

Borland hat mir daraufhin gesagt, da� es eben so ist wie es ist. In anderen Artikeln hier im Forum habe ich von �hnlichen Erfahrungen gelesen.

Ich erzeuge nun die Indizes durch den Anruf eines kleinen FoxPro-Programmes. Solange ich darauf vertrauen kann, da� ich DBASE- genauer FoxPro-Dateien auch Morgen noch mit de BDE erzeugen kann, kann ich damit leben. Die L�sung ist zwar ziemlich exotisch, funktioniert aber sehr gut.

Nur, es ist wirklich so, da� der Vorgang des Indizieren mit BDE bei einer so gro�en Datei mehrere Stunden dauert und FoxPro den Vorgang in 2-3 Minuten erledigt. Mit ADO und ;DB scheint es nun auch wieder eine langsame L�sung zu geben.

Die FoxPro Indexdatei hat dann auch nur 10% der Gr��e einer BDE MDX Datei. Ich mache genauso viel mit Foxpro wie mit Delphi, da� die Fox Datenbank wirklich um Klassen schneller ist als andere habe ich schon vor Jahren festgestellt, aber um so einen Faktor ?

Die Daten m�ssen in einem Rutsch eingelesen werden, weil Sie in einem externen Ger�t im Laufe von Wochen entstehen. Das ist vergleichbar mit einer Black-Box beim Flugzeug. Das Programm mu� die Daten auf dem PC auswerten.

Es gibt 14 Felder mit einer Gesamtbreite von 214 Byte und 3 Indizes. Ich habe die Datensatzbreite versuchsweise reduziert, ohne Verbesserung
Es gibt auch keine Oberfl�chenelemente die aktualisert werden m�ssen.

Ich habe nun ADO mit MDB Dateien versuchsweise genommen, das scheint aber genauso langsam zu sein.

Wenn 300.000 Datens�tze in 3-5 Minuten eingelesen werden, w�re das genial. Kannst Du die L�sung n�her beschreiben ? Wahrscheinlich nimmst Du den Insert-Befehl, ich werde es einmal damit versuchen.

Ich nehme ein "ADOTable", weise die Daten mit "FieldByname" in einer einfachen For-Schleife zu und rufen den Befehl "post" auf. Das wars schon. Ich arbeite mit Delphi 6.

mfg
Peter Schr�de

**Olaf Steffan** · 04.09.2003, 07:54

Hallo Peter, eine wichtige Frage ist nat�rlich wie die Daten urspr�nglich vorliegen. Wenn das eine Textdatei ist, dann ist Access eigentlich sehr gut geeignet. Es gibt da folgende M�glichkeit: SELECT * INTO TAB_NAME IN "x:\DieDatenbank.mdb" from Datei#txt Diesen Befehl kannst du direkt mit ADOConnection.Execute abschicken und das geht wirklich schnell! Benutze also auf keinen Fall eine Schleife, das ist langsam. Auf eine Sache solltest du ebenfalls achten, ADOConnection.CursorLocation sollte bei Access-Datenbanken grunds�tzlich auf clUseServer stehen. Das bringt bringt auch nochmal "Punkte". Vielleicht wirst du ja auch noch etwas konkreter, dann f�llt mir vielleicht auch noch etwas mehr ein :-). Viele Gr��e Ola

**Peter Schr�der** · 04.09.2003, 08:39

Hallo,
ich werde das in den n�chsten Tagen einmal �berpr�fen, ungl�cklicherweise habe ich nun ein paar Tage Urlaub.

Die Daten stehen in einer verschl�sselten Datei, Sie m�ssen also zun�chst Zeile f�r Zeile errechnet werden und dann Satz f�r Satz in die Datei geschrieben werden

Hier ist der Teil um den es geht

ADOTable1.Open; 
for iii := 1 to 1000 do 
begin 
ADOTable1.AppendRecord (['Daten', 'Nummer 0815', 4711, 100, StrToDate('10.10.2003')]); 
end; 

Auf meinem sicher 450MHz Rechner mit Windows XP brauche ich 29 Sekunden. Bei 100000 Datens�tzen brauche ich dann ca. 50 Minuten, das ist zwar deutlich schneller als mit der BDE, aber Visual FoxPro braucht statt 29 Sekunden auf dem selben Rechner deutlich weniger als 1 Sekunde.

Der ganze Vorgang wird dann weniger als 2 Minuten dauern, da wird mir niemand die andere L�sung abnehmen.

Trotzdem erst einmal Danke

Pete

**Jochen Reichenberg** · 04.09.2003, 09:07

Hallo Leute,

kann es sein, da� das ein Delphi-Problem ist?

Ich hab' das hier mal mit meinem BCB6 probiert.
Ergebnis 200.000 Datens�tze in eine Paradox Datei schreiben: 24 Sek. mit Prim�rindex auf char, 10 Sek. mit Prim�rindex int auf AUTOINC.
In der Tabelle befinden sich 13 weitere Felder vom Typ char. Pro weiteren Index ben�tige ich hier 7 Sek. (Index auf Feld1, Feld 1 + 2, Feld 3 + 4). Als Werte habe ich jeweils eine Zufallszahl zwischen 1 und 50.000 plus die Datenssatznummer als char in die Tabelle geschrieben.

Hier ist die Testroutine:
<PRE>
q->SQL->Text = "DROP TABLE \"test.db\"";
q->ExecSQL();
q->SQL->LoadFromFile("Test1.sql"); // Tabelle neu erzeugen
q->ExecSQL();

int rd;
TDateTime Start = TDateTime::CurrentDateTime();
q2->RequestLive = true;
q2->Prepare();
q2->Open();
for (int i = 0; i < 200000; i++)
{
q2->Insert();
q2Feld1->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld2->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld3->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld4->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld5->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld6->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld7->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld8->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld9->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld10->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld11->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld12->AsString = AnsiString(i + rd);
rd = RandomRange(1,50000);
q2Feld13->AsString = AnsiString(i + rd);
q2->Post();

}
if (q2->Active)
q2->Close();
if (q2->Prepared)
q2->UnPrepare();
q2->RequestLive = false;
TDateTime Ende = TDateTime::CurrentDateTime();
RichEdit1->Lines->Add("Laufzeit: " + TDateTime((double) (Ende.Val - Start.Val)).TimeString());

Start = TDateTime::CurrentDateTime();
q->SQL->Text = "CREATE INDEX test1 ON \"test.db\" Feld1";
q->ExecSQL();
Ende = TDateTime::CurrentDateTime();
RichEdit1->Lines->Add("index Feld1: " + TDateTime((double) (Ende.Val - Start.Val)).TimeString());

Start = TDateTime::CurrentDateTime();
q->SQL->Text = "CREATE INDEX test2 ON \"test.db\" Feld1, Feld2";
q->ExecSQL();
Ende = TDateTime::CurrentDateTime();
RichEdit1->Lines->Add("Index Feld1 und Feld2: " + TDateTime((double) (Ende.Val - Start.Val)).TimeString());

Start = TDateTime::CurrentDateTime();
q->SQL->Text = "CREATE INDEX test3 ON \"test.db\" Feld3, Feld4";
q->ExecSQL();
Ende = TDateTime::CurrentDateTime();
RichEdit1->Lines->Add("Index Feld3 udn Feld4: " + TDateTime((double) (Ende.Val - Start.Val)).TimeString());
</PRE>

Die Ausgabe im RichEdit: 
Laufzeit: 00:00:10 
index Feld1: 00:00:07 
Index Feld1 und Feld2: 00:00:07 
Index Feld3 udn Feld4: 00:00:07 

Ich habe das mehrfach ausprobiert, immer die gleich Laufzeit. 
Wenn ich die chars aus Zufallszahlen zwischen i plus 1 und 50.000.000 erzeuge: 
Laufzeit: 00:00:10 
index Feld1: 00:00:08 
Index Feld1 und Feld2: 00:00:09 
Index Feld3 udn Feld4: 00:00:09 

Ich habe TQuery und TDataSource verwendet. BDE Version 5.11.

Gr��e Joche

**Peter Schr�der** · 04.09.2003, 09:30

Das liest sich nat�rlich sehr interessant, vor allem weil Du die BDE 5.11 verwendet hast. Damit habe ich ja noch viel schlechtere Ergebnisse erreicht, wie oben f�r ADO aufgef�hrt

**Jochen Reichenberg** · 04.09.2003, 09:39

Na, ja w�hrend ich das hier probiert habe, sind die beiden Postings vor meinem dazu gekommen. Da steht was von 450 MHz Rechner - ich hab' das hier auf einem AMD XP 2400, Win XP Pro getestet. Aber wir haben hier auch irgendwo einen 450er mit NT 4. Das Ergebnis reiche ich sp�ter nach...

Joche

**Jochen Reichenberg** · 04.09.2003, 09:59

Ergebnis auf 450MHz PIII / NT 4: 
Laufzeit: 00:01:16 
index Feld1: 00:00:38 
Index Feld1 und Feld2: 00:00:39 
Index Feld3 und Feld4: 00:00:40 

Dauert zwar schon deutlich l�nger, aber insgesamt immmer noch unter 3 1/2 Minuten...

Also die BDE ist es anscheinend nicht.

Gr��e Joche

**Peter Schr�der** · 04.09.2003, 12:48

Hallo,
das w�ren ja Zeiten mit denen ich leben k�nnte. Nur sind die Kunden durch die Delphi/Fox L�sung verw�hnt, besser werden mu� es nicht, aber deutlich schlechter darf es eben nicht werden.
Merkw�rdig ist schon, da� das offensichtlich nur in Delphi so ist, ich werde mal versuchen mit Hilfe des C++ Builders das zu realisieren, aber das wird wohl keine Besserung bringen.

Dank

**Olaf Steffan** · 04.09.2003, 13:05

Hallo Peter, dein Code f�ngt ja an mit: ADOTable1.Open; Also muss die verschl�sselte Datei in diesem Moment schon �ber ADO lesbar sein. Welchen Provider benutzt du denn? Wenn es die Jet-Engine ist, dann versuche doch mal die oben gezeigte Syntax. Du wirst erstaunt sein wie schnell der Import geht! Von ihr werden Access, dBase, Paradox, Excel, Text und HTML(definierte Form) direkt unterst�tzt! Viele Gr��e Ola

**Peter Schr�der** · 04.09.2003, 20:36

Die Daten werden in einer Schleife auseinandergedr�selt und dann gespeichert. Wenn es helfen w�rde, kann ich die nat�rlich auch erst in eine Textdatei schreiben.
Ich werde das in der �bern�chsten Woche auf jeden Fall ausprobieren. Leider bin ich in Urlaub geschickt worden :-)

Danke f�r alle Tips

Bin f�r alle weiteren Tips dankbar

**Andreas Kosch** · 10.09.2003, 17:00

Hallo,

in meinem Buch ADO und Delphi besch�ftigen sich die Seiten 87 bis 96 mit Performance-Vergleichen zwischen ADO und der BDE. Wie die Tabellen 1.13 bis 1.17 zeigen, muss sich ADO in keinster Weise hinter der BDE verstecken. Allerdings unterst�tzt ADO sehr viele Zugriffswege, wobei es langsame und schnelle gibt. F�r das Einf�gen von 1000 Datens�tzen ben�tigt TADOCommand nur 1 Sekunde (lokale MS SQL Server 2000-Tabelle). Das direkte Hantieren mit dem nativen Command-Objekt von ADO bei der Kapselung in eine Transaktion dr�ckt diese Zeit auf 0,5 Sekunden.

Hinter TADOTable steckt eine von Borland so genannten "Kompatibilit�ts-Komponente", deren Daseinsberechtigung nur kurzzeitig w�hrend der Umstellung von der BDE nach ADO vorhanden ist. In einem "richtigen" Programm hat diese Kr�cke nichts zu suchen :-

**Sebastian Henrich** · 15.09.2003, 00:19

Angeregt durch diese Diskussion habe ich ein Delphi-Programm geschrieben mit dem sich (ohne gro�en Aufwand zu betreiben) die Geschwindigkeit zwischen ADO + Jet und IBX + InterBase vergleichen l��t. Falls jemand daran Intresse hat, kann er es hier http://www.sebhen.de/~shenrich/CmpJetIB.zip herunterladen. Wenn jemand den Quellcode haben will, kann er den direkt von mir bekommen.

Aufgrund der Werte, welches mir das Programm ausgibt, m�sste sich das Vorhaben sowohl mit Interbase als auch mit ADO + Jet in den zeitlichen Vorgaben verwirklichen lassen.

Gru�

Sebastia

Announcement

Geschwindigkeit bei Datenbanken

Geschwindigkeit bei Datenbanken

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment