Announcement

**Richard Kaspar** · 16.10.2003, 12:42

Hallo Dietmar,

wenn du den SQL-Parser nicht in n�chster Zeit ben�tigst, dann kann ich dir vielleicht weiterhelfen.
Ich bin gerade dabei eine kleine relationale Datenbank, die sich nur im Hauptspeicher befindet, zu schreiben. In dem Zuge schreibe ich auch eine SQL-Parser. Das Ganze werde ich dann als Open Source freigeben.
Der aktuelle Stand des Parsers ist momentan so, dass er von deinem Beispiel alles au�er dem INNER JOIN und der Funktion parsen kann. Das mit der Funktion wird wohl in den n�chsten Wochen dazu kommen. JOINS sind f�r die erste Version nicht vorgesehen, was bei einem INNER JOIN aber kein Problem darstellt, da man das auch anders formulieren kann.
Der Parsebaum f�llt allerdings deutlich komplexer aus, als von dir gew�nscht, da dieser auch Klammerungen und Rechnungen abbilden k�nnen muss.

Wenn Interesse besteht, dann stelle ich ein kleines Programm zum Download bereit, mit dem man selbst testen kann, was der Parser bereits kann und wie komplex der Parsebaum ist.

Gru�
Richar

**Dietmar Wintzheimer** · 17.10.2003, 10:07

Hallo Richard, 
  
das mit der Zeit ist so ne Sache .. Monate kann ich mir leider nicht erlauben,
das es f�r ein Produktivsystem ist das wirklich mit NextSQLToken ausgereizt ist. 
 ... ""was bei einem INNER JOIN aber kein Problem darstellt, da
man das auch anders formulieren kann"" 
Ich muss Dir Recht geben wenn wir von DBase und Paradox Tabellen reden. Jedoch
ist ein INNER JOIN auf einen Datenbankserver so etwas wie die Frage 'welchen
optimalen Index hole ich mir f�r die Verkn�pfung'. Das bedeutet wenn ich Keys
auf solche "Verbindungsfelder" lege, dann bekomme ich auch
Geschwindigkeit. Nicht jeder QueryOptimizer funktioniert so, aber mit dem
MSSQL-Server habe ich damit gute Erfahrung gemacht. 
... ""Der Parsebaum f�llt allerdings deutlich komplexer aus, als von
dir gew�nscht, da dieser auch Klammerungen und Rechnungen abbilden k�nnen
muss."" 
Je detailierter umso besser. 
... ""Wenn Interesse besteht, dann stelle ich ein kleines Programm zum
Download bereit, mit dem man selbst testen kann, was der Parser bereits kann und
wie komplex der Parsebaum ist."" 
Gerne w�rde ich mir das mal anschauen. 
Im Gegenzuge habe ich nat�rlich auch nachgeforscht und habe einiges gefunden
was aber immer noch keine L�sung ist, also folgendes
<ul>
<li>- unter <a href="http://www.antlr.org">www.antlr.org</a>
(Parser/Compiler-Compiler) gibt es ein Script "MS SQL Server 2000
SELECT statement" von Tomasz Jastrzebski (nett und hilfsbereit) das
einen Java, c# oder c++ Code erzeugt, wodurch man wirklich f�r den
MSSQL-Server ein sehr gutes Ergebnis bekommt. Leider fehlen mir die Mittel
um 
a) diesen Code in Delphi zu �bersetzten und 
b) aus dem Code f�r Delphi eine COM-Objekt oder DLL-Wrapper zu bauen.</li>
<li>unter <a href="http://www.devincook.com/goldparser">www.devincook.com/goldparser</a>
gibt es den "GOLD Parser" auch f�r Delphi. 
Ein Beispiel f�r SQL gibt auch. Jedoch Ansi SQL89. Somit kann der Parser
keine functions, inner joins, subselects, etc.. 
Nach denen ihren reden (readme) hat SQL92 �ber 300 Bausteine bekommen und
dauert es halt ... </li>
<li>und dann gibt es noch den QueryBuilder <a href="http://www.ems-hitech.com/querybuilder">www.ems-hitech.com/querybuilder</a>
die eine Komponenete mit einem Parser enth�lt. Bin momentan am Testen wie
man subselects verarbeiten kann wie z.B. 
   SELECT COUNT(*) AS Anzahl 
   FROM Einheit INNER JOIN EinheitTyp ON Einheit.eh_ehtID =
EinheitTyp.ehtID 
   WHERE (ehID NOT IN (SELECT ehu_ehID FROM EinheitUmrechnung )) 
   AND (EinheitTyp.ehtKurztext <> 'M') 
wird noch nicht richtig aufgel�st, haben damit noch ein Problem</li>
</ul>
Gruss und Dank 
   Dietmar 
&#10

**Bernd Schulz** · 17.10.2003, 15:56

Hallo! 
Einen Parser kann man mit den Tools lexx yacc bison flex auch selber erstellen. 
Unter: http://www.progtools.org/compilers/parserscan.html 
Scheinen einige interessante Links zu sein, die auf solche Tools verweisen. Inwieweit diese Tools dann auch funktionieren wei� ich leider nicht. 
Unter Turbo Pascal kann ich mich ganz dunkel an einen Parser (Lexx/Yacc) erinnern. (Hab aber auf die schnelle keinen Link finden k�nnen. 
PS: Ohne passende Literatur wird das aber sehr heftig. Es mu� f�r SQL erstmal eine passende Grammatik erstellt werden!!! 
BYE BERN

**Dietmar Wintzheimer** · 17.10.2003, 20:23

Hallo Bernd, 
 
> Einen Parser kann man mit den Tools lexx yacc bison flex auch selber
erstellen. 
>Unter: <a href="http://www.progtools.org/compilers/parserscan.html">http://www.progtools.org/compilers/parserscan.html 
</a>die meisten generieren c oder c++ Code und leider kein Delphi. GOLD Parser
ist einer der mit Delphi umgehen kann ... aber SQL92 .... 
Der ANTLR den ich oben erw�hnt habe, generiert f�r das ca. 800Zeilen grosse
SQL Beschreibungs Script �ber 10000 Zeilen c# Code. Und das c++ File ist �ber
500KByte gross. Da der Source generiert wird, sind auch automatisch erstellte
Variablen vorhanden sowie absolute Spr�nge (GOTO) (das Verst�ndnis f�r den
Code wird dadurch erheblich erschwert). Eine Konvertierung in Delphi bedeutet
Zeit ... viel Zeit. 
>Scheinen einige interessante Links zu sein, die auf solche Tools verweisen.
Inwieweit diese Tools dann auch funktionieren 
>wei� ich leider nicht. 
Teilweise muss man googeln 
>Unter Turbo Pascal kann ich mich ganz dunkel an einen Parser (Lexx/Yacc)
erinnern. 
>(Hab aber auf die schnelle keinen Link finden k�nnen. 
www.musikwissenschaft.uni-mainz.de/~ag/tply 
<a href="http://www.lischke-online.de/DCG.php">www.lischke-online.de/DCG.php</a>
 
>PS: Ohne passende Literatur wird das aber sehr heftig. 
>Es mu� f�r SQL erstmal eine passende Grammatik erstellt werden!!! 
Du sagst es - das ist dann das n�chste Problem 
  
Gruss und Dank 
   Dietmar
&#10

**Richard Kaspar** · 19.10.2003, 13:27

>>PS: Ohne passende Literatur wird das aber sehr heftig.
>>Es mu� f�r SQL erstmal eine passende Grammatik erstellt werden!!!
>Du sagst es - das ist dann das n�chste Problem

Es geistern einige Grammatiken im Netz herum. Eine die ich mir vor l�ngerer Zeit besorgt habe beherscht keine JOINS.
Und selbst wenn man eine Grammatik hat, hat man noch lange keinen Parsebaum.
Da wartet noch einiges an Arbeit auf einen.
Mit der erw�hnten Grammatik habe ich das schon einmal gemacht. Es ist aber ein Horror nach Bugs zu suchen. Wenn man durch den vom Yacc erzeugten Code durchdebuggen muss, verliert man schnell den �berlick und man ist dann zum x-ten mal �ber die Stelle, die einen interessiert, hinaus geschossen.
So richtig interessant wird es dann, wen man die Grammatik f�r seine Zwecke erweitern will. Ruck-Zuck hat man ein paar Shift-Reduce- und Reduce-Reduce-Konflikte erzeugt. Dann dauert es, bis man versteht, wodurch diese Konflikte hervorgerufen werden. Es dauert dann mindestens noch einmal so lange bis man wei�, wie man die Konflikte aufl�sen kann.
Aus diesen und noch ein paar anderen Gr�nden habe ich mich dann entschieden, dass ich meinen SQL-Parser von Hand schreibe.

�bers Wochenende habe ich noch Funktionen, Subselects und Joins eingebaut.
Bei den Joins war ich zu faul nach der genauen Definition zu suchen. F�r die meisten F�lle sollte es aber funktionieren.
Der Parser kann aber nur Select. Insert, Update, etc. ist noch Zukunftsmusik.

Ein entsprechendes Testprogramm kann man sich von <a href="http://www.kasparsoft.de/SqlParserDemo.zip">http://www.kasparsoft.de/SqlParserDemo.zip</a> herunterladen.
Das Teil ist mit hei�er Nadel gestrickt. Es geistern also sicherlich noch etliche Bugs darin herum.

Gru�
Richar

Announcement

suche SQL Parser

suche SQL Parser

Comment

Comment

Comment

Comment

Comment