Announcement

Collapse
No announcement yet.

MySQL 4 "große" Abfragen

Collapse
X
  • Filter
  • Time
  • Show
Clear All
new posts

  • MySQL 4 "große" Abfragen

    hallo leute,

    auf meinem VPS habe ich MySQL 4 installiert.
    Ein SQL-Script habe ich als Datei auf dem Server gespeichert
    und rufe die Datei über putty auf.

    Der SQL-Befehl
    Code:
    use csw;
    
    INSERT IGNORE INTO ARTIKEL (
    ARTNUM,
    MATCHCODE,
    WARENGRUPPE,
    BARCODE,
    KURZNAME,
    LANGNAME,
    KAS_NAME,
    VPE,
    INVENTUR_WERT,
    VK5,
    VK5B,
    STEUER_CODE,
    ERLOES_KTO,
    AUFW_KTO,
    HERST_ARTNUM,
    LIEFSTATUS,
    ERSTELLT,
    SHOP_ID,
    SHOP_ARTIKEL_ID,
    SHOP_KURZTEXT,
    SHOP_IMAGE,
    SHOP_IMAGE_MED,
    SHOP_IMAGE_LARGE,
    SHOP_VISIBLE,
    USERFELD_01,
    USERFELD_02,
    USERFELD_03,
    USERFELD_04,
    USERFELD_05,
    USERFELD_06,
    itscope,
    itscope_puid)
    SELECT 
    ad.artikelnr,
    titel,
    1,
    ean,
    titel,
    titel,
    titel,
    1,
    100,
    netto,
    brutto,
    mwst,
    8400,
    3400,
    herstartikelnr,
    lieferstatus,
    NOW(),
    1,
    artikelnr,
    titel,
    bild,
    bild,
    bild,
    1,
    seiten,
    autor,
    verlag,
    datentraeger,
    einband,
    lieferstatus,
    1,
    artikelnr
    FROM ap_artdaten ad 
    LEFT OUTER JOIN ARTIKEL p ON ad.artikelnr = p.itscope_puid 
    WHERE p.itscope_puid IS NULL;
    Dadurch werden die nötigen Daten aus der Tabelle "ap_artdaten" in die Tabelle "ARTIKEL" kopiert. Durch "WHERE p.itscope_puid IS NULL;" werden nur die neuen Zeilen von "ap_artdaten" nach "ARTIKEL" kopiert.

    Wenn die Tabelle "ARTIKEL" leer ist, funktioniert das Script. In wenigen Sekunden sind die Daten kopiert. Aber wenn ich in der Tabelle "ap_artdaten" eine neue Zeile hinzufüge und das Script dann erneut ausführe, dauert es eine ganze "Nacht".

    In der Tabelle sind ca. 65.000 Zeilen.
    Kann es daran liegen, dass es dann so lange dauert? Kann ich etwas in der my.cnf von MySQL optimieren/ ändern?

    my.cnf
    Code:
    # Example MySQL config file for medium systems.
    #
    # This is for a system with little memory (32M - 64M) where MySQL plays
    # an important part, or systems up to 128M where MySQL is used together with
    # other programs (such as a web server)
    #
    # You can copy this file to
    # /etc/my.cnf to set global options,
    # mysql-data-dir/my.cnf to set server-specific options (in this
    # installation this directory is /usr/local/mysql41/var) or
    # ~/.my.cnf to set user-specific options.
    #
    # In this file, you can use all long options that a program supports.
    # If you want to know which options a program supports, run the program
    # with the "--help" option.
    
    # The following options will be passed to all MySQL clients
    [client]
    #password	= your_password
    port		= 3308
    socket		= /usr/local/mysql41/var/mysqld.sock
    
    # Here follows entries for some specific programs
    
    # The MySQL server
    [mysqld]
    port		= 3308
    socket		= /usr/local/mysql41/var/mysqld.sock
    skip-locking
    key_buffer = 16M
    max_allowed_packet = 1M
    table_cache = 64
    sort_buffer_size = 512K
    net_buffer_length = 8K
    read_buffer_size = 256K
    read_rnd_buffer_size = 512K
    myisam_sort_buffer_size = 8M
    old-passwords
    
    # Don't listen on a TCP/IP port at all. This can be a security enhancement,
    # if all processes that need to connect to mysqld run on the same host.
    # All interaction with mysqld must be made via Unix sockets or named pipes.
    # Note that using this option without enabling named pipes on Windows
    # (via the "enable-named-pipe" option) will render mysqld useless!
    # 
    #skip-networking
    
    # Replication Master Server (default)
    # binary logging is required for replication
    log-bin
    
    # required unique id between 1 and 2^32 - 1
    # defaults to 1 if master-host is not set
    # but will not function as a master if omitted
    server-id	= 1
    
    # Replication Slave (comment out master section to use this)
    #
    # To configure this host as a replication slave, you can choose between
    # two methods :
    #
    # 1) Use the CHANGE MASTER TO command (fully described in our manual) -
    #    the syntax is:
    #
    #    CHANGE MASTER TO MASTER_HOST=<host>, MASTER_PORT=<port>,
    #    MASTER_USER=<user>, MASTER_PASSWORD=<password> ;
    #
    #    where you replace <host>, <user>, <password> by quoted strings and
    #    <port> by the master's port number (3306 by default).
    #
    #    Example:
    #
    #    CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306,
    #    MASTER_USER='joe', MASTER_PASSWORD='secret';
    #
    # OR
    #
    # 2) Set the variables below. However, in case you choose this method, then
    #    start replication for the first time (even unsuccessfully, for example
    #    if you mistyped the password in master-password and the slave fails to
    #    connect), the slave will create a master.info file, and any later
    #    change in this file to the variables' values below will be ignored and
    #    overridden by the content of the master.info file, unless you shutdown
    #    the slave server, delete master.info and restart the slaver server.
    #    For that reason, you may want to leave the lines below untouched
    #    (commented) and instead use CHANGE MASTER TO (see above)
    #
    # required unique id between 2 and 2^32 - 1
    # (and different from the master)
    # defaults to 2 if master-host is set
    # but will not function as a slave if omitted
    #server-id       = 2
    #
    # The replication master for this slave - required
    #master-host     =   <hostname>
    #
    # The username the slave will use for authentication when connecting
    # to the master - required
    #master-user     =   <username>
    #
    # The password the slave will authenticate with when connecting to
    # the master - required
    #master-password =   <password>
    #
    # The port the master is listening on.
    # optional - defaults to 3306
    #master-port     =  <port>
    #
    # binary logging - not required for slaves, but recommended
    #log-bin
    
    # Point the following paths to different dedicated disks
    #tmpdir		= /tmp/		
    #log-update 	= /path-to-dedicated-directory/hostname
    
    # Uncomment the following if you are using BDB tables
    #bdb_cache_size = 4M
    #bdb_max_lock = 10000
    
    # Uncomment the following if you are using InnoDB tables
    #innodb_data_home_dir = /usr/local/mysql41/var/
    #innodb_data_file_path = ibdata1:10M:autoextend
    #innodb_log_group_home_dir = /usr/local/mysql41/var/
    #innodb_log_arch_dir = /usr/local/mysql41/var/
    # You can set .._buffer_pool_size up to 50 - 80 %
    # of RAM but beware of setting memory usage too high
    #innodb_buffer_pool_size = 16M
    #innodb_additional_mem_pool_size = 2M
    # Set .._log_file_size to 25 % of buffer pool size
    #innodb_log_file_size = 5M
    #innodb_log_buffer_size = 8M
    #innodb_flush_log_at_trx_commit = 1
    #innodb_lock_wait_timeout = 50
    
    [mysqldump]
    quick
    max_allowed_packet = 16M
    
    [mysql]
    no-auto-rehash
    # Remove the next comment character if you are not familiar with SQL
    #safe-updates
    
    [isamchk]
    key_buffer = 20M
    sort_buffer_size = 20M
    read_buffer = 2M
    write_buffer = 2M
    
    [myisamchk]
    key_buffer = 20M
    sort_buffer_size = 20M
    read_buffer = 2M
    write_buffer = 2M
    
    [mysqlhotcopy]
    interactive-timeout
    Oder wird es nichts bringen an der my.cnf etwas zu ändern?

    Gruß
    coder

  • #2
    Hallo,

    bevor du an der my.cnf rumschraubst, solltest du dein Statement überprüfen. Schau dir mal den Ausführungspfad (EXPLAIN) des SELECT-Teils an. Ggfs. kann hier mit einem passenden Index noch was gemacht werden. Auch ist ein OUTER JOIN mit WHERE ... IS NULL u.U. nicht das performanteste. Hier würde ich mal Alternativen testen, die Indizes besser nutzen können.

    Gruß Falk
    Wenn du denkst du hast alle Bugs gefunden, dann ist das ein Bug in deiner Denksoftware.

    Quellcode ohne ein Mindestmaß an Formatierung sehe ich mir nicht an! Ich leiste keinen Privatsupport per Mail oder PN!

    Comment


    • #3
      Hallo Falk,

      meinst du mit Ausführungspfad anschauen, dass ich vor dem SELECT Befehl EXPLAIN schreiben soll? MYSQL EXPLAIN

      In der Tabelle Artikel habe ich nur einen Index. "Standardmäßig" die Spalte ID.
      Soll ich zusätlich eine andere Spalte (z. B. die itscope_puid) zum Index machen?

      Gibt es eine andere Möglichkeit für die WHERE- Bedingung? WHERE artnum = itscope_puid? (In beiden Spalten befindet sich die Artikelnr)

      Hoffe ich habe deinen Beitrag richtig verstanden....

      Gruß coder90

      Comment


      • #4
        Ich sehe es ähnlich wie Falk, du solltest versuchen, das LEFT OUTER JOIN mit etwas anderem "nicht-JOIN" zu ersetzen.
        Ein "SELECT ... WHERE IDhier = IDdort GROUP BY ..." könnte dir mehr Geschwindigkeit bringen. Ich hab derzeit leider keine Zeit, da was nach zu bauen, aber mit dem QueryBrowser sollte dir was einfallen.
        "A common mistake that people make
        when trying to design something completely foolproof
        is to underestimate the ingenuity of complete fools.
        "
        >>> Douglas Adams, Mostly Harmless
        -------------------------------------------------------
        Techcrawler.de | JaMT | deCHK | Extra-Bonus-Shopping.de | Scour

        Comment


        • #5
          Hallo coder90,

          ich würde mal zusätzlich auf die beiden JOIN-Spalten (ap_artdaten.artikelnr und ARTIKEL.itscope_puid) einen Index legen. Wenn es die Anwendungslogik zuläßt am Besten einen UNIQUE-Index.
          Als Alternative für OUTER JOIN ... WHERE ... NULL kannst du folgende Varianten ausprobieren:
          [highlight=sql]
          WHERE NOT EXISTS (
          select 'X' from ARTIKEL p
          where p.itscope_puid = ad.artikelnr)
          [/highlight]
          oder
          [highlight=sql]
          WHERE ad.artikelnr NOT IN (
          select p.itscope_puid from ARTIKEL p)
          [/highlight]
          Erstere Variante hat Vorteile, wenn die Datenmenge in ARTIKEL sehr viel größer ist als in ap_artdaten. Die zweite in der anderen Richtung.

          Gruß Falk
          Wenn du denkst du hast alle Bugs gefunden, dann ist das ein Bug in deiner Denksoftware.

          Quellcode ohne ein Mindestmaß an Formatierung sehe ich mir nicht an! Ich leiste keinen Privatsupport per Mail oder PN!

          Comment

          Working...
          X