Tweet
Hallo,
ich habe folgendes Problem. Ich will mit einem gegebenen Programm eine private Internetseite crawlen. Die allgemeine Programmstruktur ist wie folgt dargestellt:
Kurze Erklärung: Ich kann zu beginn ein Perlscript starten und danach werden für jede zu crawlende URL ("task") die obigen Programmschritte durchgeführt.
Für öffentliche Seiten ist das kein Problem und ich kann über eine XSL-Datei den zu wünschenden Inhalt auslesen und in eine Datenbank schreiben. Ich würde aber gerne eine Seite crawlen, bei der ich mich anmelden muss. Da ich allerdings ziemlich neu auf diesem Gebiet bin, habe ich keine Ahnung wie ich das bewerkstelligen könnte.
Kann ich irgendwie mit XSL ein Cookie übergeben? Oder gibts eine Möglichkeit das über das Perlscript zu erledigen? Hat jemand eine andere Idee?
Es ist übrigens eine Aufgabe für meinen Hiwi-Job an der Universität, wobei meine Betreuer aber erstmals auch keine Lösung zu bieten haben.
Gruß,
wurstkatze
ich habe folgendes Problem. Ich will mit einem gegebenen Programm eine private Internetseite crawlen. Die allgemeine Programmstruktur ist wie folgt dargestellt:
Kurze Erklärung: Ich kann zu beginn ein Perlscript starten und danach werden für jede zu crawlende URL ("task") die obigen Programmschritte durchgeführt.
Für öffentliche Seiten ist das kein Problem und ich kann über eine XSL-Datei den zu wünschenden Inhalt auslesen und in eine Datenbank schreiben. Ich würde aber gerne eine Seite crawlen, bei der ich mich anmelden muss. Da ich allerdings ziemlich neu auf diesem Gebiet bin, habe ich keine Ahnung wie ich das bewerkstelligen könnte.
Kann ich irgendwie mit XSL ein Cookie übergeben? Oder gibts eine Möglichkeit das über das Perlscript zu erledigen? Hat jemand eine andere Idee?
Es ist übrigens eine Aufgabe für meinen Hiwi-Job an der Universität, wobei meine Betreuer aber erstmals auch keine Lösung zu bieten haben.
Gruß,
wurstkatze
Comment