Announcement

Collapse
No announcement yet.

Webcrawler - nur interne Links crawlen

Collapse
X
  • Filter
  • Time
  • Show
Clear All
new posts

  • Webcrawler - nur interne Links crawlen

    Heyho,

    ich bin dabei einen webcrawler zu erstellen.
    Habe mir zur hilfe folgenden source code runtergeladen:
    http://www.skycoder.com/Articles/Article_61/

    es läuft alles super bis auf das problem, dass ich nur interne links sammeln lassen möchte und keine externen.
    also nur Seiten von der angegebenen domain.

    Unser alter Crawler wurde mit Perl programmiert, jedoch möchten wir jetzt auf visual basic umsteigen.

    Danke für eure Hilfe =)

  • #2
    Dann wirst du den heruntergeladenen Code derart umschreiben müssen, dass nur noch Links die der gerade durchsuchten Domain berücksichtigt werden
    Christian

    Comment


    • #3
      Ja soweit isses mir klar.. hab schon eine funktion geschrieben mit der ich die Host-Domain auslese.. aber ich weiß net wo ich den quellcode umschreiben muss und wie :/. Also wo die if funktion rein muss (wenn url xxx als host-domain hat dann crawlen.. usw.)

      Comment


      • #4
        ja wir sehen deinen momentanen Code nicht, und du darfst es keinem übel nehmen wenn er keine Zeit und keine Lust hat sich den Artikel runterzuladen und dann noch zu lesen. So kann man dir auf jeden fall schwer helfen.
        Unsere Jugend ist unerträglich, unverantwortlich und entsetzlich anzusehen! - Aristoteles

        Comment

        Working...
        X