• NodeJS (nativ)
• Python (nativ)
• Java (via Library)
• Ruby (via Library)
• C# (via Library)
• Go (via Library)

Bright Data kommt mit einer Auswahl an Templates, um deine Scraper-Einrichtung zu vereinfachen

Screenshot: trusted.de

Quelle: brightdata.de

Der Scraping-Erfolg ist überdurchschnittlich hoch. Nur in Ausnahmefällen stößt Bright Data an seine Grenzen. Probleme gibt es laut Community hin und wieder mit einzelnen Proxies im Bright Data-Netzwerk. Dann werden Scrape-Versuche trotz aller technischen Finessen geblockt.

Aber keine Panik: Es genügt eine Meldung an das Supportteam. Das findet fast immer einen Weg, nachzujustieren, und aktuelle Anti-Scraping oder Anti-Bot-Technologien auszuhebeln. Und ist dazu noch 24/7 und auf allen Kanälen erreichbar.

Wer möchte (und das nötige Kleingeld hat), kann Scraping-Aufträge als “Fully Managed Datasets” an den Anbieter outsourcen. Dann bezahlst du einmalig für ein fertiges Datenset im gewünschten Format. Stark; diesen Service bieten in meinem Testfeld nur zwei Anbieter: Bright Data und ParseHub.

Ein weiterer Teil des Erfolgsrezeptes ist die Sammlung praktischer Templates für deine API-Calls. Damit baust du deine Scraper für die verschiedensten Anwendungsfälle schnellere und erfolgreicher zusammen:

Bright Data kommt mit über 200 vorgefertigten API-Vorlagen; davon rund 100 alleine für den E-Commerce. Damit eignet sich Bright Data hervorragend für Preisüberwachung und Preisvergleiche. Aber auch Marketingteams, Social-Media-Manager und Marktforscher:innen kommen mit den enthaltenen Templates auf ihre Kosten.

Julia Warnstaedt

trusted-Expertin für Website & E-Commerce

Bright Data ist eindeutig für Profis gemacht. Wer sich nicht auskennt, sollte ganz dringend die Finger davon lassen. Vor allem, weil nicht perfekt optimierte Runs mehr Credits kosten, als sie müssten. Hier empfiehlt sich definitiv Vorwissen! Profis bekommen dagegen einen gut gefüllten und verlässlichen Werkzeugkasten mit vielen tollen Features.

Das Tool ist nicht das günstigste auf dem Markt, trotzdem bewerte ich Bright Data in Sachen Kosten sehr positiv. Der Grund: es gibt eine Pay-as-You-go-Option, mit der eine smarte Kostenkontrolle möglich ist.

Mit diesem “Zahl-nur-was-du-brauchst”-Tarif eignet sich das “Luxus-Tool” Bright Data auch für Freelancer und Selbstständige. Eine Skalierung bis hin zu großen Unternehmen schafft der Scraper ebenfalls.

Ich würde ParseHub am ehesten Usern empfehlen, die viele Leads oder Infos zu Forschungszwecken scrapen müssen. Die brauchen keinen IT-Hintergrund, können aber trotzdem zügig große Datenmengen scrapen. Aber Achtung: Nutzer:innen aus dem Marketing scrapen mit ParseHub zügig Leads, können aber nicht auf Geotargeting für lokale Webansichten zurückgreifen.

Ein weiteres Argument für die Nutzung in der Forschung: Schulen, Universitäten und andere Lehranstalten bekommen Standard-Lizenzen von Parsehub nicht nur vergünstigt, wie bei anderen Scrapern, sondern komplett kostenlos.

Die No-Code-Lösung ParseHub überzeugt mit einem einfachen Einstieg und einem sauberen Handling. Allerdings musst du wie erwähnt für einige wenige Features kleine Code-Schnipsel einfügen, um deinen Scraper zum Laufen zu kriegen.

Für mich okay; aber eben nicht, was auf der No-Code-Verpackung steht.

Die meisten Funktionen von ParseHub benötigen keine Code-Eingaben und sind auch für Anfänger:innen einfach zu verstehen

Screenshot: trusted.de

Quelle: parsehub.com

Davon abgesehen ist ParseHup wohl eine der besten Einstiegslösungen für Neulinge in der Materie. Statt einzelner Video-Tutorials kommt ParseHub mit einer interaktiven Einführung ins Tool, das dich Schritt für Schritt an die Bedienung des Scrapers heranführt. Das macht es deutlich einfacher, zu verstehen, wie die einzelnen Scraping-Elemente funktionieren.

Kommst du trotzdem nicht damit klar, kannst du – wie bei Bright Data – gegen eine einmalige Gebühr dein Datenset einfach beim Anbieter anfordern.

Julia Warnstaedt

trusted-Expertin für Website & E-Commerce

ParseHub war mir in Sachen Ersteindruck der sympathischste unter den Scrapern. Das lag vor allem am Hands-on-Tutorial, mit dem ich deutlich schneller als bei anderen Scrapern begriff, warum sich das Tool so verhält, wie es sich verhält. Im Anschluss allerdings einen sauberen Datensatz aus meiner Zielwebsite zu bekommen, der nicht nach Kraut und Rüben aussah, war dann doch schwerer als gedacht. Easy to learn, hard to master.

Wie viel die Tarife (und damit die Speeds) im Monatsabo kosten, findest du unten aufgelistet:

Im Test gehört ParseHub zu den teureren Vertretern. Zwar gibt es einen kostenlosen Tarif, der Premium-Einstieg ist mit fast $ 200 aber ziemlich steil. Das macht das Tool für Solo-Arbeitende ziemlich unattraktiv und durch seine großen Preissprünge nicht das beste Tool zum Skalieren.

Neue Kontaktdaten landen so voll-automatisch in deinem CRM oder dem Marketing Automation Tool deiner Wahl. Echt praktisch!

Schade ist es dann, dass Octoparse kein Geotargeting bietet, mit dem du Daten aus der Sicht von Personen mit unterschiedlichen geografischen Standorten einsehen und scrapen kannst. Das ist gerade für User aus dem Marketing ein echter Verlust. Die werden dann eher bei Tools wie Bright Data, Scrapingbee oder ScraperAPI fündig.

Aber Octoparse ist natürlich nicht nur in der Leadgenerierung stark, sondern hilft dir auch bei scrapen anderer gängigen Daten- und Website-Typen.

Im Gegensatz zum Testsieger ist Octoparse ein No-Code-Tool. Statt deine Scraper selbst zu schreiben, wählst du also deine gewünschten Elemente in einer visuellen Ansicht des Browsers aus. Octoparse selektiert auf Basis deiner Auswahl ähnliche Elemente und packt sie in eine Live-Vorschau deiner Daten. Bist du mit der Auswahl zufrieden, startest du den Run und fertig.

An sich also eine einfache Sache. Für Anfänger:innen kann es aber schnell mal hakelig werden, wenn die Daten in komplexen Seitenstrukturen verborgen liegen und du auf einen sauberen Export abzielst. Du bekommst deine Daten dann schon irgendwie aus der Website; nur nicht zwingend in “hübsch”.

Investierst du aber ein paar Stunden und gönnst dir ein paar der integrierten Tutorials, sind saubere und nützliche Datensätze kein Hexenwerk!

Zu Beginn kann es passieren, dass deine Daten nicht in den richtigen Feldern landen, weil die Zusammenhänge zwischen Auswahl und Feldern nicht ganz klar wird

Screenshot: trusted.de

Quelle: octoparse.de

Praktisch für den Einstieg war für mich der eingeblendete Guide in der oberen rechten Ecke, der mir jeweils mögliche nächste Bearbeitungsschritte vorschlug. Das kann gerade bei komplexen Scraping-Jobs helfen, nicht den Faden bei der Einstellung des Scrapers zu verlieren.

Julia Warnstaedt

trusted-Expertin für Website & E-Commerce

Das Scrapen an sich hat mit Octoparse tatsächlich sogar Spaß gemacht. Die Live-Vorschau der Daten war sehr hilfreich sowie auch der Guide mit den Handlungsvorschlägen. Das Interface und der “Stuff drumherum” wirkte allerdings ein wenig unaufgeräumter und weniger intuitiv als zum Beispiel Scrapingbee.

In der Tabelle unten findest du die Monatspreise; allerdings kannst du auch die um 16 % günstigeren Jahresabos nutzen.

Octoparse ist im Vergleich nicht das teuerste Tool, allerdings ist es für bestimmte Zielgruppen mit seiner Preisaufstellung unattraktiv. Freelancer und kleinere Unternehmen beklagen sich etwa über die großen Preissprünge, die ein Upgrade von Plan zu Plan zu einem übermäßig teuren Upgrade machen.

Was Scrapingbee aber deutlich besser hinbekommt, als der Testsieger, ist die Userführung und das Onboarding. Die Dokumentation ist übersichtlich, bietet praktische Code-Schnippsel, die du direkt anwenden kannst, und verliert sich nicht in einem undurchsichtigen Dschungel aus Fachbegriffen. Zum Einsteigen in die Materie: ideal.

Der Request-Builder ist zunächst ein wenig einschüchternd. Vor allem, wenn man (noch) nicht viel mit Coding am Hut hat.

Screenshot: trusted.de

Quelle: scrapingbee.com

Damit du Scrapingbee nutzen kannst, suchst du dir eine der gebotenen Einstiegstemplates für deinen Scraping-Zweck aus und passt diese mit deinem eigenen Code an. Um den Scraper aufzusetzen, hast die Wahl aus folgenden Coding-Sprachen:

• Java
• Python
• Ruby
• PHP
• NodeJS
• cURL
• Go
• C#

Der Komfort der Plattform zieht sich bis in die Coding-Oberfläche, wo Scrapingbee dir ein paar smarte Vorlagen für den Start präsentiert. Die vorgefertigten API-Requests sind nicht super spezifisch (z. B. “Amazon Produktsite scrapen”), decken aber einige häufige Anwendungsfälle ab. Zum Beispiel: “Bilder extrahieren”, oder “Links von einer Website scrapen”. Da es extra eine Vorlage für das Scraping von Mail-Adressen von Seiten gibt, könnte das Ganze zur Leadgewinnung interessant sein. Aber das nur am Rande.

Das spart dir einen Haufen Zeit für dein Setup und du kannst schneller mit dem Scrapen loslegen.

Julia Warnstaedt

trusted-Expertin für Website & E-Commerce

Scrapingbee war für mich eine kleine Überraschung. Zwar kann ich ein wenig mit HTML und CSS umgehen, API-Calls coden ist aber weniger mein Ding. Dennoch gelang es mir, dank der verständlichen Oberfläche und mit der anschaulichen Dokumentation schon nach wenigen Anläufen einen Teil meines Scraping-Jobs umzusetzen.

Scrapingbee bewegt sich in Sachen Kosten im Mittelfeld. Du bekommst angepasste Preispakete in unterschiedlichen Höhen, die nicht so große Sprünge machen wie zum Beispiel ParseHub. Das ermöglicht dich finanziell “entspannter” dein Unternehmen mit Scrapingbee zu skalieren.

Sehr schön: Sollte mal eine gecodete Anfrage nicht durchgehen, wird dir das nicht von deinen Credits, die du mit deinem Tarif zugeteilt werden, abgezogen. Das mildert die Fallhöhe für deine ersten Gehversuche mit dem Scraper.

Auch die Templates und übersichtlichen Einstellungsinterfaces sind ein Plus.

ScraperAPI bietet dir eine Handvoll Templates, um die Einrichtung deiner Scraper noch effizienter zu gestalten

Screenshot: trusted.de

Quelle: scraperapi.com

Abseits davon gibt es weitere Profifunktionen wie das automatisierte Parsing zur weiteren Datenbearbeitung.

ScraperAPI bleibt seinem Namen treu: Du bekommst hier einen umfangreichen API-Helfer, mit dem du deine eigenen Scraper zusammencodest. Folgende Coding-Sprachen kannst du dafür nutzen:

• Java
• Python
• Ruby
• PHP
• NodeJS
• Bash
• cURL

Ein Manko ist die Sache mit dem Geotargeting. So können User der zwei kleinsten Premium-Tarife nur die Gebiete USA und Europa wählen. Erst ab dem knapp $ 300 teuren Tarif Business ist eine genaue Landesauswahl möglich.

Julia Warnstaedt

trusted-Expertin für Website & E-Commerce

ScraperAPI ist definitiv auf Profis ausgelegt. Das zeigt sich beispielsweise an der deutlich technischeren Dokumentation, die eben nicht so einsteigerfreundlich ausfällt wie bei Scrapingbee. Wer sich allerdings auskennt, bekommt mit ScraperAPI für einen günstigen Preis alles geboten, was man für ein umfassendes Scraping benötigt.

Alternativ kannst du die Premium-Tarife für 10 % weniger im Jahresabo buchen.

ScraperAPI ist in Sachen Kosten ähnlich teuer wie der Durchschnitt. Damit ist das Tool preislich okay und weder besonders teuer, noch günstig. Was allerdings positiv auffällt: schon im kostenlosen Tarif nutzt du den Proxy-Pool des Anbieters. Das ist bei fast allen anderen Scrapern ein Vorrecht der Premium-User.

Bist du dann auf deiner Zielwebsite, öffnest du einfach die Entwicklertools und startest deinen Scraping-Bau ‒ ganz ohne Fensterwechsel und Co. Einen schnelleren Start in dein Webscraping bekommst du kaum.

Um den Scraper aufzusetzen, baust du eine Sitemap und wählst verschiedene Selektoren, die gescrapt werden sollen. Kurz: du klickst Elemente an, die du haben willst, die Software markiert alle ähnlichen Elemente für dich vor und du bestätigst die Auswahl.

Nutzt du nicht ausschließlich die kostenlose Browser-Erweiterung, stehen dir zusätzlich nützliche Templates von der Community zur Verfügung.

Du nutzt die Browser-Erweiterung für den Bau deiner Scraping-Sitemap

Screenshot: trusted.de

Quelle: webscraper.io

Die Nutzung und Einrichtung von WebScrpaer ist intuitiv, erfordert aber etwas Einarbeitung, um zu verstehen, wann du wo, welche Inhalte als Element, Text, Link usw. scrapen musst. WebScraper ist zudem nicht ganz so erfolgreich wie etwa Bright Data bei der Umgehung von Anti-Block-Mechanismen. So fehlen etwa Headless Browser oder Captcha-Lösung.

Der große Vorteil von WebScraper: auch Einsteiger:innen können nützliche Datensätze mit WebScraper fabrizieren. Profis haben die Möglichkeit eigene Proxy-Lösungen (“custom proxies”) zu nutzen, mit den richtigen Schritten komplexe Scraper zu bauen und die Daten dann bis zu 60 Tage zu speichern.

Für dein lokales Scraping mit deinen eigenen Geräte-Ressourcen nutzt du die Browsererweiterung. Damit lassen sich einfache Scraping-Aufgaben problemlos erledigen, wie zum Beispiel schnell Produktinformationen von einer Website abrufen.

Wenn du beispielsweise mehrere Seiten gleichzeitig scrapen willst, große Datenmengen auf einmal scrapst, dein Scraping vorplanen möchtest oder Proxy-Server einsetzen musst, dann kommst du nicht um die kostenpflichtigen Pakete herum.

Die bieten dir dann allerdings dank Cloud-Scraping die Möglichkeit, mehrere Jobs gleichzeitig zu erledigen, die Ergebnisse der letzten 30 bis 60 Tage zu speichern und komplizierte Scraping-Aufgaben wie das Scraping dynamischer Websites flotter zu erledigen.

Julia Warnstaedt

trusted-Expertin für Website & E-Commerce

Meine Erfahrung mit WebScraper war super angenehm. Ich konnte sofort in die Bedienung einsteigen, dank der Videos und Dokumentation des Anbieters und einiger nützlicher YouTube-Tutorials. So kam ich schnell an die gewünschten Daten und hatte nach nur ein paar Stunden meinen Testdatensatz zusammen. Der war zwar noch nicht perfekt; aber auch das hätte ich mit ein bisschen mehr Zeit und Mühe in den Griff gekriegt!

Achtung: Nutzt du das Cloud-Scraping über die Desktop-App, kostet dich das Credits, die in begrenzter Menge pro Tarif vom Anbieter zur Verfügung gestellt werden.

Bei Bedarf kannst du die Tarife in günstigeren Jahresabos buchen. Die Auflistung hier enthält die Monatspreise:

WebScraper ist der günstigste Anbieter im Test. Wie bereits erwähnt, kannst du mit dem teuersten Tarif unbegrenzt scrapen. Teurer wird es bei Scale dann, wenn du zusätzliche, parallel laufende Scraping-Jobs willst. Willst du etwa statt 2 lieber 3 parallele Prozesse laufen lassen, kostet dich das $ 100 mehr.