Frogikus – Eigenentwicklung eines SEO-Crawlers
SEO-Audits ohne Lizenzlimits,
in einem Stack, den wir selbst pflegen
Wer regelmäßig SEO-Audits für Kundenprojekte macht, kommt an Tools wie Screaming Frog oder Sitebulb kaum vorbei.
Beide sind großartig, aber wir wollten ein Werkzeug, das exakt zu unserem Workflow passt: ohne Lizenzlimits, mit den Auswertungen, die wir bei Übergaben an Kunden tatsächlich brauchen, und in einem Stack, den wir selbst pflegen können.
Also haben wir Frogikus gebaut: einen webbasierten SEO-Crawler und -Analyzer für interne Webseiten-Audits und Relaunch-Vorbereitungen.
Unsere Leistungen
Über Frogikus
Frogikus ist unser internes SEO-Werkzeug, inspiriert von Screaming Frog und konsequent auf den Workflow einer WordPress- und WooCommerce-Agentur zugeschnitten. Eine Start-URL eintragen, und das Tool crawlt rekursiv die gesamte Domain. Pro Seite werden Title und Description (inklusive Längen), Canonical, Robots-Meta, H1- und H2-Struktur, HTTP-Status, Antwortzeit, Wortanzahl und Crawl-Tiefe erfasst. Filter im Dashboard machen Klassiker wie fehlende Titles, Noindex-Seiten, 4xx/5xx-Cluster, Redirect-Ketten und H1-Probleme in Sekunden sichtbar.
Unsere Lösung: Eigenständige Architektur mit minimaler Infrastruktur
Bei der Architektur stand eine Frage im Vordergrund: möglichst wenig bewegliche Teile, möglichst klare Verantwortlichkeiten. Frogikus sitzt deshalb komplett auf einem Rails-Stack mit SQLite, die gesamte Crawl-Orchestrierung lebt in den Modellen, Background-Jobs laufen über Solid Queue ohne externen Redis, und das HTTP/HTML-Parsing übernimmt eine eigene WebCrawler-Klasse auf Basis von Faraday und Nokogiri.
-
Eigene Crawler-Klasse auf Basis von Faraday und Nokogiri, mit konfigurierbarer Tiefe
-
Resume und Restart abgebrochener Crawls inklusive automatischer Wiederaufnahme aus persistierten Daten
-
Deployment via Kamal als Docker-Container
-
Solid Queue statt Redis SQLite-backed Background-Jobs ohne zusätzlichen Service
-
Excel-Export via caxlsx mit zwei Sheets: Seitenübersicht und separater Inlinks-Liste
-
Live-Fortschritt während des Crawls über Turbo-Frame-Polling, ohne JavaScript-Framework
Das Ergebnis ist ein schlankes, schnell deploybares Audit-Werkzeug, das ohne externe Infrastruktur auskommt und sich an unseren Workflow anpasst statt umgekehrt. Frogikus läuft inzwischen produktiv im Audit-Alltag. Die Roadmap reicht von robots.txt-Analyse über terminierte Crawls bis hin zu PDF-Reports und einer Core-Web-Vitals-Auswertung.
Du möchtest eine Website oder eine Software erstellen lassen?
Nimm jetzt Kontakt mit uns auf. Wir freuen uns auf dich.
Ähnliche Referenzen
Erfolgreich abgeschlossene Projekte
