Web Scraping
Web Scraping Hukuki ve Etik Standartları: Robots.txt, Kamusal Veri ve KVKK/GDPR
Yasal sınırlar içinde veri toplama, telif hakları, kişisel verilerin korunması kanunu (KVKK) ve sunucuları yormayan etik scraping standartları.
Etik ve Yasal Scraping İlkeleri
1. Kamuya açık bilgileri toplamak (hiq vs LinkedIn davası emsali).
2. Giriş şifresi veya ödeme duvarı arkasındaki verileri ihlal etmemek.
3. Hedef sunucunun hizmetini aksatmayacak şekilde makul istek aralıkları (rate limit) bırakmak.
4. Kişisel verileri (KVKK/GDPR) izinsiz depolamamak veya anonimleştirmek.
İlgili Teknik Rehberler
Bu mimariyle bağlantılı diğer üretim odaklı rehber ve vaka analizlerini inceleyin:
Playwright ve AI Vision ile Dinamik Web Kazıma ve Anti-Bot Korumalarını Aşma
Geleneksel CSS seçicilerinin kırıldığı dinamik sitelerde Playwright, LLM'ler ve Vision modelleriyle kendi kendine adapte olan akıllı scraping sistemleri.
Crawl4AI Rehberi: LLM ve RAG Sistemleri İçin Temiz Markdown ve JSON Kazıma
Açık kaynak Crawl4AI kütüphanesi ile web sayfalarını HTML çöplerinden arındırıp LLM dostu temiz Markdown ve yapılandırılmış JSON formatında kazıma rehberi.
Playwright Stealth ile Cloudflare ve DataDome Bot Korumalarını Aşma (2026)
Headless Chrome parmak izi (fingerprint) gizleme, TLS fingerprinting, WebGL/Canvas spoofing ve Cloudflare Challenge atlatma teknikleri.