Veri & Altyapı
Kazınan Veriyi PostgreSQL ve Supabase'e Aktarma: Güvenilir Data Pipeline Mimarisi
Toplanan ham verileri Pydantic ile doğrulama, tekrar eden kayıtları (deduplication) ayıklama ve toplu (batch) upsert ile veritabanına aktarma.
4 dk
İdempotent Veri Kaydı Prensibi
Scraper yarıda kesilip tekrar çalıştığında aynı ürün veya haber kaydı tekrar yazılmamalıdır. `ON CONFLICT (source_url) DO UPDATE` şeması ile idempotent kayıt garantisi sağlanmalıdır.