Data Sources
Spesifikasi teknis modul Data Sources (/dashboard/sumber), registri domain media, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.
Data Sources (/dashboard/sumber)
Modul Data Sources menyediakan registri domain sumber media siber nasional dan daerah (Tier 1 s.d. Tier 3), konfigurasi adapter perayapan, pemantauan kesehatan koneksi (uptime & SSL), dan kontrol status keaktifan domain.
Tabel Pemetaan Komponen ke PostgreSQL & Elasticsearch
| Komponen / Bagian UI | PostgreSQL (Tabel & Kolom Kunci) | Elasticsearch (Indeks & Field Kunci) | Kafka (Topik & Alur Event) |
|---|---|---|---|
Registri Sumber Media & StatusGET /api/v1/sourcesPOST /api/v1/sourcesGET /api/v1/sources/health | • sources↳ id, name, type, mode, adapter, base_url, template, cron, active, sort_order• scraping_targets↳ id, domain_name, base_url, scraping_config, is_active | • sources_directory↳ source_id, name, type, domain, status_health (Healthy, Degraded, Down), active | queue-source-health-ping(Domain Health Poller) |
Konfigurasi Adapter & Template Scraping
Setiap sumber media menyimpan konfigurasi selector JSON pada kolom sources.template (meliputi CSS selector untuk judul, penulis, tanggal publikasi, dan isi body artikel) yang digunakan worker GolangScraper A1 & B1.
KPU
Spesifikasi teknis, fungsi operasional, dan pemetaan database PostgreSQL, indeks Elasticsearch, dan topik Kafka untuk menu KPU.
Data Source Artikel
Spesifikasi teknis modul Data Source Artikel (/dashboard/data-source-artikel), volume artikel per domain portal media, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.