Dashboard
Data Source Artikel
Spesifikasi teknis modul Data Source Artikel (/dashboard/data-source-artikel), volume artikel per domain portal media, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.
Data Source Artikel (/dashboard/data-source-artikel)
Modul Data Source Artikel menyajikan visualisasi statistik throughput scraping per portal media, tingkat keberhasilan perayapan 7 hari terakhir (7d success rate), dan distribusi kuota artikel yang berhasil diindeks.
Tabel Pemetaan Komponen ke PostgreSQL & Elasticsearch
| Komponen / Bagian UI | PostgreSQL (Tabel & Kolom Kunci) | Elasticsearch (Indeks & Field Kunci) | Kafka (Topik & Alur Event) |
|---|---|---|---|
Statistik Volume & KeberhasilanGET /api/v1/sourcesGET /api/v1/articles | • sources↳ id, name, category, status_scrappe, success_rate_7d, rate_limit_per_min• articles↳ source_id, source_name, scraped_at, published_at | • sources_directory↳ source_id, articles_indexed_count, last_scraped_at• articles↳ Terms aggregation pada domain | queue-raw-data-site(Scraper Ingestion Flow) |
Data Sources
Spesifikasi teknis modul Data Sources (/dashboard/sumber), registri domain media, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.
Scrape Berita
Spesifikasi teknis modul Scrape Berita (/dashboard/scraper), kontrol job perayapan portal, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.