Dashboard
Pipeline
Spesifikasi teknis modul Pipeline (/dashboard/dead-jobs), monitoring kesehatan Kafka dan dead jobs, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.
Pipeline & Dead Jobs (/dashboard/dead-jobs)
Modul Pipeline & Dead Jobs memantau kesehatan antrean Kafka, melacak job inferensi AI yang mengalami kegagalan (Dead-Letter Queue), dan menyediakan mekanisme retry ulang tanpa harus me-restart worker.
Tabel Pemetaan Komponen ke PostgreSQL & Elasticsearch
| Komponen / Bagian UI | PostgreSQL (Tabel & Kolom Kunci) | Elasticsearch (Indeks & Field Kunci) | Kafka (Topik & Alur Event) |
|---|---|---|---|
Dead-Letter Queue (DLQ) & RetryGET /api/v1/dead-jobsPOST /api/v1/dead-jobs/{id}/retryPOST /api/v1/dead-jobs/bulk-retry | • articles↳ id, code, title, flagged = true, flag_reason, scraped_at• kafka_topic_offset_samples↳ topic, bucket_start, end_offset, partitions, sampled_at | • pipeline_error_logs↳ job_id, worker_name, error_stage, error_message, payload_snippet, retry_count | queue-dlq-retryqueue-ai-inference(DLQ Retry Bus) |
Services
Spesifikasi teknis modul Services (/dashboard/services), kontrol dan jadwal service pipeline, serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.
Validasi Label
Spesifikasi teknis modul Validasi Label (/dashboard/validasi), antrean koreksi label AI (Human-in-the-Loop), serta pemetaan database PostgreSQL, Elasticsearch, dan Kafka.