पाइपलाइन को idempotent बनाना

एक सहयोगी की पाइपलाइन हर रन पर सेल्स डेटा जोड़ देती है, इसलिए re-run और backfill करने पर डुप्लीकेट बन जाते हैं। staging और sales दोनों टेबल में date कॉलम है (फॉर्मेट YYYY-MM-DD).

आपकी टीम को पाइपलाइन को idempotent बनाना है: स्टेजिंग क्वेरी को लॉजिकल डेट के आधार पर फ़िल्टर करें, और sales टेबल से मौजूद पंक्तियाँ हटाने के लिए एक preoperator जोड़ें।