सिर्फ नए रिकॉर्ड प्रोसेस करें

Schedules और retries का मतलब है कि वही डेटा दो बार आ सकता है. अगर सुरक्षा न हो, तो डुप्लिकेट पंक्तियाँ जुड़ती जाएँगी और हर डाउनस्ट्रीम रिपोर्ट वास्तविकता से हटती जाएगी. एक idempotent write स्टेप इसे रोकता है.

इन्सर्ट से पहले एक Data Table Get row(s) नोड जोड़ें, फिर एक Code फ़िल्टर जो city और date की तुलना करे — सिर्फ नई जोड़ियाँ ही writer तक पहुँचें.