ปัญหาของ Snapshot

สมาชิกในทีมของคุณได้นำ snapshots มาใช้ใน dbt สำหรับ data model หนึ่ง แต่พบว่าการเปลี่ยนแปลงของบางแถวไม่ปรากฏตามที่คาดไว้ โดยให้ข้อมูลดังนี้:

• ข้อมูลของ model นี้ได้รับการอัปเดตทุกชั่วโมง โดยแถวที่เปลี่ยนสถานะจะแตกต่างกันในแต่ละชั่วโมง
• มีการเพิ่มหรืออัปเดตประมาณ 500,000 แถวต่อชั่วโมง
• กระบวนการประมวลผลแบบ batch เสร็จสิ้นภายในกรอบเวลาหนึ่งชั่วโมงตามที่กำหนด
• กระบวนการ snapshot ถูกตั้งให้รันอัตโนมัติทุก 24 ชั่วโมง
• แถวเดียวกันอาจมีการเปลี่ยนแปลงหลายครั้งภายใน 24 ชั่วโมง

แนวทางแก้ไขที่น่าจะเหมาะสมที่สุดคืออะไร?