A GDPR és a CCPA megfelelősége a Delta Lake-rel

  • Cikk

Ez a cikk azt ismerteti, hogyan kezelheti a Delta Lake on Azure Databricks szolgáltatást az általános adatvédelmi rendelet (GDPR) és a kaliforniai fogyasztóvédelmi törvény (CCPA) megfelelőségének kezelésére az adattóhoz. A megfelelőséghez gyakran ponttörlésekre vagy az egyes rekordok törlésére van szükség egy nagy adatgyűjteményben. A Delta Lake felgyorsítja az ACID-tranzakciókkal rendelkező nagy adattavak ponttörlését, így a felhasználók GDPR- vagy CCPA-kérelmeire válaszul megkeresheti és eltávolíthatja a személyes idenfibilis információkat (PII).

Az adatmodell megtervezése a megfelelőség érdekében

Az adatok megfelelőségre való modellezése fontos lépés a PII kezelésében. Az adatfogyasztók igényeitől függően számos életképes megközelítés létezik.

Az egyik gyakran alkalmazott megközelítés a személyes információelemek (azonosítók) álnevesítése vagy visszavonható tokenizálása olyan kulcsokhoz (álnevesítésekhez), amelyek külsőleg nem azonosíthatók. Az álnevesítésen keresztüli megfelelőség gondos tervezést igényel, beleértve a következőket:

  • Az információk tárolása álnevekkel, nem pedig azonosítókkal.
  • Szigorú szabályzatok fenntartása az azonosítókat és álneveket kombináló adatok elérésére és használatára vonatkozóan.
  • Folyamatok vagy tárolási szabályzatok a nyers adatok eltávolításához.
  • Az álnevek és az azonosítók közötti kapcsolat megkeresésére és törlésére szolgáló logika.

A Delta Lake leegyszerűsíti a ponttörléseket

A Delta Lake számos beépített adatátugrás-optimalizálással rendelkezik. A ponttörlések felgyorsítása érdekében a Databricks a Z-order használatát javasolja a műveletek során DELETE használt mezőkön.

A Delta Lake megőrzi a táblaelőzményeket, és elérhetővé teszi az időponthoz kötött lekérdezésekhez és visszaállításokhoz. A VACUUM függvény eltávolítja azokat az adatfájlokat, amelyekre egy Delta-tábla már nem hivatkozik, és amelyek régebbiek a megadott megőrzési küszöbértéknél, és véglegesen törli az adatokat. Az alapértelmezett beállításokkal és javaslatokkal kapcsolatos további információkért lásd: A Delta Lake-táblaelőzmények ismertetése.