JSON adatok tárolása a RedisJSON modullal

A modern alkalmazások világában az adatok kezelése és tárolása kulcsfontosságú. Ahogy a webes szolgáltatások és a mikroserviced architektúrák egyre elterjedtebbé válnak, úgy nő a strukturált, mégis rugalmas adatformátumok, mint amilyen a JSON (JavaScript Object Notation) iránti igény. A JSON egyszerű, ember által olvasható és könnyen feldolgozható formátumával gyorsan alapvetővé vált az adatok cseréjében. De mi van akkor, ha ezeket az adatokat villámgyorsan, natívan és hatékonyan szeretnénk tárolni és lekérdezni egy memórián belüli adatbázisban, mint a Redis? Itt jön képbe a RedisJSON modul.

Miért éppen JSON és miért a Redis?

A JSON népszerűsége több tényezőnek is köszönhető. Egyrészt platformfüggetlen, azaz szinte bármilyen programozási nyelv képes kezelni. Másrészt rugalmas, hiszen schema-less természete lehetővé teszi, hogy az adatstruktúra idővel könnyen fejlődhessen, anélkül, hogy bonyolult adatbázis-migrációkra lenne szükség. Gondoljunk csak felhasználói profilokra, termékkatalógusokra, IoT szenzoradatokra vagy komplex beállításokra – mindezek tökéletesen modellezhetők JSON-ban.

A Redis a maga részéről egy legendásan gyors, nyílt forráskódú, memórián belüli adatstruktúra-szerver. Alapvetően kulcs-érték tárolóként indult, de az évek során számos komplex adatstruktúrával (stringek, hash-ek, listák, halmazok, rendezett halmazok stb.) bővült. Kiemelkedő teljesítménynövelést nyújt a gyorsítótárazásban, a munkamenet-kezelésben, a valós idejű analitikában és sok más területen.

Azonban a hagyományos Redis adatstruktúrák korlátozottan támogatták a JSON-t. Korábban a fejlesztőknek két fő módszerrel kellett beérniük:

Stringként tárolás: A JSON objektumot stringgé szerializálták, majd Redis stringként tárolták. Ez rendben volt az egész objektum olvasásához vagy írásához, de egyetlen mező frissítéséhez vagy lekérdezéséhez vissza kellett olvasni az egész stringet, deszerializálni, módosítani, majd újra szerializálni és visszatárolni. Ez komoly teljesítményproblémákat okozott nagy vagy gyakran frissülő JSON adatok esetén.
Hash-ként tárolás: A JSON objektum lapos szerkezetét próbálták Redis hash-ként tárolni, ahol minden JSON kulcs egy hash mezőnek felelt meg. Ez jobb volt a részleges frissítésekhez, de elvesztette a JSON hierarchikus szerkezetét, és a beágyazott objektumokat vagy tömböket továbbra is stringként kellett szerializálni a hash mezőkön belül.

Mindkét megközelítés kompromisszumokkal járt, és messze volt az ideálistól. Szükség volt egy olyan megoldásra, amely natívan érti és kezeli a JSON-t, lehetővé téve a hatékony műveleteket az adatok bármely részén.

Üdvözlünk a RedisJSON világában!

A RedisJSON egy nyílt forráskódú Redis modul, amelyet kifejezetten a natív JSON adattípus kezelésére terveztek. A modul bevezetésével a Redis képes lett a JSON adatok tárolására, lekérdezésére és manipulálására, mint egy első osztályú adattípust. Ez azt jelenti, hogy a RedisJSON nem csak tárolja a JSON-t stringként, hanem megérti annak belső struktúráját, és lehetővé teszi a fejlesztők számára, hogy közvetlenül az objektumok vagy tömbök bármely részén végezzenek műveleteket.

A RedisJSON főbb jellemzői és előnyei:

Natív JSON adattípus: A RedisJSON a JSON-t belsőleg optimalizált bináris formátumban tárolja, ami gyorsabb olvasást és írást tesz lehetővé, kevesebb memóriát fogyaszt, és elkerüli a szerializációs/deszerializációs költségeket.
JSONPath támogatás: A modul a jól ismert JSONPath lekérdező nyelvet használja, amellyel könnyedén kijelölhetjük az JSON adatok bármely részét – legyen szó egy beágyazott mezőről, egy tömb eleméről vagy egy összetettebb szűrésről. Ez jelentősen leegyszerűsíti az adatokhoz való hozzáférést.
Részleges frissítés (Partial Updates): Képzeljük el, hogy egy hatalmas JSON dokumentumot tárolunk, és csak egyetlen apró mezőt szeretnénk frissíteni benne. A RedisJSON-nel ez nem probléma! Nem kell az egész dokumentumot beolvasni, módosítani, majd újra kiírni. Ehelyett közvetlenül a célmezőt frissíthetjük, ami óriási teljesítményelőnyt jelent.
Atomikus műveletek: A Redis alapvető jellemzőjéhez hűen a RedisJSON is támogatja az atomikus műveleteket. Ez azt jelenti, hogy egy művelet vagy teljesen lefut, vagy egyáltalán nem, biztosítva az adatkonzisztenciát még nagy egyidejűség mellett is.
Integráció más Redis modulokkal: A RedisJSON különösen erős a RediSearch modullal kombinálva. Ez a párosítás lehetővé teszi a JSON adatok komplex indexelését és lekérdezését, beleértve a teljes szöveges keresést, a numerikus és földrajzi szűrést is.
Egyszerű fejlesztői élmény: Az intuitív parancsok és a szabványos JSONPath szintaxis miatt a fejlesztők gyorsan elsajátíthatják és beépíthetik a RedisJSON-t alkalmazásaikba.

Ismerkedés a RedisJSON parancsokkal: Gyakorlati példák

A RedisJSON használatához először telepíteni kell a modult. A legegyszerűbb módja a Redis Stack használata, amely eleve tartalmazza a RedisJSON-t. Docker konténerrel futtatva ez gyerekjáték: docker run -p 6379:6379 -it redis/redis-stack-server:latest

Alapvető műveletek:

1. JSON.SET: Adatok beállítása
Ez a parancs egy új JSON dokumentumot hoz létre, vagy felülírja a meglévőt egy adott kulcs alatt. A szintaxis: JSON.SET <kulcs> <útvonal> <érték> [NX | XX]. Az útvonal általában . (gyökér) az egész objektum beállításához.


JSON.SET user:1 $ '{"name": "Alice", "age": 30, "city": "New York", "interests": ["coding", "reading"], "address": {"street": "Main St", "number": 123}}'

2. JSON.GET: Adatok lekérdezése
Ez a parancs lekérdezi a JSON dokumentum egy részét, vagy az egészet. A szintaxis: JSON.GET <kulcs> [útvonal ...]. Több útvonalat is megadhatunk, ekkor tömbként kapjuk vissza az eredményeket.


JSON.GET user:1 $                    -- Az egész objektum lekérdezése
JSON.GET user:1 $.name $.age         -- Név és életkor lekérdezése
JSON.GET user:1 $.address.street     -- Beágyazott mező lekérdezése
JSON.GET user:1 $.interests[0]       -- Tömb első elemének lekérdezése

3. JSON.DEL: Adatok törlése
A JSON dokumentum egy részét vagy az egészet törli. Szintaxis: JSON.DEL <kulcs> [útvonal].


JSON.DEL user:1 $.address.number     -- Törli a 'number' mezőt
JSON.DEL user:1 $                    -- Törli az egész dokumentumot

Részleges frissítések és adatok manipulálása:

1. JSON.SET részleges frissítéshez:
Használhatjuk egy adott útvonal megadásával, hogy csak azt a részt frissítsük.


JSON.SET user:1 $.age 31             -- Csak az 'age' mező frissítése
JSON.SET user:1 $.address.zipcode 10001 -- Új mező hozzáadása

2. JSON.MERGE: Dokumentumok egyesítése
Egy meglévő JSON dokumentumot frissít egy másik JSON objektummal, mezőnként egyesítve azokat. A létező mezőket felülírja, az újakat hozzáadja. Szintaxis: JSON.MERGE <kulcs> <útvonal> <JSON_objektum>.


JSON.MERGE user:1 $ '{"city": "San Francisco", "email": "[email protected]"}'
-- Felülírja a 'city'-t, hozzáadja az 'email'-t

Tömbműveletek:

A RedisJSON gazdag funkcionalitást kínál a JSON tömbök kezelésére is.

JSON.ARRAPPEND: Elem hozzáadása tömb végéhez
JSON.ARRAPPEND user:1 $.interests '"gaming"'
JSON.ARRINSERT: Elem beszúrása tömbbe egy adott indexre
JSON.ARRINSERT user:1 $.interests 1 '"hiking"' (beszúr a „coding” és „reading” közé)
JSON.ARRPOP: Elem eltávolítása tömb végéről vagy adott indexről
JSON.ARRPOP user:1 $.interests (eltávolítja az utolsó elemet)
JSON.ARRLEN: Tömb hosszának lekérdezése
JSON.ARRLEN user:1 $.interests

Numerikus műveletek:

JSON.NUMINCRBY: Szám növelése/csökkentése
JSON.NUMINCRBY user:1 $.age 1 (növeli az ‘age’ értékét 1-gyel)

Fejlett használati esetek: Indexelés RediSearch-csel

Az igazi erő a RedisJSON-ban akkor mutatkozik meg, amikor kombináljuk a RediSearch modullal. A RediSearch egy nagy teljesítményű, teljes szöveges keresőmotor, amely szintén Redis modulként fut. Együtt lehetővé teszik a komplex lekérdezéseket a JSON adatokon.

Például, képzeljük el, hogy az összes felhasználót szeretnénk lekérdezni, akik „New York”-ban élnek és a „coding” érdekli őket.

Először létre kell hoznunk egy indexet a JSON adatokhoz:


FT.CREATE users_idx ON JSON PREFIX 1 "user:" SCHEMA
    $.name AS name TEXT
    $.age AS age NUMERIC
    $.city AS city TEXT
    $.interests AS interests TAG

A ON JSON megmondja a RediSearch-nek, hogy JSON dokumentumokat indexelünk. A PREFIX 1 "user:" azt jelenti, hogy minden olyan kulcsot indexeljen, ami „user:”-el kezdődik. A SCHEMA részben definiáljuk, melyik JSONPath útvonalakat milyen adattípusú mezőként indexeljük.

Ezután lekérdezhetjük az adatokat a FT.SEARCH paranccsal:


FT.SEARCH users_idx "@city:"New York" @interests:{coding}"

Ez a lekérdezés hihetetlenül gyorsan visszaadja az összes olyan felhasználót, aki New York-ban lakik ÉS a „coding” az érdeklődési köre. Ez a kombináció teszi a RedisJSON-t és a RediSearch-t rendkívül erőteljessé a dinamikus és strukturálatlan adatok kezelésére.

Mikor érdemes a RedisJSON-t használni?

A RedisJSON számos forgatókönyvben ideális választás:

Felhasználói profilok és beállítások: A felhasználók adatai gyakran dinamikusak és változatosak. A RedisJSON rugalmassága és a részleges frissítések képessége tökéletessé teszi ezek kezelésére.
Termékkatalógusok: A termékek attribútumai (szín, méret, gyártó, kategóriák) eltérőek lehetnek. A JSON-ban tárolt termékadatok egyszerűen frissíthetők, és a RediSearch-csel indexelhetők a gyors termékkereséshez.
IoT és valós idejű adatok: Szenzoradatok (hőmérséklet, páratartalom stb.) gyakran érkeznek JSON formátumban. A RedisJSON segítségével ezek az adatok gyorsan beírhatók és aggregálhatók.
Konfigurációs adatok: Dinamikus alkalmazáskonfigurációk tárolása és frissítése.
Tartalomkezelő rendszerek (CMS): Weboldalak, cikkek és egyéb tartalmak struktúrája rugalmasan kezelhető.

Legjobb gyakorlatok és megfontolások

Schema tervezés: Bár a JSON schema-less, egy jól átgondolt adatszerkezet (belső „schema”) segíthet a konzisztencia fenntartásában és a lekérdezések egyszerűsítésében.
Memóriahasználat: A RedisJSON belsőleg tömörített bináris formátumban tárolja az adatokat, ami hatékonyabb, mint a stringként tárolt JSON. Azonban továbbra is memóriában lévő megoldásról van szó, ezért figyeljünk a memóriafogyasztásra, különösen nagy dokumentumok esetén.
Teljesítményfigyelés: Mint minden adatbázisnál, itt is fontos a műveletek teljesítményének monitorozása és a lekérdezések optimalizálása, különösen, ha RediSearch-csel együtt használjuk.
Időzítés (TTL): A Redis alapvető TTL (Time To Live) funkciója a RedisJSON kulcsokra is alkalmazható, így beállíthatunk lejárati időt a dokumentumainknak.

Összefoglalás

A RedisJSON modul egy igazi áttörést jelent a JSON adatok Redisben való kezelésében. A natív JSON adattípus bevezetésével, a robusztus JSONPath támogatással és az atomikus műveletek biztosításával a RedisJSON lehetővé teszi a fejlesztők számára, hogy rugalmasabb, hatékonyabb és gyorsabb alkalmazásokat építsenek. Akár gyorsítótárazásról, akár komplex adatkezelésről van szó, a RedisJSON jelentősen leegyszerűsíti a munkát, és a teljesítménynövelés garantált. Ha a JSON a mindennapjaid része, és a Redis sebességére vágysz, akkor a RedisJSON a neked való megoldás. Ne habozz kipróbálni, és fedezd fel, hogyan forradalmasíthatja a JSON-alapú adatkezelésedet!