Wir stellen GraMi vor – ein Datenmigrationstool für Grakn

Blog

Wir stellen GraMi vor – ein Datenmigrationstool für Grakn

Wenn du wie ich bist, hat es nicht lange gedauert, bis du dich aufgeregt hast Grakn . Und wenn Sie wie ich sind, sind die aufregendsten Teile die Datenmodellierung, die Inferenz durch Regeln und ihre Abfrage- und Analysefähigkeiten.

Nach dem Durchlaufen der offizielle Beispiele wie man Daten migriert, war ich sicher, dass ich nur ein paar Tage von all dem Spaß entfernt sein würde. Dann verbrachte ich Wochen damit, einen zuverlässigen und robusten Datenmigrator zu entwickeln, der Folgendes bietet:

  • Skalierbarkeit & Leistung
  • Grundlegende Datenbereinigung
  • Datenvalidierung
  • Protokollierung
  • Fehlerbeseitigung

Es heißt Spiel (Grakn-Migrator). Wenn Sie möchten, können Sie es auch verwenden.

Was ist GraMi?

GraMi streamt tabellarische Daten aus Dateien und generiert gültige Graql-Einfügeabfragen, die es dann an den Grakn-Server Ihrer Wahl sendet. Genauer:

Dateneingabe:

  • Daten werden aus Dateien gestreamt, um einen geringen Speicherbedarf zu gewährleisten
  • Unterstützt jede tabellarische Datendatei (d. h.: .csv, .tsv, .*sv…), gzippt oder nicht

Entitäts- und Beziehungsmigration:

  • Migrieren Sie erforderliche/optionale Attribute aller in Grakn verfügbaren Typen (string, boolean, long, double, datetime)
  • Migrieren Sie erforderliche/optionale Rollenspieler
  • Migrieren von listenartigen Attributspalten als n Attribute (empfohlen von Grakn)

Datenbereinigung und -validierung:

  • Grundlegende Datenbereinigung (Entfernen von führenden und nachgestellten Leerzeichen und nicht konformen Sonderzeichen)
  • Validierung von Einfügeabfragen basierend auf jeder Datenzeile Vor Schreiben an Grakn
  • Protokollieren Sie alle ungültigen Datensätze zur einfachen Analyse (z. B. fehlende Attribute/Spieler oder falsch formatierte Datensätze)

#data-migration-tool #grakn #knowledge-graph #data-science

zudatascience.com

Wir stellen GraMi vor – ein Datenmigrationstool für Grakn

GraMi streamt tabellarische Daten aus Dateien und generiert gültige Graql-Einfügeabfragen, die es dann an den Grakn-Server Ihrer Wahl sendet.