Funktionsweise
Fügen Sie Ihre Apache-Arrow-IPC-Daten-Datei hinzu. MimiFile prüft das Format, konvertiert die Datei in Apache-Parquet-Daten und stellt das Ergebnis vorübergehend zum Download bereit.
Apache-Arrow-Daten in Parquet konvertieren. Beide Modelle sind spaltenorientiert und stark typisiert, aber die Datei wird neu serialisiert: Arrow IPC und Parquet verwenden unterschiedliche Speicher- und Encoding-Strukturen.
ARROW → PARQUET
Dateien hierher ziehen, einfügen oder auf dem Gerät auswählen.
Dateien werden nur vorübergehend gespeichert und automatisch gelöscht.
Limits: 50 MB pro Datei · 128 MB insgesamt pro Stapel.
Fügen Sie Ihre Apache-Arrow-IPC-Daten-Datei hinzu. MimiFile prüft das Format, konvertiert die Datei in Apache-Parquet-Daten und stellt das Ergebnis vorübergehend zum Download bereit.
Kompatible Spaltentypen und Nullwerte können strukturiert übernommen werden. Komplexe oder formatspezifische Arrow-Typen sollten trotzdem geprüft werden, weil Parquet nicht jede Arrow-Repräsentation identisch speichert.
Aktuelles Quelllimit : 50 MB pro Datei. Bis zu 10 Dateien können innerhalb des globalen Limits für die Stapelverarbeitung gemeinsam gesendet werden.
Arrow ist auf einen standardisierten spaltenorientierten Speicher und Datenaustausch ausgelegt; Parquet ist ein spaltenorientiertes Dateiformat für persistente analytische Daten. Die Konvertierung schreibt daher eine neue Parquet-Datei statt nur die Endung zu ändern.
Kann ein tabellarisches Zielformat Listen oder Objekte nicht direkt darstellen, werden verschachtelte Werte nach Möglichkeit als JSON-Text serialisiert.
Nullwerte und Zeitangaben bleiben erhalten, wenn das Zielformat sie unterstützt. Binärdaten können in Text- oder Tabellenausgaben als Base64 dargestellt werden.
Prüfen Sie Spaltentypen, Nullwerte, Zeitangaben und verschachtelte Felder, bevor die konvertierte Datei in einer produktiven Datenpipeline eingesetzt wird.