Funcionamento
Adicione o seu ficheiro Apache Avro. O MimiFile verifica o formato, converte-o para Apache Parquet e disponibiliza o resultado através de uma transferência temporária.
Converta Avro para Parquet quando o objetivo for análise colunar, leitura seletiva de colunas ou integração com ferramentas de data engineering. Avro organiza registos de forma eficiente; Parquet reorganiza os dados para armazenamento e consultas analíticas colunares.
AVRO → PARQUET
Arraste ou cole um ficheiro, ou selecione-o no dispositivo.
Os ficheiros são temporários e eliminados automaticamente.
Limites: 32 MB por ficheiro · 128 MB no total por lote.
Adicione o seu ficheiro Apache Avro. O MimiFile verifica o formato, converte-o para Apache Parquet e disponibiliza o resultado através de uma transferência temporária.
A conversão muda a representação física e traduz o esquema. Tipos simples e muitas estruturas têm correspondência útil, mas tipos lógicos, uniões, precisão decimal, listas, mapas e metadados merecem validação antes de substituir o ficheiro Avro.
Limite atual do ficheiro de origem : 32 MB por ficheiro. Podem ser enviados até 10 ficheiros por lote dentro do limite global.
Parquet é otimizado para leitura colunar e costuma ser usado em análise, data lakes e motores que consultam apenas parte das colunas. É uma intenção diferente do Avro, muito comum em serialização de registos e pipelines de eventos.
Não é seguro assumir equivalência perfeita. A escrita em Parquet traduz os tipos do Avro para o modelo do destino; tipos lógicos, uniões e metadados específicos podem ser normalizados.
Quando um destino tabular não consegue representar diretamente listas ou objetos, os valores aninhados são serializados como texto JSON sempre que possível.
Valores nulos e temporais são preservados quando o destino os suporta. Dados binários podem ser representados em Base64 em saídas de texto ou folha de cálculo.
Verifique tipos de coluna, valores nulos, datas e campos aninhados antes de usar o ficheiro convertido num pipeline de dados em produção.