Qsv – Uma ferramenta poderosa para gerenciar arquivos CSV com facilidade

Outro dia, me deparei com uma ferramenta bem interessante chamada qsv, que pode mudar a forma como você trabalha com arquivos CSV.

É uma versão aprimorada do xsv, uma ferramenta popular para manipulação de arquivos CSV, que permite analisar, processar e manipular arquivos CSV de forma ultra-rápida através da linha de comando.

Além de todos os comandos disponíveis (+ de 33 comandos), o qsv é capaz de operar em multithread, o que acelera especialmente o processamento de arquivos grandes!

Em resumo, esses comandos oferecem uma variedade de funcionalidades para manipular, transformar e analisar seus arquivos CSV de forma eficaz e precisa.

Independentemente da sua necessidade, provavelmente existe um comando que pode ajudá-lo a realizar sua tarefa.

Aqui estão alguns desses comandos:

• apply: Aplica uma série de transformações (strings, datas, matemática, moedas, geocodificação) a uma coluna CSV.
• applydp: Uma versão simplificada do “apply”.
• behead: Remove os cabeçalhos de um arquivo CSV.
• cat: Concatena arquivos CSV por linha ou coluna.
• count: Conta o número de linhas em um arquivo CSV.
• dedup: Remove linhas duplicadas de um arquivo CSV.
• diff: Encontra a diferença entre dois CSVs.
• enum: Adiciona uma nova coluna numerando as linhas, adicionando uma coluna de identificadores incrementais ou uuid. Também pode ser usado para copiar uma coluna ou preencher uma nova coluna com um valor constante.
• excel: Exporta uma planilha Excel/ODS específica para um arquivo CSV.
• exclude: Remove um conjunto de dados CSV de outro conjunto com base nas colunas especificadas.
• explode: Divide linhas em várias, dividindo um valor de coluna com base no separador fornecido.

E há muitos outros, como “fetch”, que recupera dados de serviços web para cada linha usando HTTP Get, ou “join”, que realiza junções internas, externas, cruzadas, anti & semi em arquivos CSV.

Uma das funcionalidades que achei mais interessante no qsv é o “apply”, com suporte para funções de processamento de linguagem natural (NLP), que incluem reconhecimento de sentimentos, detecção de idiomas, detecção de similaridades e censura de palavras obscenas.

Isso abre um mundo de possibilidades para a análise de dados textuais.

Imagine ser capaz de extrair o sentimento geral dos comentários dos clientes ou detectar o idioma usado, tudo em tempo real. É incrível!

Outro aspecto que valorizo muito no qsv é sua integração com outras ferramentas, como PostgreSQL, SQLite, luau (uma linguagem de script rápida e flexível derivada do Lua) e Python.

Isso significa que você pode executar consultas ou scripts para cada linha de um arquivo CSV, ou até mesmo realizar junções com arquivos grandes sem sobrecarregar a memória disponível.

Para lhe dar um exemplo do poder do qsv, imagine que você tem dois arquivos CSV com 1 milhão de linhas e 9 colunas cada que precisa comparar.

Com o qsv, essa tarefa pode ser realizada em menos de 600 ms! O Excel provavelmente seria muito lento na mesma situação e até poderia travar.

Em resumo, com o qsv, você tem tempos de processamento mais curtos e a capacidade de realizar tarefas complexas em um piscar de olhos.

Para experimentar você mesmo, pode baixá-lo do GitHub, onde também encontrará uma documentação completa.