Удалить пустые колонки из CSV файл с bash-скрипт

в данном случае можно просто сделать:

sed 's/,,/,/g' test.csv > new.csv

это заменит все двойные запятые только на одну, фактически удалив пустой столбец. Обратите внимание, что столбец необходимо удалить из заголовка самостоятельно.

Если вы хотите удалить, возможно, непустые столбцы (в том числе в заголовке), используйте команду "вырезать":

cut -d , -f 1,2,4 test.csv > new.csv

• если повторяющиеся пустые столбцы ,,,.
• если пробелы в Столбцах 1, , ,,2 (start with/in middle/at the end).
• If it's empty at first or end of a line ,123/123,

sed -E ':l;s/,[[:blank:]]*,/,/;tl;s/^[[:blank:]]*,|,[[:blank:]]*$//g'

awk присоединяется к партии.

awk -F "," '{print ","","}' test.csv > new.csv

это требует программы, а не быстрой команды. Лучшим способом сделать это было бы, как предложил Эндрю медико, использовать правильный CSV-парсер (в случае perl вы Text::CSV).

однако, я думал, что напишу perl скрипт, который работает в очень простых случаях:

perl -F, -lane 'if($.==1){@a=@F;next};for($i=0;$i<@F;$i++){if($F[$i]!=""){push @c,$F[$i];push @b,$i}}if(@a){foreach(@b){push @t,$a[$_]};print join(",",@t);undef @a}print join(",",@c);undef @c' file.csv

это сохраняет первую строку и идет дальше, чтобы увидеть, если есть какие-либо пустые поля в следующей строке. Затем он печатает только соответствующие заголовки, пропуская пустые поле во всех строках.

обратите внимание, что он не обрабатывает запятые внутри строк, заключенных в кавычки. Тем не менее, свою очередь:

Test01,Test02,Test03,Test04
11,22,,44
11,22,,44
11,22,,44
11,22,,44
11,22,,44
11,22,,44

в:

Test01,Test02,Test04
11,22,44
11,22,44
11,22,44
11,22,44
11,22,44
11,22,44

при попытке различных подходов Баш мне нужно удалить все пустые столбцы (включая заголовок) надежно. Для решения этой проблемы я использовал Python с панды.

import pandas as pd

data = pd.read_csv('test.csv', sep='\t')
data.dropna(axis=1).to_csv('test_clean.csv')

здесь важно добавить axis=1 сказать Панде применить dropna к столбцам вместо строк.