unix-сплит огромный.GZ файл по строке

труба для разделения используйте gunzip-c или zcat, чтобы открыть файл

gunzip -c bigfile.gz | split -l 400000

добавить выходные спецификации в команду split.

когда вы работаете над (не перематываемым) потоком, вы захотите использовать форму' +N ' хвоста, чтобы получить строки, начиная с строки N и далее.

zcat hugefile.txt.gz | head -n 40000000
zcat hugefile.txt.gz | tail -n +40000001 | head -n 40000000
zcat hugefile.txt.gz | tail -n +80000001 | head -n 40000000

Я хотел бы рассмотреть возможность использования split.

разбить файл на куски

вот скрипт python для открытия глобированного набора файлов из каталога, gunzip их, если необходимо, и чтения их построчно. Он использует только пространство, необходимое в памяти для хранения имен файлов и текущей строки, а также немного накладных расходов.

#!/usr/bin/env python
import gzip, bz2
import os
import fnmatch

def gen_find(filepat,top):
    for path, dirlist, filelist in os.walk(top):
        for name in fnmatch.filter(filelist,filepat):
            yield os.path.join(path,name)

def gen_open(filenames):
    for name in filenames:
        if name.endswith(".gz"):
            yield gzip.open(name)
        elif name.endswith(".bz2"):
            yield bz2.BZ2File(name)
        else:
            yield open(name)

def gen_cat(sources):
    for s in sources:
        for item in s:
            yield item

def main(regex, searchDir):
    fileNames = gen_find(regex,searchDir)
    fileHandles = gen_open(fileNames)
    fileLines = gen_cat(fileHandles)
    for line in fileLines:
        print line

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Search globbed files line by line', version='%(prog)s 1.0')
    parser.add_argument('regex', type=str, default='*', help='Regular expression')
    parser.add_argument('searchDir', , type=str, default='.', help='list of input files')
    args = parser.parse_args()
    main(args.regex, args.searchDir)

команда print line будет посылать каждую строку в std out, так что вы можете перенаправить в файл. В качестве альтернативы, если вы сообщите нам, что вы хотите сделать со строками, я могу добавить его в скрипт python, и вам не нужно оставьте куски файла лежать вокруг.