Как найти все текстовые файлы в кодировке UTF-16 в дереве каталогов с помощью команды Unix?

можно использовать grep:

 grep -rl $(echo -ne '^7677') *

(проверено с bash и GNU grep, может работать с другими.)

объяснение:

долларов США(Эхо... часть генерирует BOM (Hex FE FF, как восьмеричные escape-последовательности), это затем подается в grep в качестве шаблона, предваряемого ' ^ ' (=соответствует началу строки).

-r-рекурсивный поиск,- l заставляет grep выводить имена найденных файлов (вместо соответствующей строки).

это может быть немного расточительно, как grep будет сканировать каждый файл полностью, а не только начать. Если это в основном небольшие текстовые файлы, это не имеет значения. Если у вас есть много файлов с несколькими МБ, вам придется написать сценарий perl: -).

кроме того, можно попробовать file (в сочетании с find+xargs). file определит UTF-16 (как "UTF-16 Unicode character data"). Однако я не знаю, насколько он надежен (поскольку он использует эвристику).

вот сценарий, который я использую, чтобы найти UTF-16 файлы, а затем преобразовать их в UTF-8. #!/ bin / sh

find ./ -type f |
while read file; do
    if [ "`head -c 2 -- "$file"`" == $'\xff\xfe' ]
    then
        echo "Problems with: $file"
        # If you want to convert to UTF-8 uncomment these lines.
        #cat "$file" | iconv -f UTF-16 -t UTF-8 > "$file.tmp"
        #mv -f "$file.tmp" "$file"
    fi
done

Если у вас есть это, вы можете использовать enca:

enca -L none * 2>/dev/null | grep  -i "Universal character"