web-dev-qa-db-fra.com

Supprimer les caractères Unicode des fichiers texte - sed, autres méthodes bash / Shell

Comment supprimer des caractères unicode d'un tas de fichiers texte sur le terminal? J'ai essayé mais cela n'a pas fonctionné:

sed 'g/\u'U+200E'//' -i *.txt

J'ai besoin de supprimer ces unicodes des fichiers texte

U+0091 - sort of weird "control" space
U+0092 - same sort of weird "control" space
A0 - non-space break
U+200E - left to right mark
bashunicodesedtext-filesspaces
41
alvas

Si vous souhaitez supprimer UNIQUEMENT des caractères particuliers et que vous avez python, vous pouvez:

CHARS=$(python -c 'print u"\u0091\u0092\u00a0\u200E".encode("utf8")')
sed 's/['"$CHARS"']//g' < /tmp/utf8_input.txt > /tmp/ascii_output.txt
42
Michał Šrajer

efface tous les caractères non-ascii de file.txt

$ iconv -c -f utf-8 -t ascii file.txt
$ strings file.txt
57
kev

Pour le codage utf-8 de l'unicode, vous pouvez utiliser cette expression régulière pour sed:

sed 's/\xc2\x91\|\xc2\x92\|\xc2\xa0\|\xe2\x80\x8e//'
25
choroba

Utilisez iconv:

iconv -f utf8 -t ascii//TRANSLIT < /tmp/utf8_input.txt > /tmp/ascii_output.txt

Cela traduira des caractères comme "Š" en "S" (les plus similaires).

12
Michał Šrajer

Convertir les fichiers Swift de utf-8 en ascii:

for file in *.Swift; do
    iconv -f utf-8 -t ascii "$file" > "$file".tmp
    mv -f "$file".tmp "$file"
done

L'achèvement automatique rapide ne fonctionne pas dans Xcode6-Beta

2
ma11hew28