Debian文本数据转换工具

Debian 是一种流行的 Linux 操作系统，提供了丰富的文本数据转换工具。在 Debian 中，我们可以使用 iconv 命令来完成文本编码转换、文件名转换等操作，使用编辑器和文本处理工具来进行纯文本格式化、提取等操作。

文本数据转化工具列表：

一、iconv命令

iconv(1) 是 libc6 软件包的一部分并且它可以在类 Unix 的系统上转换字符的编码。能够通过如下的命令用 iconv(1) 来转换文本文件的编码。

$ iconv -f encoding1 -t encoding2 input.txt >output.txt

编码值是大小写不敏感的，且会在匹配时忽略“-”和“_”。可以使用“iconv -l”命令检查支持的编码。

编码值和用法的列表：

像 ASCII 和 ISO-8859 这样适用于单字节的字符集，字符编码和字符集几乎指的是同一件事情。对于多字符的字符集，比如说，用于日文的 JIS X 0213，或用于差不多所有语言的 Universal Character Set (UCS, Unicode, ISO-10646-1) , 有多种编码方案来序列化它们的字节数据。

• 日文的 EUC 和 ISO/IEC 2022 (也被称为 JIS X 0202)；
• Unicode 的 UTF-8、UTF-16/UCS-2 和 UTF-32/UCS-4 编码。

对于以上这些，字符集和字符编码之间有着明显的区别；而对某些计算机厂家而言，code page 是作为字符编码表的同义词来使用。

请注意，大部分编码系统共享 ASCII 的 7 位字符的同样编码，但也有一些列外。如果从通常所说的 shift-JIS 编码格式，转化老的日文 C 语言程序和 URL 数据，到 UTF-8 格式,需要使用 “CP932” 作为编码名来代替 “shift-JIS” 来得到期望的结果： 0x5C → “\” 和 0x7E → “~”.否则，这些将被转化为错误的字符。

recode(1) 也可能被使用并且不仅仅是 iconv(1)，fromdos(1)，todos(1)，frommac(1) 和 tomac(1) 功能的结合。想要获得更多信息，请参见 “info recode”。

二、检查文件编码

能够通过如下命令用 iconv(1) 来检查一个文本文件是不是用 UTF-8 编码的。

$ iconv -f utf8 -t utf8 input.txt >/dev/null || echo "non-UTF-8 found"

在上面的例子中使用 “–verbose” 参数来找到第一个 non-UTF-8 字符。

三、转换文件名

这里是一个示例脚步，在同一目录下，将在老的操作系统系统下创建的文件名编码，转换为现代 UTF-8.

#!/bin/sh
ENCDN=iso-8859-1
for x in *;
do
mv "$x" "$(echo "$x" | iconv -f $ENCDN -t utf-8)"
done

四、换行符转换

文本文件的格式，特别是行尾（换行符）编码，有平台独立性。

不同平台的换行符样式列表：

换行符转换程序, fromdos(1), todos(1), frommac(1), 和 tomac(1), 是相当方便. recode(1) 也是有用的。

注意：

• 在 Debian 系统上的一些数据，如 python-moinmoin 软件包的 wiki 页面数据，使用 MSDOS 式样的 CR-LF 作为换行符编码。所以，上面的规则仅仅是一个通用规则；
• 大部分编辑器 (比如： vim, emacs, gedit, …) 能够透明处理 MSDOS 式样的换行符文件；
• 对于混合 MSDOS 和 Unix 式样的文件，统一到 MSDOS 换行符式样，使用 “sed -e ‘/\r$/!s/$/\r/'” 代替 todos(1) 比较好。 (例如，在使用 diff3(1)移植两个 MSDOS 式样的文件后.)这是因为 todos 给所有的行增加 CR。

五、TAB转换

这里有一些转换 TAB 代码的专业工具。

bsdmainutils 和 coreutils 包中的用于转换 TAB 的命令列表：

indent 包中的 indent(1) 命令能够重新格式化 C 程序中的空格。例如 vim 和 emacs 这样的编辑软件可以被用来扩展 TAB。就拿 vim 来说，能够按顺序输入 “:set expandtab” 和 “:%retab” 命令来扩展 TAB。也可以按顺序输入 :%set noexpandtab” 和 “:%retab” 命令来复原。

六、自动转换编辑器

像 vim 这样的现代智能编辑器软件是相当聪明的并且能够处理任何编码系统以及任何文件格式。应该在支持 UTF-8 编码的控制台上并在 UTF-8 环境下使用这些编辑器来获得最好的兼容性。

以 latin1（iso-8859-1）编码存储的旧西欧语言的 Unix 文本文件，“u-file.txt”，能通过如下所示的用 vim 轻易的编辑。

$ vim u-file.txt

这是可能的因为 vim 的文件编码自动检测机制先假定文件是 UTF-8 编码，如果失败了，则假定它是 latin1 编码。

以 latin2（iso-8859-2） 编码存储的旧波兰语的 Unix 文本文件，“pu-file.txt”，能通过如下所示的用 vim 编辑。

$ vim '+e ++enc=latin2 pu-file.txt'

以 eucJP 编码存储的旧日语的 Unix 文本文件，”ju-file.txt”，能通过如下所示的用 vim 编辑。

$ vim '+e ++enc=eucJP ju-file.txt'

以所谓的 shift-JIS 编码 (更确切的说法是：CP932) 存储的旧日语 MS-Windows 文本文件，”jw-file.txt”，能通过如下所示的用 vim 编辑。

$ vim '+e ++enc=CP932 ++ff=dos jw-file.txt'

当一个文件用 vim 打开的时候带有 “++enc” 和 “++ff” 选项，在 Vim 命令行输入 “:w” 命令会以原格式存储文件并且会覆盖原文件。也可以在 Vim 命令行指定存储文件名及其格式，例如，”:w ++enc=utf8 new.txt”。

七、提取纯文本

如下所示读入 web 页面并把它转化成文本文件。当从 Web 中拷贝配置或者是在 web 页面中应用类似 grep(1) 的基础 Unix 文本工具时，以下命令是非常有用的。

$ w3m -dump https://www.remote-site.com/help-info.html >textfile

同样，可以使用如下所示的工具从其他格式提取纯文本数据。

用于提取纯文本数据的工具列表：

八、高亮并格式化数据

可以通过如下所示的来高亮并格式化纯文本数据。

高亮纯文本数据的工具列表：