这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念，增进知识，类似于打RPG游戏的升级。整理这篇文章的动机是两个问题：
问题一：

使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？

我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节，分别是FF、FE（Unicode）,FE、FF（Unicode big endian）,EF、BB、BF（UTF-8）。但这些标记是基于什么标准呢？
问题二：
最近在网上看到一个ConvertUTF.c，实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式，我原来就了解。但这个程序让我有些糊涂，想不起来UTF-16和UCS2有什么关系。

查了查相关资料，总算将这些问题弄清楚了，顺带也了解了一些Unicode的细节。写成一篇文章，送给有过类似疑问的朋友。本文在写作时尽量做到通俗易懂，但要求读者知道什么是字节，什么是十六进制。
0、big endian和little endian

big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。还是将49写在前面，就是little endian。

“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开，由此曾发生过六次叛乱，其中一个皇帝送了命，另一个丢了王位。

我们一般将endian翻译成“字节序”，将big endian和little endian称作“大尾”和“小尾”。
1、字符编码、内码，顺带介绍汉字编码

字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码，为了处理汉字，程序员设计了用于简体中文的GB2312和用于繁体中文的big5。

GB2312(1980年)一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030，对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。

从ASCII、GB2312、GBK到GB18030，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼，GB2312、GBK到GB18030都属于双字节字符集 (DBCS)。

有的中文Windows的缺省内码还是GBK，可以通过GB18030升级包升级到GB18030。不过GB18030相对GBK增加的字符，普通人是很难用到的，通常我们还是用GBK指代中文Windows内码。

这里还有一些细节：

GB2312的原文还是区位码，从区位码到内码，需要在高字节和低字节上分别加上A0。

在DBCS中，GB内码的存储格式始终是big endian，即高位在前。

GB2312的两个字节的最高位都是1。但符合这个条件的码位只有128*128=16384个。所以GBK和GB18030的低字节最高位都可能不是1。不过这不影响DBCS字符流的解析：在读取DBCS字符流时，只要遇到高位为1的字节，就可以将下两个字节作为一个双字节编码，而不用管低字节的高位是什么。
2、Unicode、UCS和UTF

前面提到从ASCII、GB2312、GBK到GB18030的编码方法是向下兼容的。而Unicode只与ASCII兼容（更准确地说，是与ISO-8859-1兼容），与GB码不兼容。例如“汉”字的Unicode编码是6C49，而GB码是BABA。

Unicode也是一种字符编码方法，不过它是由国际组织设计，可以容纳全世界所有语言文字的编码方案。Unicode的学名是"Universal Multiple-Octet Coded Character Set"，简称为UCS。UCS可以看作是"Unicode Character Set"的缩写。

根据维基百科全书(http://zh.wikipedia.org/wiki/)的记载：历史上存在两个试图独立设计Unicode的组织，即国际标准化组织（ISO）和一个软件制造商的协会（unicode.org）。ISO开发了ISO 10646项目，Unicode协会开发了Unicode项目。

在1991年前后，双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果，并为创立一个单一编码表而协同工作。从Unicode2.0开始，Unicode项目采用了与ISO 10646-1相同的字库和字码。

目前两个项目仍都存在，并独立地公布各自的标准。Unicode协会现在的最新版本是2005年的Unicode 4.1.0。ISO的最新标准是10646-3:2003。

UCS规定了怎么用多个字节表示各种文字。怎样传输这些编码，是由UTF(UCS Transformation Format)规范规定的，常见的UTF规范包括UTF-8、UTF-7、UTF-16。

IETF的RFC2781和RFC3629以RFC的一贯风格，清晰、明快又不失严谨地描述了UTF-16和UTF-8的编码方法。我总是记不得IETF是Internet Engineering Task Force的缩写。但IETF负责维护的RFC是Internet上一切规范的基础。
3、UCS-2、UCS-4、BMP

UCS有两种格式：UCS-2和UCS-4。顾名思义，UCS-2就是用两个字节编码，UCS-4就是用4个字节（实际上只用了31位，最高位必须为0）编码。下面让我们做一些简单的数学游戏：

UCS-2有2^16=65536个码位，UCS-4有2^31=2147483648个码位。

UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个plane。每个plane根据第3个字节分为256行 (rows)，每行包含256个cells。当然同一行的cells只是最后一个字节不同，其余都相同。

group 0的plane 0被称作Basic Multilingual Plane, 即BMP。或者说UCS-4中，高两个字节为0的码位被称作BMP。

将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。在UCS-2的两个字节前加上两个零字节，就得到了UCS-4的BMP。而目前的UCS-4规范中还没有任何字符被分配在BMP之外。
4、UTF编码

UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下：
UCS-2编码(16进制) UTF-8 字节流(二进制) 
0000 - 007F 0xxxxxxx 
0080 - 07FF 110xxxxx 10xxxxxx 
0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx 

例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间，所以肯定要用3字节模板了：1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是：0110 110001 001001， 用这个比特流依次代替模板中的x，得到：11100110 10110001 10001001，即E6 B1 89。

读者可以用记事本测试一下我们的编码是否正确。

UTF-16以16位为单元对UCS进行编码。对于小于0x10000的UCS码，UTF-16编码就等于UCS码对应的16位无符号整数。对于不小于0x10000的UCS码，定义了一个算法。不过由于实际使用的UCS2，或者UCS4的BMP必然小于0x10000，所以就目前而言，可以认为UTF-16和UCS-2基本相同。但UCS-2只是一个编码方案，UTF-16却要用于实际的传输，所以就不得不考虑字节序的问题。
5、UTF的字节序和BOM

UTF-8以字节为编码单元，没有字节序的问题。UTF-16以两个字节为编码单元，在解释一个UTF-16文本前，首先要弄清楚每个编码单元的字节序。例如收到一个“奎”的Unicode编码是594E，“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流“594E”，那么这是“奎”还是“乙”？

Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表，而是Byte Order Mark。BOM是一个有点小聪明的想法：

在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输字符"ZERO WIDTH NO-BREAK SPACE"。

这样如果接收者收到FEFF，就表明这个字节流是Big-Endian的；如果收到FFFE，就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF（读者可以用我们前面介绍的编码方法验证一下）。所以如果接收者收到以EF BB BF开头的字节流，就知道这是UTF-8编码了。

Windows就是使用BOM来标记文本文件的编码方式的。
6、进一步的参考资料

本文主要参考的资料是 "Short overview of ISO-IEC 10646 and Unicode" (http://www.nada.kth.se/i18n/ucs/unicode-iso10646-oview.html)。

我还找了两篇看上去不错的资料，不过因为我开始的疑问都找到了答案，所以就没有看：
"Understanding Unicode A general introduction to the Unicode Standard" (http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter04a)
"Character set encoding basics Understanding character set encodings and legacy encodings" (http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03)

我写过UTF-8、UCS-2、GBK相互转换的软件包，包括使用Windows API和不使用Windows API的版本。以后有时间的话，我会整理一下放到我的个人主页上(http://fmddlmyy.home4u.china.com)。

我是想清楚所有问题后才开始写这篇文章的，原以为一会儿就能写好。没想到考虑措辞和查证细节花费了很长时间，竟然从下午1:30写到9:00。希望有读者能从中受益。

 
作者Blog：http://blog.csdn.net/fmddlmyy/

2：创建具有盈利点的网站

网站的“技术”与“内容”都要以“市场”决定。一切的一切，都是市场说了算，而不是“技术”与“内容”之间的争论。市场决定着网站的内容，技术提供内容的表现形式。

尤其是现代，在成千上百的网站中，靠着干巴巴的技术，很难吸引用户；即便是你的内容再好——只要有一个技术稍微比你好的网站把你的网站内容引用，你的也就会消失得无影无踪。网站之间的引用，是很常见的，尤其是中国，对于版权意识淡薄的用户来说，广大的用户不在乎这个内容来自哪里，而只关心如何方便快捷的看到内容。

www.123hao.com 这个网站，技术含量很低，基本上就是纯静态的。但是也同样拥有了广大的用户群。为什么？我这里不想多说，只提一下——2000年至今乃至往后5、6年，中国还是处于网络成长期，还未到发展期。

ps:几个网络技术盈利点的网站：http://www.donews.net/keso/articles/101420.aspx

1.2：功能类网站

功能类网站是自从有了网络以来，一直保持着青春和强有力生命力的一种网站形式。也是唯一能够盈利的网站形式。这一点，被很多人忽视。据我的了解，很多人想做网站，往往告诉我——内容是主要的，技术是次要的，或者是无所谓的——没有几个朋友能够清楚地告诉我技术对于网站的重要性，也许我认识的都是些“短视”的朋友吧。

Google靠的是技术，Yahoo、Sohu、Msn等等国际性的大网站，每一个都是靠的技术领先，才会拥有更多的用户和收益。诚然，我很清楚的知道，技术是为了市场服务的，而不是为了内容服务。我们不能单单把“内容”作为重点，而是把“市场”作为重点。

我曾经合作过的一个老头，他也难得50多岁的老人，还有精力搞网站开发——技术方面可以说几乎是零。他总是认为，技术不重要，内容才重要。我没有和他过多的争辩——他至今还只是一个外行。无论他的发展远景如何如何，他最终依然是一个短视类的，既没有技术，又没有内容的网站。呵呵，他唯一的本事是很谙熟“良弓藏，猎狗烹！”

如果没有网站动态内容技术的出现，目前互联网不可能有如此的繁荣；如果没有Email的存在，上网与不上网也无所谓；如果没有网络游戏的技术的可行性，同样也不会有为了上网而犯罪的青少年；一切的一切，都是因为技术上的进步，才有了网络的进步。任何内容的表现形式，必须依靠技术上的保障。

1.3：中介类网站

这类网站几乎不需要什么技术，主要依靠email广告，为各家网站提供一些个人信息，从事中介服务，基本上都是文字类的广告、求租、出售、收购之类的。他们可以说是从传统的报纸媒体“中缝广告”的形式转到了互联网而已。这类网站主要用户是那些小个体等经商的人，而不是广大普通用户。

开始着手张罗自己的事情了，以往的经历已经让我迫不及待了——该放弃的需要放弃。

网站，是我将来的内容之一，但并不是全部。研究几年的网站盈利的模式，就要开始自己的历程了。

1：网站的分类

网站的分类，我不会按照内容来分类——这是内容管理方面的事情。对于网站的利润研究，网站的分类，我个人认为有以下几种：

• 内容类网站——靠内容的特色来迎取用户的注意力；
• 功能类网站——提供一些特别的网络功能，来吸引用户的注意力；
• 中介类网站——网站只是一个中介平台，靠网络的便利性提供平台，达到吸引用户；

1.1：内容类网站

内容类网站是最近比较热闹的，细分有新闻、娱乐、游戏、论坛等方面，他们没有多少技术含量或者技术应用面很局限。

新闻类的网站，利润的分配还是按照传统媒体之间对于“新闻价值”的认知，来标上某些新闻的价格，同行业之间付资，广告作为副业的。新闻对于用户来说，基本上是免费的。因此，新闻类网站，不是个人所能经营的。

娱乐、论坛方面的网站，大多是靠电影、音乐或者民间的一些奇闻逸事、八卦新闻等等支撑着用户群——人类的好奇不仅仅是对于科技的好奇，这类网站没有什么先进的技术含量，而是尽量依靠成熟稳定的一种网络交互技术。内容上偏向对于名人的隐私报道、异性揭秘、重大事件的电影、传说，几乎所有人都有童年般的好奇，我也不例外:)

娱乐、论坛还有一个好处，就是在于用户能过参与，可以发表自己的见解与自己的资源情况。电影、音乐等靠的是版权，当然盗版的电影网站还要收取用户的费用，那也只是短视——有个别电影网站张冠李戴的靠着驱动男人对于"异性"的冲动作为宣传，而实际内容却是一些很普通不过的来骗取利润。还有更胆大的，说到做到——但是这种网上行为在各个国家都是不允许的。一次全国性的运动到来，大家都老实了——看来大家都很厚道:)

游戏网站——这种网站提供一种交互的内容，技术上也很高。这种网站可以说是一种“内容”与“技术”共生的形式。对于用户来说，游戏的剧情内容是吸引力，游戏的功能更是稳定用户数量的重要手段。

 

最近，看到不少朋友的网站，同时和他们做了一些交流。得到一下几个遗憾：

1：几乎所有的人都不了解如何通过网站得到利润；

2：大家都在一窝蜂的使用同样的方式“想”得到利润，跟风现象严重；

3：没有人好好的研究过这个行业。

==============

通过Google是最近几年风行的一种利润获取方式之一。这种方式其实是Google参考以往广告点击方式，回报个人网站的一种方式。在以前，不少的网站早就如此做了，国人为此作了不少的努力，很多的个人网站打开后，往往到处都是广告或者弹出式的页面。

其实，我也知道，不少的个人网站的主人，他们把自己的网站做大作强仅仅只停留在一种想象中——就是幻想，并没有真正的努力过。这一点，我不能否认，因为对于大部分人来说，短期的利益是值得考虑的，如果自己的网站几年后就倒闭了，大不了自己再办一个网站，重新换一个面孔再去骗取用户的点击。

也许我个人的性格使然，我一直想努力做一个自己的、长期的、有价值的个人网站。同样，我的个人网站会放上Google的广告，但我并不会刻意的去点击他，也不会勉强用户去点击。

最近，问了很多业内的朋友，询问有关如何有效控制过滤用户输入的内容。结果却让我大失所望，很多业内的同行，长期以来并没有在意这个问题，尤其是那些只做B/S系统的人，基本上就是敞开式的接受任何用户的输入。

要构建一个稳健的系统，那么必须考虑操作者的任何的可能性。比如，在以ASP.NET为平台的系统上，如果在输入框中输入"<"或者">"(尖括号)，那么势必引起 .NET 安全机制的的警告，系统不会执行下去。同时，如果操作者在输入框里面输入"'"(英文状态下的单引号)，势必会造成数据库语言的错误... ... 还有更多的是因为政治的需要，需要过滤或者替换的一些词语。这些，都是需要程序员的努力，做到系统的稳定和社会的稳定。

为此，我们可以单独写一个类，如下( VB.NET )：

1  Imports System.Text.RegularExpressions

2  Namespace MiniData
3    Public Class MiniDataPress

4       Function WordPress(ByVal Textstr As String) As String
5            Dim ObjRe As Regex
6            ObjRe = New Regex("<")
7            Textstr = ObjRe.Replace(Textstr, "&lt;")
8            ObjRe = New Regex(">")
9            Textstr = ObjRe.Replace(Textstr, "&gt;")
10          ObjRe = New Regex("@@")
11          Textstr = ObjRe.Replace(Textstr, "@")
12          ObjRe = New Regex("'")
13          Textstr = ObjRe.Replace(Textstr, "’")

14          ObjRe = New Regex("\n")
15          Textstr = ObjRe.Replace(Textstr, "</p><p>")
16          Textstr = "<p>" + Textstr + "</p>"
17          WordPress = Textstr
18      End Function

19   End Class
20   End Namespace

==========

这里，我创建了一个命名空间 MiniData，定义了一个 MiniDataPress 类。主要是利用 "正则表达式" 类 (RegularExpressions) 的替换方法。我这里写的仅仅只是一个例子。

其中，自定义 WordPress 方法是用来过滤用户输入的。这里面，执行的顺序应该是有讲究的。

对于 asp:textbox 控件为单行属性的输入框，不会有"换行符"的现象存在；还有，如果像"姓名"之类的输入框，中文姓名我们必须要去除文字之间的的空格，如: "张 三" (汉字之间有空格) 要成为 "张三" (无空格)，而对于英文名称，单词之间又必须有一个空格，如: " Report Abouse" ，这就不需要处理。

还有就是为了系统安全，我们必须去除掉"<"、">"、"@@"(数据库控制命令前缀)、"'"(单引号)... ...

另外，为了排版的问题，很多人喜欢把 "换行符" 替换成 "<br>"，根据我的经验，这样不是很好，因该替换成 "</p><p>"，因为一个换行，是上一段文字的结束和下一段文字的开始，然后再给所有内容的开始和结尾分别加上<p>与</p>，补齐标签。这就是上面第14行到第17行的处理方式。出来的形式应该是：

<p>开始.......</p><p>第一段文字........</p><p>第二段文字... ...</p><p> ... ... </p>

这样子的形式，很容易在 CSS 当中设置 p 的样式，可以做到每个段落的起始行缩进两个字符 (12号宋体的话应该是 24px 的缩进量)，符合中国人的习惯。如：

p {
 margin: 4px;             /*  P标签的段前、段后以及左右边距为 4PX
 font-size: 12px;         /* 段内默认字号为 12px
 text-indent: 23px;     /* 段前缩进 23px
}

=============

以上是我只对一些安全性而作的过滤，但是面对众多的政治性的过滤词，我觉得这种方式太繁琐。

还没有一个值得在这里记载的方法，因此，本文标题是“有待商榷”。希望高手能给与指点。