频道栏目
首页 > 程序开发 > Web开发 > ASP.Net > 正文
漫谈.NET开发中的字符串编码
2010-12-04 14:53:47      个评论      
收藏   我要投稿

说明:

         在《 .NET 4.0面向对象编程漫谈 》基础篇《 13.2.1 序列化与流》中,向大家介绍了如何向流中序列化一个对象。

         本篇扩充阅读将向读者介绍将字符串对象的序列化,这里面的关键是字符串应该如何编码和解码为二进制数值,从而可以把它们保存到文件流( FileStream)中,或者通过网络流( NetworkStream)将它们远程发送到另一台计算机上。

抱怨一下:

     使用CSDN的在线编辑器写文章是一个让人望而生畏的工作,当提交文档时,CSDN Web服务器经常报告“内部错误”,所以文章排版不好,诸位见谅。博客园的系统稳定些,读者可以访问http://www.cnblogs.com/bitfan/archive/2010/11/25/1887590.html 看到排版好一点的同样文章。

 


 ==============================================================       

1 引子

         在实际开发中,经常需要将一些字符串写入到文本文件中,或者从文本文件中读入字符串,在 .NET应用程序中,通常使用 StreamReader或 StreamWriter两个类完成这一工作,比如以下代码将 fileContent字串写入到 FileName文件中:

static   void  WriteFileUseStreamWriter(String fileContent, String FileName)
{
  using  (StreamWriter writer  =   new  StreamWriter(FileName))
  {
    writer.Write(fileContent);
  }
}

如果你使用 .NET基类库中相关类(比如 StreamReader或下面用到的 File类)去读取这个文件,你会发现一切如你所愿地正常运转:

WriteFileUseStreamWriter( " 中国ab " ,  " test.txt " );
Console.WriteLine(File.ReadAllText( " test.txt " ));      // 输出:“中国ab”  
       
    由于多数情况下我们都工作在中文 Windows下,而且往往都是某个 .NET程序写,另一个 .NET程序读,所以,不少 .NET程序员可能都没注意到这其中其实存在着一个字符编码的问题,在特定的场合下,这一问题会给我们带来麻烦。

         请看图 1:

 \


 图1 记事本支持的编码方式

         默认情况下, Windows记事本以 ANSI编码方式保存文件。如图 1所示,如果文本内容为“中国 ab ” ,记事本将其以 ASNI方式保存为“ test.txt”,则以下代码将“罢工”了(参看图 2):

Console.WriteLine(File.ReadAllText( " test.txt " ));
      

\
  

图2 汉字将显示为乱码

         如 图 2 所示, File.ReadAllText方法打开“ test.txt”文件时,会发现英文字符可以正常显示,但中文将显示为乱码。

2 了解字符的编码

         我们可以做个试验,使用记事本将“中国 ab”这个中英混杂的字符串以不同编码方式保存为多个“ .txt”文件,然后直接查看其二进制内容:

 \

 图3   比对字符编码

 


          图 3 展示了“中国 ab”按四种编码方式( ANSI、 UTF8、 Unicode、 Unicode Big Endian )得到的不同二进制数据。

         以英文字符“ a”为例, ANSI和 UTF8得到的数值都是“ 61”,但 Unicode将它扩充为 2个字节 16位的二进制(“ 61 00”和“ 00 61”),所以我们又将这种编码方式称为 UTF-16。

         UTF-16 又可以细分为 2种编码方式: Big Endian方式与 Little_Edian方式,这两者的唯一区别在于字节排列顺序刚好相反, Little_Edian方式将“ a”编码为“ 61 00”,而 Big Endian方式则编码为“ 00 61”。

         现在看看中文字符,“中国”两个汉字, ANSI编码为“ D6 D0 B9 FA”, 4个字节,一个汉字占两个字节,而 UTF8则编码为“ E4 B8 AD E5 9B BD”, 6个字节,一个汉字占 3个字节!这说明 UTF8是一种“变长”的编码,可能使用 1~4个字节来表示某个字符。

         另外,我们看到 UTF8和 Unicode编码(不管是 Big Endian还是 Little Endian )前面都有几个标记字符,这些字符放在文本文件的开头,称为“ BOM( Byte Order Mark,字节顺序标记)”指明了文本的编码方式,以下是 .NET程序中常见的字符编码方式的 BOM值:

 

编码
 BOM 值
 
UTF-8
 EF BB BF
 
UTF-16   big endian
 FE FF
 
UTF-16   little endian
 FF FE
 
UTF-32   big endian
 00 00 FE FF
 
UTF-32   little endian
 FF FE 00 00
 


 

 

         了解了上述基础知识,我们就可以依据 BOM值自动检测字符串的编码方式,从而正确从二进制数据流中解码,以下代码检测文本二进制数据是否采用 UTF8编码:

 
// 打开文件读取二进制数据
byte [] FileContents  =  File.ReadAllBytes(FilePath);
int  filelength  =  FileContents.Length;
// 检测BOM
if  (FileContents[ 0 ]  ==   0xef   &&  FileContents[ 1 ]  ==   0xbb &&  FileContents[ 2 ]  ==   0xbf )

    // 按UTF8解码字符串,注意要排除掉BOM占用的3个字节。
   String content =  Encoding.UTF8.GetString( FileContents,  3 , filelength  -   3 );
   Console.WriteLine(content);
}

         其他的编码方式都可以“依样画葫芦”。

3 详解 .NET 基类库中与字符编码相关的类

         前述代码中的 Encoding类是 .NET实现字符编码解码的核心类型。图 4展示了它的属性:

 \

图 4 Encoding类型

         如图 4所示, Encoding类型提供了 UTF8、 Unicode等编码和解码器,调用它的 Get系列方法完成编码和解码工作,以下为示例代码:

 
// 编码
byte [] bytes  =  Encoding.UTF8.GetBytes( " 中国ab " );
foreach  ( byte  value  in  bytes)
   Console.Write( "  {0} " , value.ToString( " x " ));  // 转化为16进制
Console.WriteLine();
// 解码
char [] chars  =  Encoding.UTF8.GetChars(bytes);
foreach  ( char  ch  in  chars)
    Console.Write( "  {0} " , ch);
运行结果如下:

 \

图5 编码和解码

         需要注意的是上述二进制值不包括 BOM。

         事实上, .NET中的 StreamWriter默认采用 UTF8编码格式编码字符串,但并不将 UTF8所对应的 BOM值(“ EF BB BF”)写入到二进制流中。以下是 StreamWriter的一个构造函数声明:

       

public  StreamWriter( string  path) :  this (path,  false ,  UTF8NoBOM ,  0x400 )
{    }
         类似地, File.ReadAllText()方法在内部使用 UTF8来读取指定文件中的字符串 :

public   static   string  ReadAllText( string  path)
{
     // ……
     return  InternalReadAllText(path, Encoding.UTF8);
}
     由于默认编码方式一致,所以配套使用 StreamWriter和 F

点击复制链接 与好友分享!回本站首页
相关TAG标签 字符串 编码
上一篇:大恶人吉日嘎拉之走火入魔闭门造车之.NET疯狂架构经验分享系列之(三)商业逻辑代码部分
下一篇:ASP.NET必须知道的:HttpModule,HttpHandler
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站