频道栏目
首页 > 程序开发 > 软件开发 > Java > 正文
Java开发JAVA NIO技术解析
2017-11-03 11:45:12      个评论    来源:lijiangJava的博客  
收藏   我要投稿

Java开发JAVA NIO技术解析,现在使用NIO的场景越来越多,很多网上的技术框架或多或少的使用NIO技术,譬如Tomcat,Jetty。学习和掌握NIO技术已经不是一个JAVA攻城狮的加分技能,而是一个必备技能。再者,现在互联网的面试中上点level的都会涉及一下NIO或者AIO的问题(AIO下次再讲述,本篇主要讲述NIO),掌握好NIO也能帮助你获得一份较好的offer。 驱使博主写这篇文章的关键是网上关于NIO的文章并不是很多,而且案例较少,针对这个特性,本文主要通过实际案例主要讲述NIO的用法,每个案例都经过实际检验。博主通过自己的理解以及一些案例希望能给各位在学习NIO之时多一份参考。博主能力有限,文中有不足之处欢迎之处。

本文持续更新,转载请保留原文链接。

概述

NIO主要有三大核心部分:Channel(通道),Buffer(缓冲区), Selector。传统IO基于字节流和字符流进行操作,而NIO基于Channel和Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件(比如:连接打开,数据到达)。因此,单个线程可以监听多个数据通道。

NIO和传统IO(一下简称IO)之间第一个最大的区别是,IO是面向流的,NIO是面向缓冲区的。 Java IO面向流意味着每次从流中读一个或多个字节,直至读取所有字节,它们没有被缓存在任何地方。此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的数据,需要先将它缓存到一个缓冲区。NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区,需要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所有您需要处理的数据。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的数据。

IO的各种流是阻塞的。这意味着,当一个线程调用read() 或 write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。

Channel

首先说一下Channel,国内大多翻译成“通道”。Channel和IO中的Stream(流)是差不多一个等级的。只不过Stream是单向的,譬如:InputStream, OutputStream.而Channel是双向的,既可以用来进行读操作,又可以用来进行写操作。

NIO中的Channel的主要实现有:

FileChannel

DatagramChannel

SocketChannel

ServerSocketChannel

这里看名字就可以猜出个所以然来:分别可以对应文件IO、UDP和TCP(Server和Client)。下面演示的案例基本上就是围绕这4个类型的Channel进行陈述的。

Buffer

NIO中的关键Buffer实现有:ByteBuffer, CharBuffer, DoubleBuffer, FloatBuffer, IntBuffer, LongBuffer, ShortBuffer,分别对应基本数据类型: byte, char, double, float, int, long, short。当然NIO中还有MappedByteBuffer, HeapByteBuffer, DirectByteBuffer等这里先不进行陈述。

Selector

Selector运行单线程处理多个Channel,如果你的应用打开了多个通道,但每个连接的流量都很低,使用Selector就会很方便。例如在一个聊天服务器中。要使用Selector, 得向Selector注册Channel,然后调用它的select()方法。这个方法会一直阻塞到某个注册的通道有事件就绪。一旦这个方法返回,线程就可以处理这些事件,事件的例子有如新的连接进来、数据接收等。

FileChannel

看完上面的陈述,对于第一次接触NIO的同学来说云里雾里,只说了一些概念,也没记住什么,更别说怎么用了。这里开始通过传统IO以及更改后的NIO来做对比,以更形象的突出NIO的用法,进而使你对NIO有一点点的了解。

传统IO vs NIO

首先,案例1是采用FileInputStream读取文件内容的:

public static void method2(){

InputStream in = null;

try{

in = new BufferedInputStream(new FileInputStream("src/nomal_io.txt"));

byte [] buf = new byte[1024];

int bytesRead = in.read(buf);

while(bytesRead != -1)

{

for(int i=0;i

System.out.print((char)buf[i]);

bytesRead = in.read(buf);

}

}catch (IOException e)

{

e.printStackTrace();

}finally{

try{

if(in != null){

in.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

}

输出结果:(略)

案例是对应的NIO(这里通过RandomAccessFile进行操作,当然也可以通过FileInputStream.getChannel()进行操作):

public static void method1(){

RandomAccessFile aFile = null;

try{

aFile = new RandomAccessFile("src/nio.txt","rw");

FileChannel fileChannel = aFile.getChannel();

ByteBuffer buf = ByteBuffer.allocate(1024);

int bytesRead = fileChannel.read(buf);

System.out.println(bytesRead);

while(bytesRead != -1)

{

buf.flip();

while(buf.hasRemaining())

{

System.out.print((char)buf.get());

}

buf.compact();

bytesRead = fileChannel.read(buf);

}

}catch (IOException e){

e.printStackTrace();

}finally{

try{

if(aFile != null){

aFile.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

}

输出结果:(略)

通过仔细对比案例1和案例2,应该能看出个大概,最起码能发现NIO的实现方式比叫复杂。有了一个大概的印象可以进入下一步了。

Buffer的使用

从案例2中可以总结出使用Buffer一般遵循下面几个步骤:

分配空间(ByteBuffer buf = ByteBuffer.allocate(1024); 还有一种allocateDirector后面再陈述)

写入数据到Buffer(int bytesRead = fileChannel.read(buf);)

调用filp()方法( buf.flip();)

从Buffer中读取数据(System.out.print((char)buf.get());)

调用clear()方法或者compact()方法

Buffer顾名思义:缓冲区,实际上是一个容器,一个连续数组。Channel提供从文件、网络读取数据的渠道,但是读写的数据都必须经过Buffer。如下图:

向Buffer中写数据:

  • 从Channel写到Buffer (fileChannel.read(buf))

    通过Buffer的put()方法 (buf.put(…))

    从Buffer中读取数据:

    • 从Buffer读取到Channel (channel.write(buf))

      使用get()方法从Buffer中读取数据 (buf.get())

      可以把Buffer简单地理解为一组基本数据类型的元素列表,它通过几个变量来保存这个数据的当前位置状态:capacity, position, limit, mark:

      索引 说明
      capacity 缓冲区数组的总长度
      position 下一个要操作的数据元素的位置
      limit 缓冲区数组中不可操作的下一个元素的位置:limit<=capacity
      mark 用于记录当前position的前一个位置或者默认是0

      无图无真相,举例:我们通过ByteBuffer.allocate(11)方法创建了一个11个byte的数组的缓冲区,初始状态如上图,position的位置为0,capacity和limit默认都是数组长度。当我们写入5个字节时,变化如下图:

      这时我们需要将缓冲区中的5个字节数据写入Channel的通信信道,所以我们调用ByteBuffer.flip()方法,变化如下图所示(position设回0,并将limit设成之前的position的值):

      这时底层操作系统就可以从缓冲区中正确读取这个5个字节数据并发送出去了。在下一次写数据之前我们再调用clear()方法,缓冲区的索引位置又回到了初始位置。

      调用clear()方法:position将被设回0,limit设置成capacity,换句话说,Buffer被清空了,其实Buffer中的数据并未被清楚,只是这些标记告诉我们可以从哪里开始往Buffer里写数据。如果Buffer中有一些未读的数据,调用clear()方法,数据将“被遗忘”,意味着不再有任何标记会告诉你哪些数据被读过,哪些还没有。如果Buffer中仍有未读的数据,且后续还需要这些数据,但是此时想要先先写些数据,那么使用compact()方法。compact()方法将所有未读的数据拷贝到Buffer起始处。然后将position设到最后一个未读元素正后面。limit属性依然像clear()方法一样,设置成capacity。现在Buffer准备好写数据了,但是不会覆盖未读的数据。

      通过调用Buffer.mark()方法,可以标记Buffer中的一个特定的position,之后可以通过调用Buffer.reset()方法恢复到这个position。Buffer.rewind()方法将position设回0,所以你可以重读Buffer中的所有数据。limit保持不变,仍然表示能从Buffer中读取多少个元素。

      SocketChannel

      说完了FileChannel和Buffer, 大家应该对Buffer的用法比较了解了,这里使用SocketChannel来继续探讨NIO。NIO的强大功能部分来自于Channel的非阻塞特性,套接字的某些操作可能会无限期地阻塞。例如,对accept()方法的调用可能会因为等待一个客户端连接而阻塞;对read()方法的调用可能会因为没有数据可读而阻塞,直到连接的另一端传来新的数据。总的来说,创建/接收连接或读写数据等I/O调用,都可能无限期地阻塞等待,直到底层的网络实现发生了什么。慢速的,有损耗的网络,或仅仅是简单的网络故障都可能导致任意时间的延迟。然而不幸的是,在调用一个方法之前无法知道其是否阻塞。NIO的channel抽象的一个重要特征就是可以通过配置它的阻塞行为,以实现非阻塞式的信道。

      channel.configureBlocking(false)

      在非阻塞式信道上调用一个方法总是会立即返回。这种调用的返回值指示了所请求的操作完成的程度。例如,在一个非阻塞式ServerSocketChannel上调用accept()方法,如果有连接请求来了,则返回客户端SocketChannel,否则返回null。

      这里先举一个TCP应用案例,客户端采用NIO实现,而服务端依旧使用IO实现。

      客户端代码(案例3):

      public static void client(){

      ByteBuffer buffer = ByteBuffer.allocate(1024);

      SocketChannel socketChannel = null;

      try

      {

      socketChannel = SocketChannel.open();

      socketChannel.configureBlocking(false);

      socketChannel.connect(new InetSocketAddress("10.10.195.115",8080));

      if(socketChannel.finishConnect())

      {

      int i=0;

      while(true)

      {

      TimeUnit.SECONDS.sleep(1);

      String info = "I'm "+i+++"-th information from client";

      buffer.clear();

      buffer.put(info.getBytes());

      buffer.flip();

      while(buffer.hasRemaining()){

      System.out.println(buffer);

      socketChannel.write(buffer);

      }

      }

      }

      }

      catch (IOException | InterruptedException e)

      {

      e.printStackTrace();

      }

      finally{

      try{

      if(socketChannel!=null){

      socketChannel.close();

      }

      }catch(IOException e){

      e.printStackTrace();

      }

      }

      }

      服务端代码(案例4):

      public static void server(){

      ServerSocket serverSocket = null;

      InputStream in = null;

      try

      {

      serverSocket = new ServerSocket(8080);

      int recvMsgSize = 0;

      byte[] recvBuf = new byte[1024];

      while(true){

      Socket clntSocket = serverSocket.accept();

      SocketAddress clientAddress = clntSocket.getRemoteSocketAddress();

      System.out.println("Handling client at "+clientAddress);

      in = clntSocket.getInputStream();

      while((recvMsgSize=in.read(recvBuf))!=-1){

      byte[] temp = new byte[recvMsgSize];

      System.arraycopy(recvBuf, 0, temp, 0, recvMsgSize);

      System.out.println(new String(temp));

      }

      }

      }

      catch (IOException e)

      {

      e.printStackTrace();

      }

      finally{

      try{

      if(serverSocket!=null){

      serverSocket.close();

      }

      if(in!=null){

      in.close();

      }

      }catch(IOException e){

      e.printStackTrace();

      }

      }

      }

      输出结果:(略)

      根据案例分析,总结一下SocketChannel的用法。

      打开SocketChannel:

      socketChannel = SocketChannel.open();

      socketChannel.connect(new InetSocketAddress("10.10.195.115",8080));

      关闭:

      serverSocket.close();

      读取数据:

      String info = "I'm "+i+++"-th information from client";

      buffer.clear();

      buffer.put(info.getBytes());

      buffer.flip();

      while(buffer.hasRemaining()){

      System.out.println(buffer);

      socketChannel.write(buffer);

      }

      注意SocketChannel.write()方法的调用是在一个while循环中的。Write()方法无法保证能写多少字节到SocketChannel。所以,我们重复调用write()直到Buffer没有要写的字节为止。

      非阻塞模式下,read()方法在尚未读取到任何数据时可能就返回了。所以需要关注它的int返回值,它会告诉你读取了多少字节。

      TCP服务端的NIO写法

      到目前为止,所举的案例中都没有涉及Selector。不要急,好东西要慢慢来。Selector类可以用于避免使用阻塞式客户端中很浪费资源的“忙等”方法。例如,考虑一个IM服务器。像QQ或者旺旺这样的,可能有几万甚至几千万个客户端同时连接到了服务器,但在任何时刻都只是非常少量的消息。

      需要读取和分发。这就需要一种方法阻塞等待,直到至少有一个信道可以进行I/O操作,并指出是哪个信道。NIO的选择器就实现了这样的功能。一个Selector实例可以同时检查一组信道的I/O状态。用专业术语来说,选择器就是一个多路开关选择器,因为一个选择器能够管理多个信道上的I/O操作。然而如果用传统的方式来处理这么多客户端,使用的方法是循环地一个一个地去检查所有的客户端是否有I/O操作,如果当前客户端有I/O操作,则可能把当前客户端扔给一个线程池去处理,如果没有I/O操作则进行下一个轮询,当所有的客户端都轮询过了又接着从头开始轮询;这种方法是非常笨而且也非常浪费资源,因为大部分客户端是没有I/O操作,我们也要去检查;而Selector就不一样了,它在内部可以同时管理多个I/O,当一个信道有I/O操作的时候,他会通知Selector,Selector就是记住这个信道有I/O操作,并且知道是何种I/O操作,是读呢?是写呢?还是接受新的连接;所以如果使用Selector,它返回的结果只有两种结果,一种是0,即在你调用的时刻没有任何客户端需要I/O操作,另一种结果是一组需要I/O操作的客户端,这是你就根本不需要再检查了,因为它返回给你的肯定是你想要的。这样一种通知的方式比那种主动轮询的方式要高效得多!

      要使用选择器(Selector),需要创建一个Selector实例(使用静态工厂方法open())并将其注册(register)到想要监控的信道上(注意,这要通过channel的方法实现,而不是使用selector的方法)。最后,调用选择器的select()方法。该方法会阻塞等待,直到有一个或更多的信道准备好了I/O操作或等待超时。select()方法将返回可进行I/O操作的信道数量。现在,在一个单独的线程中,通过调用select()方法就能检查多个信道是否准备好进行I/O操作。如果经过一段时间后仍然没有信道准备好,select()方法就会返回0,并允许程序继续执行其他任务。

    点击复制链接 与好友分享!回本站首页
    上一篇:java编程开发之java NIO分析
    下一篇:Java静态内部类的作用
    相关文章
    图文推荐
    点击排行

    关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

    版权所有: 红黑联盟--致力于做实用的IT技术学习网站