Java NIO
1 Java NIO简介
Java NIO( New IO)是从java 1.4版本开始引入的一个新的IO API,可以替代标准的java IO API。NIO与原来的IO有同样的作用和目的,但是使用的方式完全不同,NIO支持面向缓冲区的、基于通道的IO操作。NIO将以更加高效的方式进行文件的读写操作。
1.1 阻塞IO
通常在进行同步IO操作时,如果读取数据,代码会阻塞直至有可供读取的数据。同样,写入调用将会阻塞直至数据能够写入。传统的Server/Client模式会基于TPR(Thread pre Request),这种模式带来的一个问题是线程数量剧增,大量的线程会增大服务器的开销。大多数的实现为了避免这个问题,都采用了线程池的模型,并设置了线程池的最大数量,这也带来了新的问题,如果线程池中有100个线程,而有100个用户都在下载大文件,会导致101个用户的请求无法及时处理
1.2 非阻塞IO(NIO)
NIO中非阻塞IO采用了基于Reactor模式的工作方式,I/O调用不会被阻塞,相反是注册感兴趣的特定I/O事件,如可读数据到达,新的套接字连接等等,在发生特定的事件时,系统再通知我们。NIO中实现非阻塞I/O的核心对象就是Selector,Selector就是注册各种I/O事件的地方,而当我们感兴趣的事件发生时,就是这个对象告诉我们所发生的事件
从图中可以看出,当有读或写等任何注册的事件发生时,可以从Selector中获得相应的SelectionKey,同时从SelectionKey中可以找到发生的事件和该事件所发生的具体 SelectableChannel,以获得客户端发送过来的数据。
非阻塞指的是IO事件本身不阻塞,但是获取IO事件的select()方法是需要阻塞等待的,区别是阻塞的IO会阻塞在IO操作上,NIO阻塞在事件获取上,没有事件就没有IO,从高层看IO就不阻塞了,也就是说只有IO已经发生那么我们才评估IO是否阻塞,但是select()阻塞的时候IO还没有完全发生,NIO的本质是延迟IO操作到真正发生IO的时候,而不是以前的只要IO流打开了就一直等待着IO操作。
1.3 NIO概述
Java NIO 由以下几个核心部分组成:
- Channels
- Buffers
- Selectors
1.4 Java NIO 与 IO 的主要区别
IO | NIO |
---|---|
面向流(Stream Oriented) | 面向缓冲区(Buffer Oriented) |
阻塞IO(Blocking IO) | 非阻塞IO(Non Blocking IO) |
(无) | 选择器(Selectors) |
单向 | 双向 |
2 缓冲区(Buffer)和通道(Channel)
2.1 Channel概述
通道( Channel):由 java.nio.channels 包定义的。 Channel 表示 IO 源与目标打开的连接。Channel 类似于传统的“流”。只不过 Channel本身不能直接访问数据, Channel 只能与Buffer 进行交互。
Channel是一个通道,可以通过它读取和写入数据,它就像水管一样,网络数据通过Channel读取和写入。通道与流的不同之处在于通道是双向的,流只是在一个方向上移动(一个流必须是InoutStream或者OutputStream的子类)而且通道可以用于读、写或者同时用于读写。因为Channel是全双工的,所以他可以比流更好的映射底层操作系统的API。
NIO中通过Channel封装了对数据源的操作,通过channel我们可以操作数据源,但又不必关心数据源的具体物理结构。这个数据源可能是多种的。比如,可以是文件,也可以是网络socket。在大多数应用中,channel与文件描述符或者socket是一一对应的。Channel用于在字节缓冲区和位于通道另一侧的实体(通常是一个文件或套接字)之间有效地传输数据。
2.2 缓冲区( Buffer)
一个用于特定基本数据类型的容器。由 java.nio 包定义的,所有缓冲区都是 Buffer 抽象类的子类。
- Java NIO 中的 Buffer 主要用于与 NIO 通道进行交互,数据是从通道读入缓冲区,从缓冲区写入通道中的。
- Buffer 就像一个数组,可以保存多个相同类型的数据。根据数据类型不同(boolean 除外) ,有以下 Buffer 常用子类:
* ByteBuffer
- CharBuffer
- ShortBuffer
- IntBuffer
- LongBuffer
- FloatBuffer
- DoubleBuffer
上述 Buffer 类 他们都采用相似的方法进行管理数据,只是各自管理的数据类型不同而已。都是通过如下方法获取一个 Buffer对象:
static XxxBuffer allocate(int capacity)
: 创建一个容量为 capacity 的 XxxBuffer 对象
2.3 Buffer 的常用方法
方 法 | 描 述 |
---|---|
Buffer clear() | 清空缓冲区并返回对缓冲区的引用 |
Buffer flip() | 将缓冲区的界限设置为当前位置,并将当前位置充值为 0 |
int capacity() | 返回 Buffer 的 capacity 大小 |
boolean hasRemaining() | 判断缓冲区中是否还有元素 |
int limit() | 返回 Buffer 的界限(limit) 的位置 |
Buffer limit(int n) | 将设置缓冲区界限为 n, 并返回一个具有新 limit 的缓冲区对象 |
Buffer mark() | 对缓冲区设置标记 |
int position() | 返回缓冲区的当前位置 position |
Buffer position(int n) | 将设置缓冲区的当前位置为 n , 并返回修改后的 Buffer 对象 |
int remaining() | 返回 position 和 limit 之间的元素个数 |
Buffer reset() | 将位置 position 转到以前设置的 mark 所在的位置 |
Buffer rewind() | 将位置设为为 0, 取消设置的 mark |
2.4 缓冲区的基本属性
capacity: 容量:表示Buffer的最大数据容量,缓冲区容量不能为负,并且创建后不能更改。
limit: 界限,表示缓冲区中可以操作数据的大小。第一个不用改读取或写入的数据的索引,即位于limit后的数据不能读写,缓冲区的限制不能为负,并且不能大于其容量。
position: 位置,下一个要读取或写入的数据的索引
mark&reset:标记与重置,标记是一个索引,通过Buffer中的mark()方法指定Buffer中的一个特定的position,之后可以通过调用reset()方法恢复到这个position。
标记、 位置、 限制、 容量遵守以下不变式: 0 <= mark <= position <= limit <= capacity
1 |
|
1 | public void test2(){ |
3 分散(Scatter)和聚集(Gather)
3.1 分散读取(Scattering Reads)
将通道中的数据分散到多个缓冲区中
注意:按照缓冲区的顺序,从 Channel 中读取的数据依次将 Buffer 填满。
3.2 聚集写入(Gather Writes)
是指将多个Buffer中的数据聚集到Channel
注意:按照缓冲区的顺序,写入 position 和 limit 之间的数据到 Channel 。
1 | //分散和聚集 |
4 transferFrom()
将数据从源通道传输到其他 Channel 中:
将数据从源通道传输到其他 Channel 中:
5 FileChannel 的常用方法
方 法 | 描 述 |
---|---|
int read(ByteBuffer dst) | 从 Channel 中读取数据到 ByteBuffer |
long read(ByteBuffer[] dsts) | 将 Channel 中的数据“分散”到 ByteBuffer[] |
int write(ByteBuffer src) | 将 ByteBuffer 中的数据写入到 Channel |
long write(ByteBuffer[] srcs) | 将 ByteBuffer[] 中的数据“聚集”到 Channel |
long position() | 返回此通道的文件位置 |
FileChannel position(long p) | 设置此通道的文件位置 |
long size() | 返回此通道的文件的当前大小 |
FileChannel truncate(long s) | 将此通道的文件截取为给定大小 |
void force(boolean metaData) | 强制将所有对此通道的文件更新写入到存储设备中 |
1 | //字符集 |
6 NIO 的非阻塞式网络通信
- 传统的 IO 流都是阻塞式的。也就是说,当一个线程调用 read() 或 write()时,该线程被阻塞,直到有一些数据被读取或写入,该线程在此期间不能执行其他任务。因此,在完成网络通信进行 IO 操作时,由于线程会阻塞,所以服务器端必须为每个客户端都提供一个独立的线程进行处理,当服务器端需要处理大量客户端时,性能急剧下降。
- Java NIO 是非阻塞模式的。当线程从某通道进行读写数据时,若没有数据可用时,该线程可以进行其他任务。线程通常将非阻塞 IO 的空闲时间用于在其他通道上执行 IO 操作,所以单独的线程可以管理多个输入和输出通道。因此, NIO 可以让服务器端使用一个或有限几个线程来同时处理连接到服务器端的所有客户端。
6.1 选择器(Selector)
选择器( Selector) 是 SelectableChannle 对象的多路复用器, Selector 可以同时监控多个 SelectableChannel 的 IO 状况,也就是说,利用 Selector可使一个单独的线程管理多个 Channel。 Selector 是非阻塞 IO 的核心。
6.2 选择器( Selector)的应用
创建 Selector :通过调用 Selector.open() 方法创建一个 Selector。
向选择器注册通道: SelectableChannel.register(Selector sel, int ops)
当调用 register(Selector sel, int ops) 将通道注册选择器时,选择器对通道的监听事件,需要通过第二个参数 ops 指定。
可以监听的事件类型( 可使用 SelectionKey 的四个常量表示):
- 读 : SelectionKey.OP_READ ( 1)
- 写 : SelectionKey.OP_WRITE ( 4)
- 连接 : SelectionKey.OP_CONNECT ( 8)
- 接收 : SelectionKey.OP_ACCEPT ( 16)
若注册时不止监听一个事件,则可以使用“位或”操作符连接。
1 | import java.io.IOException; |
6.3 SelectionKey
SelectionKey: 表示 SelectableChannel 和 Selector 之间的注册关系。每次向选择器注册通道时就会选择一个事件(选择键)。 选择键包含两个表示为整数值的操作集。操作集的每一位都表示该键的通道所支持的一类可选择操作。
方 法 | 描 述 |
---|---|
int interestOps() | 获取感兴趣事件集合 |
int readyOps() | 获取通道已经准备就绪的操作的集合 |
SelectableChannel channel() | 获取注册通道 |
Selector selector() | 返回选择器 |
boolean isReadable() | 检测 Channal 中读事件是否就绪 |
boolean isWritable() | 检测 Channal 中写事件是否就绪 |
boolean isConnectable() | 检测 Channel 中连接是否就绪 |
boolean isAcceptable() | 检测 Channel 中接收是否就绪 |
6.4 Selector 的常用方法
方 法 | 描 述 |
---|---|
Set keys() | 所有的 SelectionKey 集合。代表注册在该Selector上的Channel |
selectedKeys() | 被选择的 SelectionKey 集合。返回此Selector的已选择键集 |
int select() | 监控所有注册的Channel,当它们中间有需要处理的 IO 操作时, 该方法返回,并将对应得的 SelectionKey 加入被选择的 SelectionKey 集合中,该方法返回这些 Channel 的数量。 |
int select(long timeout) | 可以设置超时时长的 select() 操作 |
int selectNow() | 执行一个立即返回的 select() 操作,该方法不会阻塞线程 |
Selector wakeup() | 使一个还未返回的 select() 方法立即返回 |
void close() | 关闭该选择器 |
6.5 SocketChannel、 ServerSocketChannel、 DatagramChannel
6.6 SocketChannel
- Java NIO中的SocketChannel是一个连接到TCP网络套接字的通道。
- 操作步骤:
- 打开 SocketChannel
- 读写数据
- 关闭 SocketChannel
- Java NIO中的 ServerSocketChannel 是一个可以监听新进来的TCP连接的通道,就像标准IO中的ServerSocket一样。
6.7 DatagramChannel
- Java NIO中的DatagramChannel是一个能收发UDP包的通道。
- 操作步骤:
- 打开 DatagramChannel
- 接收/发送数据
1 | import java.io.IOException; |
7 管道(Pipe)
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道,从source通道读取。
7.1 向管道写数据
7.2 从管道读取数据
从读取管道的数据,需要访问source通道。
调用source通道的read()方法来读取数据
1 | import java.io.IOException; |
8 Java NIO2 (Path、 Paths 与 Files )
随着 JDK 7 的发布, Java对NIO进行了极大的扩展,增强了对文件处理和文件系统特性的支持,以至于我们称他们为 NIO.2。因为 NIO 提供的一些功能, NIO已经成为文件处理中越来越重要的部分。
8.1 Path 与 Paths
- java.nio.file.Path 接口代表一个平台无关的平台路径,描述了目录结构中文件的位置。
- Paths 提供的 get() 方法用来获取 Path 对象:
- Path get(String first, String … more) : 用于将多个字符串串连成路径。
- Path 常用方法:
- boolean endsWith(String path) : 判断是否以 path 路径结束
- boolean startsWith(String path) : 判断是否以 path 路径开始
- boolean isAbsolute() : 判断是否是绝对路径
- Path getFileName() : 返回与调用 Path 对象关联的文件名
- Path getName(int idx) : 返回的指定索引位置 idx 的路径名称
- int getNameCount() : 返回Path 根目录后面元素的数量
- Path getParent() :返回Path对象包含整个路径,不包含 Path 对象指定的文件路径
- Path getRoot() :返回调用 Path 对象的根路径
- Path resolve(Path p) :将相对路径解析为绝对路径
- Path toAbsolutePath() : 作为绝对路径返回调用 Path 对象
- String toString() : 返回调用 Path 对象的字符串表示形式
8.2 Files 类
java.nio.file.Files 用于操作文件或目录的工具类。
Files常用方法:
- Path copy(Path src, Path dest, CopyOption … how) : 文件的复制
- Path createDirectory(Path path, FileAttribute<?> … attr) : 创建一个目录
- Path createFile(Path path, FileAttribute<?> … arr) : 创建一个文件
- void delete(Path path) : 删除一个文件
- Path move(Path src, Path dest, CopyOption…how) : 将 src 移动到 dest 位置
- long size(Path path) : 返回 path 指定文件的大小
Files常用方法:用于判断
- boolean exists(Path path, LinkOption … opts) : 判断文件是否存在
- boolean isDirectory(Path path, LinkOption … opts) : 判断是否是目录
- boolean isExecutable(Path path) : 判断是否是可执行文件
- boolean isHidden(Path path) : 判断是否是隐藏文件
- boolean isReadable(Path path) : 判断文件是否可读
- boolean isWritable(Path path) : 判断文件是否可写
- boolean notExists(Path path, LinkOption … opts) : 判断文件是否不存在
- public static A readAttributes(Path path,Class type,LinkOption…options) : 获取与 path 指定的文件相关联的属性。
Files常用方法: 用于操作内容SeekableByteChannel newByteChannel(Path path, OpenOption…how) : 获取与指定文件的连接,how 指定打开方式。DirectoryStream newDirectoryStream(Path path) : 打开 path 指定的目录InputStream newInputStream(Path path, OpenOption…how):获取 InputStream 对象OutputStream newOutputStream(Path path, OpenOption…how) : 获取 OutputStream 对象
8.3 自动资源管理
自动资源管理基于 try 语句的扩展形式:
1
2
3
4
5
6
7
8
9try(需要关闭的资源声明){
//可能发生异常的语句
}catch(异常类型 变量名){
//异常的处理语句
}
//......
finally{
//一定执行的语句
}
当try 代码块结束时,自动释放资源。因此不需要显示的调用 close() 方法。该形式也称为“ 带资源的 try 语句” 。
注意:
- try 语句中声明的资源被隐式声明为 final ,资源的作用局限于带资源的 try 语句
- 可以在一条 try 语句中管理多个资源,每个资源以“;” 隔开即可。
- 需要关闭的资源,必须实现了 AutoCloseable 接口或其自接口 Closeable