- 浏览: 959080 次
- 性别:
- 来自: 珠海
文章分类
最新评论
-
Yunjey:
Yunjey 写道这样子的话、grid中的editable如何 ...
Flex创建可编辑以及分页的DataGrid -
Yunjey:
这样子的话、grid中的editable如何设置啊?!
Flex创建可编辑以及分页的DataGrid -
di1984HIT:
写的很好~~
JCalendar组件 -
sanny81:
此文真棒!感谢一路风尘的奉献!
但我有一疑 ...
Filter发送自定义数据详解 -
umgsai:
求完整demo umgsai@126.com
Flex和Jsp创建用户登入系统
一、 同步I/O和异步I/O
在介绍这部分内容之前先来认识下“异步I/O”。
说起异步IO,很容易联想到同步I/O,对于同一个I/O对象句柄在同一时刻只允许一个I/O操作,其原理如下图所示:
显然,当内核真正处理I/O的时间段(T2~T4),用户线程是处于等待状态的,如果这个时间段比较段的话,没有什么影响;倘若这个时间段很长的话,线
程就会长时间处于挂起状态。事实上,该线程完全可以利用这段时间用处理其他事务。
异步I/O恰好可以解决同步I/O中的问题,而且支持对同一个I/O对象的并行处理,其原理如下图所示:
异步I/O在I/O请求完成时,可以使用让I/O对象或者事件对象受信来通知用户线程,而用户线程中可以使用
GetOverlappedResult来查看I/O的执行情况。
由于异步I/O在进行I/O请求后会立即返回,这样就会产生一个问题:“程序是如何取得I/O处理的结果的?”。
有多种方法可以实现异步I/O,其不同资料上的分类一般都不尽相同,但原理上都类似,这里我把实现异步I/O的方法分为3类,本文就针对这3类方法进
行详细的讨论。
(1)重叠I/O
(2)异步过程调用(APC),扩展I/O
(3)使用完成端口(IOCP)
二、使用重叠I/O实现异步I/O
同一个线程可以对多个I/O对象进行I/O操作,不同的线程也可以对同一个I/O对象进行操作,在我的理解中,重叠的命名就是这么来的。
在使用重叠I/O时,线程需要创建OVERLAPPED结构以供I/O处理。该结构中最重要的成员是hEvent,它是作为一个同步对象而存在,如果
hEvent为NULL,那么此时的同步对象即为文件句柄、管道句柄等I/O操作对象。当I/O完成后,会使这里的同步对象受信,从而通知用户线程。
由于在进行I/O请求后会立即返回,但有时用户线程需要知道I/O当前的执行情况,此时就可以使用GetOverlappedResult。如果该函
数的bWait参数为true,那么改函数就会阻塞线程直到目标I/O处理完成为止;如果bWait为false,那么就会立即返回,如果此时的I/O尚
未完,调用GetLastError就会返回ERROR_IO_INCOMPLETE。
代码示例一:
DWORD nReadByte ; BYTE bBuf[BUF_SIZE] ; OVERLAPPED ov = { 0, 0, 0, 0, NULL } ; // hEvent = NULL ; HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ; ReadFile ( hFile, bBuf, sizeof(bBuf), &nReadByte, &ov ) ; // 由于此时hEvent=NULL,所以同步对象为hFile,下面两句的效果一样 WaitForSingleObject ( hFile, INFINITE ) ; //GetOverlappedResult ( hFile, &ov, &nRead, TRUE ) ;
这里对于hFile有三个重叠的I/O操作,但他们的同步对象却都为hFile。使用
GetOverlappedResult进行等待操作,这里看似在等待第一个I/O处理的完成,其实只要有任何一个I/O处理完成,该函数就会返回,相当
于忽略了其他两个I/O操作的结果。
其实,这里有一个很重要的原则:对于一个重叠句柄上有多于一个I/O操作的时候,应该使用事件对象而不是文件句柄来实现同步。正确的实现见示例三。
代码示例三:
DWORD nReadByte ; BYTE bBuf1[BUF_SIZE],bBuf2[BUF_SIZE],bBuf3[BUF_SIZE] ; HANDLE hEvent1 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ; HANDLE hEvent2 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ; HANDLE hEvent3 = CreateEvent ( NULL, FALSE, FALSE, NULL ) ; OVERLAPPED ov1 = { 0, 0, 0, 0, hEvent1 } ; OVERLAPPED ov2 = { 0, 0, 0, 0, hEvent2 } ; OVERLAPPED ov3 = { 0, 0, 0, 0, hEvent3 } ; HANDLE hFile = CreateFile ( ……, FILE_FLAG_OVERLAPPED, …… ) ; ReadFile ( hFile, bBuf1, sizeof(bBuf1), &nReadByte, &ov1 ) ; ReadFile ( hFile, bBuf2, sizeof(bBuf2), &nReadByte, &ov2 ) ; ReadFile ( hFile, bBuf3, sizeof(bBuf3), &nReadByte, &ov3 ) ; //此时3个I/O操作的同步对象分别为hEvent1,hEvent2,hEvent3 GetOverlappedResult ( hFile, &ov1, &nRead, TRUE ) ;
这样,这个GetOverlappedResult就可以实现对第一个I/O处理的等待
关于重叠I/O的就讨论到这里,关于重叠I/O的实际应用,可以参考《Windows系统编程之进程通信》其中的命名管道实例。
http://bbs.pediy.com/showthread.php?s=&threadid=26252
三、 使用异步过程调用实现异步I/O
异步过程调用(APC),即在特定的上下文中异步的执行一个调用。在异步I/O中可以使用APC,即让操作系统的IO系统在完成异步I/O后立即调用你的
程序。(在有些资料中,把异步I/O中的APC称为“完成例程”,感觉这个名称比较贴切,下文就以“完成例程”来表述。另外通常APC是作为线程同步这一
块的内容,这里尽量淡化这个概念以免混淆。关于APC的详细内容到线程同步时再介绍 )
这里需要注意三点:
(1) APC总是在调用线程中被调用;
(2) 当执行APC时,调用线程会进入可变等待状态;
(3) 线程需要使用扩展I/O系列函数,例如ReadFileEx,WriteFileEx, 另外可变等待函数也是必须的(至少下面其中之一):
WaitForMultipleObjectEx
SleepEx
SignalObjectAndWait
MsgWaitForMultipleObjectsEx
在使用ReadFileEx,WriteFileEx时,重叠结构OVERLAPPED中的hEvent成员并非一定要指定,因为系统会忽略它。当多个
IO操作共用同一个完成例程时,可以使用hEvent来携带序号等信息,用于区别不同的I/O操作,因为该重叠结构会传递给完成例程。如果多个IO操作使
用的完成例程都不相同时,则直接把hEvent设置为NULL就可以了。
在系统调用完成例程有两个条件:
(1) I/O操作必须完成
(2) 调用线程处于可变等待状态
对于第一个条件比较容易,显然完成例程只有在I/O操作完成时才调用;至于第二个条件就需要进行认为的控制,通过使用可变等待函数,让调用线程处于可变等
待状态,这样就可以执行完成例程了。这里可以通过调节调用可变等待函数的时机来控制完成例程的执行,即可以确保完成例程不会被过早的执行。
当线程具有多个完成例程时,就会形成一个队列。使用可变等待函数使线程进入可变等待状态时有一个表示超时值的参数,如果使用INFINITE,那么只有所
有排队的完成例程被执行或者句柄获得信号时该等待函数才返回。
上面已经对利用完成例程实现异步I/O的一些比较重要的细节进行的简洁的阐述,接下来就以一个实例来说明完成例程的具体实现过程。
实例一:使用完成例程的异步I/O示例
1、 设计目标
体会完成例程的异步I/O实现原理及过程。
2、 问题的分析与设计
设计流程图如下:
示图说明:
三个IO操作分别是IO_A, IO_B, IO_C, 他们的完成例程分别是APC_A, APC_B, APC_C。IO_A, IO_B是两个
很短的IO操作,IO_C是一个比较费时的IO操作。
3、 详细设计(关键代码如下,具体参见附件中的源代码CompletionRoutine)
VOID WINAPI APC_A ( DWORD dwError, DWORD cbTransferred, LPOVERLAPPED lpo ) { pTempInfo.push_back ( "执行IO_A的完成例程" ) ; } VOID WINAPI APC_B ( DWORD dwError, DWORD cbTransferred, LPOVERLAPPED lpo ) { pTempInfo.push_back ( "执行IO_B的完成例程" ) ; } VOID WINAPI APC_C ( DWORD dwError, DWORD cbTransferred, LPOVERLAPPED lpo ) { pTempInfo.push_back ( "执行IO_C的完成例程" ) ; } void CCompletionRoutineDlg::OnTest() { // TODO: Add your control notification handler code here HANDLE hFile_A, hFile_B, hFile_C ; OVERLAPPED ov_A = {0}, ov_B = {0}, ov_C = {0} ; #define C_SIZE 1024 * 1024 * 32 string szText_A = "Sample A !" ; string szText_B = "Sampel B !" ; string szText_C ; szText_C.resize ( C_SIZE ) ; memset ( &(szText_C[0]), 0x40, C_SIZE ) ; pTempInfo.clear () ; hFile_A = CreateFile ( "A.txt", GENERIC_WRITE, 0, NULL, \ CREATE_ALWAYS, FILE_FLAG_OVERLAPPED, NULL ) ; hFile_B = CreateFile ( "B.txt", GENERIC_WRITE, 0, NULL, \ CREATE_ALWAYS, FILE_FLAG_OVERLAPPED, NULL ) ; hFile_C = CreateFile ( "C.txt", GENERIC_WRITE, 0, NULL, \ CREATE_ALWAYS, FILE_FLAG_OVERLAPPED, NULL ) ; WriteFileEx ( hFile_A, &(szText_A[0]), szText_A.length(), &ov_A, APC_A ) ; pTempInfo.push_back ( "启动IO_A, 并立即返回" ) ; WriteFileEx ( hFile_B, &(szText_B[0]), szText_B.length(), &ov_B, APC_B ) ; pTempInfo.push_back ( "启动IO_B, 并立即返回" ) ; WriteFileEx ( hFile_C, &(szText_C[0]), szText_C.size(), &ov_C, APC_C ) ; pTempInfo.push_back ( "启动IO_C, 并立即返回" ) ; pTempInfo.push_back ( "进入可变等待状态" ) ; SleepEx ( 1, true ) ; pTempInfo.push_back ( "结束可变等待状态" ) ; pTempInfo.push_back ( "进入可变等待状态" ) ; SleepEx ( 10000, true ) ; pTempInfo.push_back ( "结束可变等待状态" ) ; CloseHandle ( hFile_A ) ; CloseHandle ( hFile_B ) ; CloseHandle ( hFile_C ) ; m_ListBox.ResetContent () ; list<string>::iterator p ; for ( p = pTempInfo.begin(); p != pTempInfo.end(); p++ ) { m_ListBox.AddString ( p->data() ) ; } DeleteFile ( "A.txt" ) ; DeleteFile ( "B.txt" ) ; DeleteFile ( "C.txt" ) ; }
执行后的效果如下(WinXP+SP2+VC6.0):
4、 心得体会
每当一个IO操作结束时会产生一个完成信息,如果该IO操作有完成例程的话就添加到完成例程队列。一旦调用线程进入可变等待状态,就会依次执行队列中的完
成例程。
在这个示例中还有一个问题,如果把这个软件放在系统分区的文件目录下可以正常执行,而放在其他盘符下就会出现问题,执行结果就不同,真是奇怪了。
四、使用完成端口(IOCP)
实例二、使用IOCP的异步I/O示例
1、设计目标
体会完成端口的异步I/O实现原理及过程。
2、 问题的分析与设计
说明:
每个客户端与一个管道进行交互,而在交互过程中I/O操作结束后产生的完成包就会进入“I/O完成包队列”。完成端口的线程队列中的线程使用
GetQueuedCompletionStatus来检测“I/O完成包队列”中是否有完成包信息。
3、详细设计(关键代码如下,具体见附件中的源码)
UINT ServerThread ( LPVOID lpParameter ) { …… while ( true ) { GetQueuedCompletionStatus ( pMyDlg->hCompletionPort, &cbTrans, &dwCompletionKey, &lpov, INFINITE ) ; if ( dwCompletionKey == -1 ) break ; // 读取管道信息 // 响应管道信息(写入) } return 0 ; } void CMyDlg::OnStart() { // 创建完成端口 hCompletionPort = CreateIoCompletionPort ( INVALID_HANDLE_VALUE, NULL, 0, nMaxThread ) ; CString lpPipeName = "\\\\.\\Pipe\\NamedPipe" ; for ( UINT i = 0; i < nMaxPipe; i++ ) { // 创建命名管道 PipeInst[i].hPipe = CreateNamedPipe ( lpPipeName, PIPE_ACCESS_DUPLEX|FILE_FLAG_OVERLAPPED, \ PIPE_TYPE_BYTE|PIPE_READMODE_BYTE|PIPE_WAIT, nMaxPipe, 0, 0, INFINITE, NULL ) ; …… // 把命名管道与完成端口关联起来 HANDLE hRet = CreateIoCompletionPort ( PipeInst[i].hPipe, hCompletionPort, i, nMaxThread ) ; …… // 等待连接 ConnectNamedPipe ( PipeInst[i].hPipe, &(PipeInst[i].ov) ) ; } // 创建线程 for ( i = 0; i < nMaxThread; i++ ) { hThread[i] = AfxBeginThread ( ServerThread, NULL, THREAD_PRIORITY_NORMAL ) ; } …… } void CMyDlg::OnStop() { for ( UINT i = 0; i < nMaxThread; i++ ) { // 用来唤醒线程的虚假I/O完成包 PostQueuedCompletionStatus ( hCompletionPort, 0, -1, NULL ) ; CloseHandle ( hThread[i] ) ; } for ( i = 0; i < nMaxPipe; i++ ) { DisconnectNamedPipe ( PipeInst[i].hPipe ) ; CloseHandle ( PipeInst[i].hPipe ) ; } …… }
4、心得体会
上面这个例子是关于完成端口的简单应用。可以这样来理解完成端口,它与三种资源相关分别是管道、I/O完成包队列、线程队列,它的作用是协调这三种资
源。
【参考文献】
[1]. Windows系统编程. Johnson M.Hart著
【版权声明】必须注明来源看雪技术论坛(bbs.pediy.com) 及作者,并保持文章的完整性。
发表评论
-
Filter驱动:过滤(修改)接受数据包
2010-04-20 16:18 9218Filter驱动可以实现简单的防火墙功能。它可以过滤所有接收到 ... -
Ndis过滤驱动:拷贝NetBufferList数据
2010-04-19 22:40 9457今天我们来看看如何拷贝NBL中的数据。有时候需要更改数据包中的 ... -
在Filter驱动内核中获取IP地址
2010-04-18 01:48 3850项目开发中有时候需要在Filter驱动中获取有效地Unic ... -
如何在内核中获得当前系统时间
2010-04-16 15:08 2663在 Windows NT 内核中你是无法使用 tim ... -
Filter发送自定义数据详解
2010-04-16 10:30 5689... -
DebugPrint 格式说明符
2010-04-13 19:46 17301) 直接打印字符串。 DbgPrint(“Hello ... -
WDK+Visual Studio 2008配置编译驱动
2010-04-12 23:36 5522Introduction As it is known, ... -
疑问:关于内存释放
2010-04-12 21:33 1412今天碰到一个比较棘手的内存处理问题。 首先来看一个数据结构: ... -
Windows NT 驱动程序开发人员提示 -- 应注意避免的事项
2010-04-10 11:32 2290原讨论链接: http://community.cs ... -
关于DeviceIoControl实现异步的笔记【2】
2010-04-09 23:17 5047前面我们谈到了关于异步I/O的实现:关于DeviceIoCon ... -
关于DeviceIoControl实现异步的笔记【1】
2010-04-08 22:26 11640一直所做的都是同步实现的。当然很多情况这并不是很好的解决问题。 ... -
驱动和应用层的异步通信
2010-04-08 20:55 5344作 者: sislcb时 间: 2008-01-28,11:1 ... -
纵横捭阖C++之从异步谈起
2010-04-08 19:31 3147一般来说,简单的异步(Asynchronous)调用是这样一种 ... -
使用DeviceIoControl通信
2010-04-04 22:53 7851在很多时候,某些用户需要与底层驱动有一个交互式的操作,所 ... -
在驱动中使用链表
2010-04-03 14:06 3246文章作者:grayfox 作 ... -
疑问:数据包Length增大的原因
2010-04-01 14:35 1331现象: 自己定义一个仅含有Ethernet Header的数 ... -
疑问:为何无线网卡无法发送数据?
2010-03-30 22:42 4487所有的测试流程表明,程序已经成功的创建新的数据包,然后调用Nd ... -
InsertHeadList和CONTAINING_RECORD
2010-03-29 16:36 3722LIST_ENTRY定义一个双向链表的数据结构: typed ... -
如何区分不同的Filter Module Instance
2010-03-29 14:50 1509前文 说到如何区分不同Filter Module Inst ... -
大数据是否需要封装在多个MDL中发送
2010-03-27 21:40 2469前段时间,我们已经解决如何发送自定义的网络数据。那么接下来要做 ...
相关推荐
Windows系统编程之异步I/O和完成端口,从操作系统的角度讲述完成端口的原理。
如何通过I/O完成端口执行同步和异步设备I/O操作; 如何使用虚拟内存、内存映射文件和堆之类的各种技术来分配内存; 如何处理默认调拨的线程栈物理存储; 如何为延迟加载、API拦截和进程注入构建DLL;如何使用结构化...
(事件选择)、Overlapped I/O(重叠式I / O)以及Completion port(完成端口)等等。到本章结 束时,我们打算对各种套接字模式以及I / O模型的优缺点进行总结。同时,帮助大家判断到底 哪一种最适合自己应用程序的...
用编写的最小的跨平台高性能异步I / O库。 特征 基于Reactor / Proactor的I / O通知支持 epoll(Linux) 克奎(达尔文) I / O完成端口(Windows) 异步POSIX套接字支持 bind , listen , connect , accept ...
IOCP网络编程模型也叫完成端口,完成端口会充分利用Windows内核来进行I/O的调度,理论上和大量的实践中证明是用于WIN中C/S通信模式中性能最好的网络通信模型,没有之一(希望别打脸) 这是一个基于.NET 2.0编写的...
45210.2.3 缓冲区参数 45210.2.4 异步I/O 45210.3 Internet函数 45310.3.1 常用Internet函数 45310.3.2 FTP客户端函数 45910.3.3 HTTP客户端函数 46110.3.4 Gopher客户端函数 46510.4 WinInet API编程 ...
Winsock I/O方法1728.1 套接字模式1728.1.1 锁定模式1738.1.2 非锁定模式1758.2 套接字I/O模型1768.2.1 select模型1768.2.2 WSAAsyncSelect1798.2.3 WSAEventSelect1838.2.4 重叠模型1888.2.5 完成端口模型1988.3 I/...
Winsock I/O方法1728.1 套接字模式1728.1.1 锁定模式1738.1.2 非锁定模式1758.2 套接字I/O模型1768.2.1 select模型1768.2.2 WSAAsyncSelect1798.2.3 WSAEventSelect1838.2.4 重叠模型1888.2.5 完成端口模型1988.3 I/...
Winsock I/O方法1728.1 套接字模式1728.1.1 锁定模式1738.1.2 非锁定模式1758.2 套接字I/O模型1768.2.1 select模型1768.2.2 WSAAsyncSelect1798.2.3 WSAEventSelect1838.2.4 重叠模型1888.2.5 完成端口模型1988.3 I/...
8.2 WSAAsyncSelect异步I/O模型 212 8.3 WSAEventSelect事件选择模型 216 8.4 重叠I/O模型 221 8.4.1 重叠I/O模型的优点 221 8.4.2 重叠I/O模型的基本原理 221 8.4.3 重叠I/O模型的关键函数和数据结构 ...
本书从Windows内核编程出发,全面系统地介绍了串口、键盘、磁盘、文件系统、网络等相关的Windows内核模块的编程技术,以及基于这些技术实现的密码保护、防毒引擎、文件加密、网络嗅探、网络防火墙等信息安全软件的...
本书从Windows内核编程出发,全面系统地介绍了串口、键盘、磁盘、文件系统、网络等相关的Windows内核模块的编程技术,以及基于这些技术实现的密码保护、防毒引擎、文件加密、网络嗅探、网络防火墙等信息安全软件的...
本书从Windows内核编程出发,全面系统地介绍了串口、键盘、磁盘、文件系统、网络等相关的Windows内核模块的编程技术,以及基于这些技术实现的密码保护、防毒引擎、文件加密、网络嗅探、网络防火墙等信息安全软件的...