For Meanless Creatures.

졸업 당시 제출했던 논문에서 그림 파일을 제외하고 올려둡니다.
올리는 이유는 하도 공부를 안 했더니 제가 헷갈려서;

1章. IOCP란 무엇인가?

일반적으로 (IO Completion Port)을 일컬어 IOCP라 한다.
이는 IO 작업[1] 을 수행하는 메커니즘 중의 하나이다. 보다 구체적으로 말하면, 비동기로 IO 작업을 수행해 오버헤드를 크게 줄이는 입출력 방식을 뜻한다. 즉, 지금까지의 입출력 방식이 프로그램을 수행하는 동안 입출력 작업을 수행하는 직렬 방식이었다면, 이 IOCP 방식은 프로그램의 수행과 입출력 작업을 분리해 병렬적으로 수행하는 것이다. 그 정의와 역할에 대한 설명은 이후 본문에서 계속하도록 한다.
이 IOCP라는 처리 방식의 특징은 모든 IO 작업을 오버랩시키면서 수행하는 입출력 방식, 즉 (Overlapped IO)를 통해 극명하게 드러난다고 볼 수 있다. (Overlapped IO)에 대해서는 차후 보다 자세히 언급할 것이다.
이러한 IOCP 처리 방식은 모든 입출력 작업에 적용될 수 있으나, 특히 IO 작업의 수가 대단히 많아 부하가 많이 걸리는 대규모 입출력 작업, 네트워크 작업과 같은 작업에 있어서 큰 효율을 보인다. 현재 대용량 윈도우 서버는 거의 대부분이 IOCP로 이루어져 있을 만큼, 이 IOCP는 동시에 많은 작업을 처리하는 경우에 최고의 효율을 자랑한다.
이 글에서는 IOCP가 어떠한 방식으로 작동하며, 왜 다른 입출력 방식보다 효율적이며, 실제로 코드상에는 어떤 식으로 구현되는가에 대해 살펴보도록 하겠다. 또한 이 IOCP를 보다 효율적으로 사용할 수 있는 알고리즘에 대해 논해보겠다.

2章. IOCP의 기반 지식

(1) Overlapped IO
IOCP에 대해 언급하려면, 먼저 (Overlapped IO)라는 것이 무엇인가부터 논해야 한다. IOCP에서 사용하는 것이 바로 이 (Overlapped IO)이기 때문이다. (Overlapped IO)라는 말은, 말 그대로 IO 작업이 서로 오버랩되어서, 즉 겹쳐져서 수행된다는 뜻이다. 즉, 다른 IO 작업이 수행되는 동시에 또 다른 IO 작업이 수행될 수 있는 기능을 말한다.
이처럼, 하나의 프로세스 내에서 여러 개의 IO 작업이 컨커런트하게 진행된다는 의미로 해석할 수 있다. 일반적인 입출력 작업에서 블럭되어 입출력을 기다리는 것과 달리, 여러 개의 IO 작업을 병렬적으로 수행할 수 있다는 뜻이다. 이러한 (Overlapped IO) 구조체를 넘겨받는 것으로 IOCP 작업이 수행된다. 각각의 (Overlapped IO) 구조체가 IOCP 작업의 단위라고 볼 수 있다.
이 (Overlapped IO)는 SCAN 방식[2] 이라는 스케줄링 정책을 선택해 보다 나은 성능을 보여준다. 즉, 반드시 IO 작업이 들어온 순서대로 수행하는 것이 아니라, 보다 빨리 수행할 수 있는 것부터 수행한다.

(2) Multithread Programming
과거에 이용되어 왔던 멀티쓰레드 프로그래밍의 경우, 하나의 유저에 대해 하나의 쓰레드를 생성하는 것이 일반적이었다. 이는 IO 작업의 특성과 긴밀하게 맞물려 있다. 하나의 쓰레드가 어떤 IO 작업을 수행하려 한다면, 그 쓰레드는 IO 작업이 끝날 때까지 블럭되어 가만히 머물러 있어야 한다. 즉, 그러한 이유로 하나의 쓰레드가 여러 명의 유저를 처리해줄 수는 없다. 그래서 프로세스는 여러 명의 유저에 대해, 하나의 유저 당 하나의 쓰레드를 지녀야 한다.
이것은 몇천 명의 유저가 접속하는 대용량 서버에 있어서 치명적인 오버헤드가 된다. 유저의 수만큼 쓰레드가 필요하므로, 이 쓰레드의 리소스만 해도 엄청난 오버헤드이다. 그것보다 더 큰 문제는 각각의 쓰레드를 빈번하게 교체하는 경우 발생하는 문제, 즉 Context Switching[3]에서 발생하는 오버헤드이다.

(3) Problem of Context Switching
Context Switching이란, 커널을 점유한 쓰레드 혹은 프로세스가 점유를 중단하고 다른 쓰레드에게 그 점유권을 넘겨주는 작업을 뜻한다. 이 작업은 쓰레드의 당시 상태를 모두 기록하고 레지스터를 다시 기록해야 하는 등, 아주 무거운 오버헤드를 발생시키는 작업이다. 되도록이면 피하는 것이 좋다.
그러나 멀티쓰레드 프로그래밍으로 대용량 서버를 구현할 경우, Context Switching은 엄청나게 빈번하게 발생할 수밖에 없다. 즉, 멀티쓰레드 프로그래밍은 Context Switching의 문제로 인해 대용량 서버에 적합한 모델이 되기 힘들다. 따라서 사람들은 멀티쓰레드 프로그래밍을 진행하면서도 최대한 이 Context Switching 문제를 줄이는 방법을 연구해왔다. 그 대안들로 Select-Poll과 같은 방법이 제시되긴 했지만, 아래 설명할 IOCP의 성능에는 미치지 못한다.
요약하자면, 저러한 문제들을 해결하기 위해 제시된 대안이 바로 IOCP라는 것을 알 수 있다.

3章. IOCP의 개념 및 역할

그렇다면 이제 IOCP가 무엇인가를 살펴보자. IOCP는, IO 작업을 위해 윈도우 운영 체제에서 제공하는 커널 오브젝트의 일종이다. (IO Completion Port)라는 이름의 의미는, 이 포트에 IO 작업들이 연결되고, 이 작업들이 완료되었을 때 특정한 방식으로 프로세스에 통지한다는 의미로 해석할 수 있다. 즉, 이 IOCP는 IOCP와 연결된 전반적인 IO 작업을 총괄하며, IO 작업들을 직접 핸들링한다.
이 IOCP 객체가 수행하는 일은 크게 두 가지로 나눌 수 있다.

(1) IOCP 쓰레드 풀 생성.
IOCP의 특성상, IOCP를 사용하면 IO를 관리하는 쓰레드들이 빈번하게 wake, 혹은 sleep를 반복한다. 그러한 경우 IOCP는 쓰레드를 일일이 생성하거나 소멸시키는 대신, 일정 수의 쓰레드들이 포함된 Pool을 미리 생성하고 그 Pool 속의 쓰레드들을 꺼내 썼다가 다시 집어넣는 식으로 사용한다. 이는 쓰레드를 생성하고 소멸시키는 데에 필요한 오버헤드를 크게 감소시키는 훌륭한 방식이다. 이는 사용자가 굳이 설계할 필요가 없이, IOCP 객체를 생성하고 이용함으로써 자동으로 생성된다.

(2) 활성화된 쓰레드의 숫자를 조절한다.
쓰레드를 사용하기 위해서는 그 쓰레드가 CPU를 점유해야 한다. 컨커런트하게 수행되는 프로그램이라고 해도, 어느 한 순간에 실제로 CPU를 점유하는 것은 하나뿐이다. 그래서 쓰레드들의 CPU 점유를 관리하기 위해 스케쥴러가 사용된다. Starvation[3]을 피하기 위해 쓰레드들을 스케줄링할 필요가 있기 때문이다. 하지만 이 쓰레드의 스케줄링은 그다지 가벼운 작업이 아니다. 쓰레드에 대해 (Context Switching)을 수행할 경우 이는 엄청난 오버헤드를 발생시킨다. 이것은 앞서도 말했던 고질적인 (MultiThread Programming)의 문제이다. 하지만 IOCP의 경우, 이러한 쓰레드의 숫자를 제한하고 적절한 숫자의 쓰레드만이 활성화되도록 컨트롤할 수 있다. 이는 대단히 중요한 IOCP의 장점이다.

4章. IOCP의 비교 우위

IOCP가 비교 우위에 서 있는 원리를 정리하면 다음과 같다. IOCP는 IO 작업을 수행하는 경우, 블럭되어 멈추어 있는 대신 바로 함수를 리턴해 버린 후, 그 IO 작업은 IOCP Queue에 삽입해 다른 쓰레드에게 맡겨버린다. 그리고 그 IO 작업이 완료된 이후의 진행은 다른 루틴에서 진행된다. 즉, 비동기로(Asynchronous) IO 작업을 수행함으로써, 많은 IO 작업을 수행하면서도 최소한의 쓰레드만으로 프로세스를 유지함으로써, IO 작업 처리의 효율성을 제고한다.
이에 비해 멀티쓰레드 프로그래밍의 경우, 하나의 IO 작업을 수행하면 그 IO 작업에 대해 계속 블럭되어 멈추어 있다가 그 아래 루틴에서 작업을 수행해야 한다. 그러므로 하나의 쓰레드가 동시에 하나의 IO 작업밖에 수행할 수 없다. 그래서 IO 작업이 필요한 객체 하나당 하나의 쓰레드가 필요하다. 이것은 동기(Synchronous) IO 작업 수행 방식의 특징이다. 이 방식은 수많은 클라이언트들로부터 수많은 요청들이 서버에 쏟아질 때, 엄청난 Context Switching을 수행해야 하는 치명적인 단점이 있다.

5章. IOCP 구현 메소드

IOCP의 실제 코드 상의 구현을 설명하기 위해서 IOCP와 관련된 메소드를 설명해보겠다. 실제로 IOCP가 IO 작업들 중에서도 소켓 통신에 많이 이용된다는 점을 감안, 소켓 통신에 사용되는 메소드들을 뽑아 예시로 사용했다.

(1) WSARecv & WSASend
각각 비동기로 입력, 출력을 수행하는 함수이다. 이는 IOCP와 연계되어 사용된다. 즉, 함수의 파라메터 중 m_overlappedRead/Write를 이용해 (Overlapped IO)를 지정할 수 있다. 이 함수는 여섯 번째 파라메터를 이용해 입출력 작업을 비동기로 수행하도록 명령할 수 있다. 이는 쉽게 말하자면, 루틴이 진행되는 가운데 프로그램과 상관없이 알아서 진행된다는 뜻이다. 이는 IOCP와 연결되었기 때문이다.
6, 7번 파라메터의 설정에 의해 IOCP와 연결이 가능하다. 6, 7번 파라메터를 NULL로 두면 동기로 수행된다. 일반적인 Recv와 Send와 같은 용법으로 사용된다고 볼 수 있다.
이 함수 아래의 루틴에서는 이 함수가 읽어들인 것을 처리하지 않는다. 이 함수는 바로 ERROR_IO_PENDING이 반환되어 버리며 종료된다.
ERROR_IO_PENDING의 의미는 동기화되지 않았기 때문에 차후 수행할 예정이라는 뜻이다. 차후 이 함수가 읽어들인 값은 GetQueuedCompletionStatus 함수에서 받아오게 된다.
이 함수에서 명령한 입출력 작업이 IOCP에 할당된 쓰레드에 의해 완료되는 순간, 예의 GetQueuedCompletionStatus 함수가 리턴하게 된다. 그 아래 루틴에서 이 GetQueuedCompletionStatus에서 수행한 작업이 어떤 작업인가를 m_overlappedRead와 CompletionKey를 통해 알아낼 수 있다.
이 함수가 수행되면 이 IO 작업은 비동기로 수행된다. 완료되었을 경우 (IOCP Queue)에 삽입되며, 처리는 차후 GetQueuedCompletionStatus가 호출될 때이다.

(2) CreateIOCompletionPort
일반적으로 두 가지 용도로 쓰인다. 순수한 IO Completion port의 생성의 용도와, 이 함수를 통해 생성된 IO Completion port에 입출력 Handle을 연결하는 용도이다. 이 함수는 네 개의 파라메터를 받는다.
첫 번째 인자는 붙일 IO 핸들을 의미한다. 소켓 통신이므로 Socket 구조체가 될 것이다.
두 번째 인자는 IOCP의 이름이다.
세 번째 인자는 사용할 객체의 포인터이다. 이는 차후 GetQueuedCompletionStatus 함수에서 지금 수행 중인 작업에 대한 객체가 어느 객체인가를 구분하기 위해 필요하다.
네 번째 인자는 이 IOCP에 붙일 쓰레드 수이다. 숫자를 지정하지 않으면 CPU 숫자에 2를 곱한 값에 다시 2를 더한 값으로 지정된다. 이처럼 소수의 쓰레드만을 사용하는 것이 오버헤드를 줄이는 힘이다. 다만 이 숫자를 정확하게 얼마로 하는 것이 좋은가, 하는 문제는 보다 연구해볼 가치가 있다.

(3) GetQueuedCompletionStatus
IOCP Queue에 완료된 결과가 들어왔을 경우 쓰레드를 깨우거나, 쓰레드가 없을 경우 쓰레드 풀을 생성하게 된다. 만약 너무 많은 쓰레드가 활성화되어 있으면 그 숫자를 제한한다.
이 함수는 쓰레드에서 일괄적으로 큐에서 결과를 읽어내기 위해 사용된다. 읽어들인 결과가 있을 때까지, 다시 말하자면 비동기 입력 작업이 완료될 때까지 계속 대기한다. 5번째 인자를 통해 너무 많은 시간이 지날 경우에 대해 타임아웃이 지정 가능하다.
즉 IOCP와 연결된 입출력 함수 (Ex. WSARecv) 등이 호출되는 경우 그 함수가 읽어들인 내용을 이 GetQueuedCompletionStatus 함수의 아래 루틴에서 실제로 처리하게 된다.

(4) PostQueuedCompletionStatus
PostQueuedCompletionStatus를 사용하면 GetQueuedCompletionStatus를 강제로 호출할 수 있다. 엄밀히 말하면 PostQueuedCompletionStatus를 사용해 IOCP Queue에 전달하는 것이고, 이것을 처리한 후 IOCP Queue에서 결과가 드러나면 GetQueuedCompletionStatus이 호출된다고 볼 수 있다.

6章. IOCP의 사용 예시

IOCPThread
// IOCP에서 읽어들인 결과를 전담하는 쓰레드이다.
{
             GetQueuedCompletionStatus(...);
             // 아래에서 읽어들인 바이트 처리
             // CompletionKey 검사 후 다른 function으로 분기
             // 혹은 Virtual Function을 사용
             // 어디서 왔는가를 판별 (WaitThread, IOThread(WSARecv), WSASend 등등)
             // 적절하게 읽어들인, 혹은 보낸 데이터를 처리.
             // 읽어들인 데이터는 저장하고 모자란 부분을 더 보내는 등의 작업.
}

WinMain
{
             CreateIOCompletionPort(...)
             // 포트를 생성한다.
             ...
             서버용 Socket 생성
             CreateIOCompletionPort(Socket, ...)
             // 소켓 생성 후 Accept하면 WaitThread에 연결
             ListenThread;
}

ListenThread
{
             WaitForMultipleObject 등 사용해서 다중 접속 대기.
             접속시
             {
                           socket = accept(...)
                           CreateIOCompletionPort(Socket, ...)
                           Recv();
                           // 여기서 데이터의 수신이 이루어진다.
                           // 이 함수는 받든 못 받든 IO_ERROR_PENDING으로 지나가버림
                           // 만약 IO작업이 이루어지면 IOCP Queue에 들어감.
                           // GetQueuedCompletionStatus 아래의 IOCPThread에서 처리하게 됨.
             }
}

Recv(...)
{
             WSARecv(...);
             // 비동기로 수행한다.
             // 파라메터의 적절한 세팅이 필수적으로 요구된다.
}

Send(...)
{
             WSASend(...);
             // 마찬가지로 비동기로 수행한다.
             // 파라미터를 적절히 세팅한다.
}

SendSomething
{
             Send();
             // 데이터를 보내려 할 때 쓰일 수 있다.
             // 이 함수를 호출해 필요한 데이터를 보내준다.
             // WSASend는 한번에 모든 데이터를 전송하는 반면,
             // WSARecv는 한번에 모든 데이터를 받을 수는 없다.
             // 반드시 이 점을 염두에 두고 프로그래밍해야 한다.
}

7章. 요약 및 참고 문헌

지금까지 IOCP에 대해 살펴보았다. 확인한 바와 같이, IOCP는 실제 상용 서버에서도 많이 사용되는 입출력 기술이다. 물론 IOCP가 어떤 경우에도 최고의 성능을 자랑하는 것은 아니다. 하지만 클라이언트로부터의 리퀘스트가 많고 부하가 큰 대용량 서버의 경우, 현재 IOCP의 성능을 따라갈 만한 기술은 없다고 해도 과언이 아니다. 즉, 종합하자면 다음과 같다. IOCP는 다수의 입출력 작업을 처리하기에 최적화된, 우수한 성능을 지닌 IO 메커니즘이다.

참고 문헌

[1]IO란 컴퓨터나 주변 장치로부터 데이터를 교환하는 모든 프로그램, 오퍼레이션, 장치를 통칭하는 용어이다. 마우스나 키보드와 같은 장치는 입력만을 위한 장치이며, 프린터와 같은 장치는 출력만을 위한 장치이다. 하드 디스크와 같은 장치는 입출력 작업 모드를 수행할 수 있다. http://www.webopedia.com/TERM/I/I_O.html

[2]기본적으로 현재 위치에서 가장 가까운 데이터를 우선적으로 처리하며, 한쪽 방향으로 진행하고 한쪽 끝에 도달하면 반대쪽 방향으로 진행하는 방법. http://www.webopedia.com/TERM

[3]OS에서 어떤 자원 목록에 대해 경쟁하는 프로세스가 많고, 이 프로세스들이 자원 목록에 대해 어떤 특정한 스케쥴링 방법대로 권한을 얻어갈 때, 프로세스가 필요한 자원의 권한을 영원히 얻지 못해 일을 하지 못하는 현상. http://www.webopedia.com/TERM

--------------------------------------------------------------------------------

[１]Programming Server Side Applications for Microsoft Windows 2000, Jeff Richter, Microsoft Press

[２]Summary About IOCP, 이기탁, http://www.devpia.com

[３]Unix Network Programming, W. Richard Stevens, Addison-Wesley Professional

[４]Programming Applications for Microsoft Windows, Jeff Richter, Microsoft Press

[５]Programming Server Side Applications for Microsoft Windows 2000, Jeff Richter, Microsoft Press

# by 은엽 | 2009/11/16 16:14 | 작업 | 트랙백 | 덧글(7)