NOYECUBE

[MFC] Parquet 파일 생성(Apache Arrow 기반)

noyecube — Tue, 15 Apr 2025 14:02:51 +0900

이번 포스팅에서는 Apache Arrow를 정적 라이브러리 형태로 MFC 프로젝트에 연동하여 CSV 파일을 읽고, 이를 Parquet 파일로 zstd 압축을 통해 저장하는 구체적인 예제를 제공합니다. 반대로, 압축된 Parquet 파일을 다시 읽어오는 예제까지 실습하여 데이터를 효율적으로 처리하는 방법을 단계별로 안내드릴 예정입니다.

1. Apache Arrow란?

Apache Arrow는 컬럼 기반 메모리 데이터 표현을 표준화한 오픈소스 프로젝트로, 데이터를 효율적으로 처리하고 다양한 언어 간 빠른 데이터 교환을 지원합니다. 데이터 분석 성능을 크게 향상시키며, 특히 데이터가 많은 환경에서 빛을 발하는 라이브러리입니다.
Apache Arrow는 Parquet, CSV 등 여러 데이터 형식의 파일을 효과적으로 다룰 수 있도록 설계되었습니다.

Arrow는 내부적으로 다음과 같은 주요 패키지 및 외부 의존성을 포함하고 있습니다.

Parquet: 컬럼 기반의 파일 형식으로, 압축률이 뛰어나고 쿼리 성능이 우수합니다.
zstd 압축 라이브러리: Parquet 파일 저장 시 데이터를 zstd 포맷으로 압축하여 저장하면 더 작은 파일 크기와 빠른 데이터 접근 속도를 보장합니다.

자세한 내용은 다음 경로에서 확인 가능합니다.

https://arrow.apache.org/

Apache Arrow

The universal columnar format and multi-language toolbox for fast data interchange and in-memory analytics

arrow.apache.org

2. What is Parquet? What are its differences compared to the CSV format?

Parquet는 컬럼 기반의 저장 포맷으로, 빅데이터 환경에서 특히 많이 사용되는 데이터 파일 형식입니다.

Parquet 파일은 데이터를 컬럼 단위로 저장하기 때문에 열 기반 분석 및 압축 효율성이 뛰어나며, 쿼리 속도 또한 매우 빠릅니다.
반면, CSV(Comma-Separated Values) 파일은 행 기반 저장 방식으로 데이터를 단순히 쉼표로 구분하여 저장합니다.

CSV는 단순하고 직관적이지만, 대규모 데이터 처리에서는 성능 저하가 발생할 수 있습니다.

특징	Parquet	CSV
데이터 저장 방식	컬럼(columnar) 기반 저장	행(row) 기반 저장
성능 및 속도	빠른 쿼리 속도, 높은 압축률	느린 쿼리 속도, 낮은 압축률
용도	빅데이터, 분석 작업에 최적화된 환경에 추천	작고 단순한 데이터에 적합

3. Building Arrow C++

윈도우기반 C++용 Arrow를 빌드해봅니다. 빌드에 대한 자세한 내용은 다음의 링크에서 확인하실 수 있습니다.

윈도우에서 Arrow 라이브러리를 사용하는 방법은 크게 vcpkg를 이용하여 참조하는 방법과 cmake로 컴파일하여 프로젝트에 라이브러리 파일을 포함하는 방법이 있습니다.

제가 cmake 컴파일 방식을 3일넘게 시도하다가 포기하고 vcpkg로 install 후 integrate install을 하였습니다. 의존성 걸린 모듈이 여러개 있는데 모든 모듈을 MT_StaticLibrary 방식으로 빌드되도록 /MT 옵션을 주어도 arrow가 자체 빌드하는 몇몇 모듈들은 /MT 적용이 안되고 /MD로만 빌드가 되어 직접 빌드하는 것은 포기하였습니다.

https://arrow.apache.org/docs/developers/cpp/building.html

Building Arrow C++ — Apache Arrow v19.0.1

By default, the C++ build system creates a fairly minimal build. We have several optional system components which you can opt into building by passing boolean flags to cmake. Some features of the core Arrow shared library can be switched off for improved b

arrow.apache.org

3.1. System setup

Arrow 소스코드 내의 예제파일 등을 참조하실 분은 다음과 같이 git에서 arrow 소스코드를 받아보시면 됩니다.

D:\git>git clone https://github.com/apache/arrow.git
Cloning into 'arrow'...
remote: Enumerating objects: 260054, done.
remote: Counting objects: 100% (96/96), done.
remote: Compressing objects: 100% (66/66), done.
remote: Total 260054 (delta 57), reused 32 (delta 30), pack-reused 259958 (from 2)
Receiving objects: 100% (260054/260054), 203.69 MiB | 10.84 MiB/s, done.
Resolving deltas: 100% (183999/183999), done.
Updating files: 100% (5677/5677), done.

Arrow를 빌드하려면 의존성 걸려있는 패키지 라이브러리들이 필요한데 윈도우에서는 vcpkg로 관리하는게 편하므로 vcpkg가 설치되어 있는지 확인합니다.

// vcpkg 여부 확인
D:\>where vcpkg
H:\vcpkg\vcpkg.exe
D:\>

없으면 vcpkg를 다운받고 설치스크립트를 실행합니다.

vcpkg가 visual studio 경로에 번들설치된게 있는데 저처럼 별도의 vcpkg를 사용하고 싶으면

PowerShell에서 환경변수 VCPKG_ROOT를 수정합니다.

// 환경변수 설정 예제(Powershell)
> SETX VCPKG_ROOT D:\vcpkg

VS Prompt는 VCPKG_ROOT값이 Visual Stduio 경로로 덮어쓰기 되므로 CMD창 실행시 set 명령으로 VCPKG_ROOT를 수정하고 시작합니다.

그리고 어떤 vcpkg를 참조하는지 확신이 안서면 vcpkg install 명령 실행시 다음과 같이 " --vcpkg-root" 옵션으로 vcpkg 경로를 입력해줍니다. 그렇지 않으면 다음과 같이 두 경로의 vcpkg 충돌 경고가 발생합니다.

warning: The vcpkg H:\vcpkg\vcpkg.exe is using detected vcpkg root H:\vcpkg and ignoring mismatched VCPKG_ROOT environment value C:\Program Files\Microsoft Visual Studio\2022\Community\VC\vcpkg. To suppress this message, unset the environment variable or use the --vcpkg-root command line switch.

3.2. Building

윈도우 기본 CMD창이 아닌 Visual Studio Developer Command Prompt를 띄워서 작업해야 합니다.

Arrow 루트 경로의 cpp 폴더로 들어가서 폴더를 하나 생성하고 그 안에서 cmake 명령으로 비주얼스튜디오 프로젝트를 생성합니다. 이 때 사용할 컴포넌트에 대한 옵션을 켜줍니다. 저는 Parquet, CSV 를 켜고 압축기능도 전부 켰습니다.

cmake .. -G "Visual Studio 17 2022" -A x64 -DCMAKE_TOOLCHAIN_FILE=H:\vcpkg\scripts\buildsystems\vcpkg.cmake -DCMAKE_INSTALL_PREFIX=../install -DARROW_BUILD_SHARED=OFF -DARROW_BUILD_STATIC=ON -DARROW_USE_STATIC_CRT=ON -DARROW_DEPENDENCY_SOURCE=VCPKG -DARROW_BUILD_TESTS=OFF -DCMAKE_UNITY_BUILD=ON -DMSVC_LINK_VERBOSE=ON -DVCPKG_TARGET_TRIPLET=x64-windows-static -DARROW_DEPENDENCY_USE_SHARED=OFF -DARROW_JSON=ON -DARROW_FILESYSTEM=ON -DARROW_CSV=ON -DARROW_PARQUET=ON -DARROW_DATASET=ON -DARROW_WITH_SNAPPY=ON -DARROW_WITH_ZLIB=ON -DARROW_WITH_BZ2=ON -DARROW_WITH_BROTLI=ON -DARROW_WITH_LZ4=ON -DARROW_WITH_ZSTD=ON

// triplet을 x64-windows-static로 지정해도 x64-windows(shared)도 생성됩니다.
E:\git\arrow\cpp\build>cmake .. -G "Visual Studio 17 2022" -A x64 -DCMAKE_TOOLCHAIN_FILE=H:\vcpkg\scripts\buildsystems\vcpkg.cmake -DCMAKE_INSTALL_PREFIX=../install -DARROW_BUILD_SHARED=OFF -DARROW_BUILD_STATIC=ON -DARROW_USE_STATIC_CRT=ON -DARROW_DEPENDENCY_SOURCE=VCPKG -DARROW_BUILD_TESTS=OFF -DCMAKE_UNITY_BUILD=ON -DMSVC_LINK_VERBOSE=ON -DVCPKG_TARGET_TRIPLET=x64-windows-static -DARROW_DEPENDENCY_USE_SHARED=OFF -DARROW_JSON=ON -DARROW_FILESYSTEM=ON -DARROW_CSV=ON -DARROW_PARQUET=ON -DARROW_DATASET=ON -DARROW_WITH_SNAPPY=ON -DARROW_WITH_ZLIB=ON -DARROW_WITH_BZ2=ON -DARROW_WITH_BROTLI=ON -DARROW_WITH_LZ4=ON -DARROW_WITH_ZSTD=ON
-- Building using CMake version: 3.31.7
-- Using vcpkg to find dependencies
-- Using CMAKE_TOOLCHAIN_FILE: H:\vcpkg\scripts\buildsystems\vcpkg.cmake
-- Using VCPKG_ROOT: H:/vcpkg
-- vcpkg.json manifest found. Using VCPKG_MANIFEST_MODE: ON
-- Using vcpkg installed libraries directory:
-- Using VCPKG_TARGET_TRIPLET: x64-windows-static
-- Using VCPKG_BUILD_TYPE: release
-- Using VCPKG_LIBRARY_LINKAGE: static
-- Running vcpkg install
Detecting compiler hash for triplet x64-windows...
Compiler found: C:/Program Files/Microsoft Visual Studio/2022/Community/VC/Tools/MSVC/14.43.34808/bin/Hostx64/x64/cl.exe
Detecting compiler hash for triplet x64-windows-static...
Compiler found: C:/Program Files/Microsoft Visual Studio/2022/Community/VC/Tools/MSVC/14.43.34808/bin/Hostx64/x64/cl.exe
The following packages will be built and installed:

프로젝트 생성이 완료되었으면 Arrow 소스코드를 빌드하여 라이브러리 파일을 생성할 차례입니다.

// Debug 라이브러리 생성
cmake --build . --config Debug--target INSTALL

// Release 라이브러리 생성
cmake --build . --config Release --target INSTALL

3.3. Arrow Install

vcpkg로 Arrow를 설치하려면 다음과 같이 하면 됩니다.

vcpkg 공지사항에 따르면 visual studio를 설치할 당시에 번들로 설치한 vcpkg를 이용할 경우에만 vcpkg integrate install 명령으로 모든 visual studio가 자동으로 헤더파일과 라이브러리 링크 기능을 사용할 수있고 별도로 설치한 vcpkg는 헤더파일 경로와 라이브러리파일 경로를 수동으로 설정해줘야 한다고 합니다.

> git clone https://github.com/Microsoft/vcpkg.git
> cd vcpkg
> bootstrap-vcpkg.bat

// Visual studio 경로의 기본 vcpkg를 사용할 경우에만 유효한 명령
> vcpkg integrate install

// 기본적으로 triplet x64-windows 가 적용되며 동적빌드버전(MD_Dynamic)
> vcpkg install arrow

// triplet이 x64-windows-static 적용되며 MT_Static
> vcpkg install arrow:x64-windows-static

vcpkg로 설치한 패키지들은 다음의 경로에 존재합니다.

// debug 모드 파일
%VCPKG_ROOT%\installed\<triplet>\debug\lib

// release 모드 파일
%VCPKG_ROOT%\installed\<triplet>\lib

4. Linking Arrow C++

라이브러리 파일이 생성되었으면 MFC 프로젝트에 포함할 차례입니다.

먼저 생성된 라이브러리 파일을 확인하겠습니다.

bundled의 의미는 arrow 빌드에 필요한 패키지를 찾지 못하여 arrow가 내장하고 있는 번들 라이브러리를 사용했다는 의미입니다. vcpkg install로 모든 라이브러리 파일을 생성해 두었으므로 해당 라이브러리가 사용되어야 설정한 CRT 모드가 일치하고 그렇지 않을 경우에는 CRT 모드가 충돌하여 링크 에러가 발생할 수 있습니다.

cmake build 명령 실행 전 "-DARROW_DEPENDENCY_SOURCE=VCPKG"로 설정되었는지 확인해야 하고 ARROW_DEPENDENCY_SOURCE 값이 SYSTEM 이거나 기타 다른값이면 cmake config 단계에서 vcpkg 경로를 찾지 못하여 기본값으로 설정된 것입니다. 이 경우에는 Cmake가 vcpkig toolchain file을 인식하지 못한 것이므로 CMake 호출 시 "-DCMAKE_TOOLCHAIN_FILE=<경로>" 를 추가로 설정해줍니다. 이 때 CMake 캐시 파일이 이미 생성되어 있으면 설정이 바뀌지 않으므로 CMakeCache.txt를 지우거나 빌드 폴더를 통째로 삭제합니다.

Arrow c++ library files

Debug/Release 각각 생성하였는데 Debug 모드의 arrow_static.lib 사이즈가 750MB나 됩니다.

헤더파일은 396개가 생성되었고 용량은 5MB정도 됩니다.

4.1. 소스 트리 구성

다음과 같이 프로젝트의 하위 폴더에 파일들을 복사 합니다.

prebuilt/arrow

폴더 트리 구조는 다음과 같습니다.

folder tree

4.2. Include Directory 설정

프로젝트 속성창 Configuration Properties > C/C++ > General > Additonal Include Directories에 헤더파일 폴더 위치를 추가합니다.

4.3. 전처리기 정의 추가

정적 라이브러리로 Arrow를 사용하려면 Arrow 헤더 파일이 DLL 가져오기(dllimport/dllexport) 지시어 없이 올바르게 작동하도록 하기 위해 ARROW_STATIC 매크로를 정의해야 합니다. Arrow Flight 모듈을 사용할거면 ARROW_FLIGHT_STATIC과 ARROW_FLIGHT_SQL_STATIC도 정의하라고 하는데 저는 그냥 다 했습니다.

프로젝트 속성창을 띄워서 Configuration Properties > C/C++ > Preprocessor 항목의 Preprocessor Definitions에 다음 내용을 추가합니다.

ARROW_STATIC;ARROW_FLIGHT_STATIC;ARROW_FLIGHT_SQL_STATIC

전처리기 정의 추가

4.4. 라이브러리 경로 및 종속성 추가

빌드의 결과물로 lib 폴더에 생성된 라이브러리 파일들을 프로젝트에 링크하도록 설정해야 합니다.

프로젝트 속성창 Configuration Properties > Linker > General 항목의 Additional Library Directories에 Arrow 라이브러리 파일이 있는 폴더의 경로를 추가합니다.

라이브러리 경로 추가(Debug/Release 구분)

Linker > Input 항목으로 이동하여 Additional Dependencies 항목에 라이브러리 파일 이름들을 추가합니다.

Additional Dependencies

4.5. 버전 출력 테스트 코드 작성

다음과 같이 빌드정보를 출력해보았습니다.

#include <arrow/api.h>

arrow::BuildInfo stArrow = arrow::GetBuildInfo();

DPRINTF("[INFO] Arrow Build(%s) Version(%d)\nArrow compiler id(%s) version(%s) flags(%s)\nArrow git_id(%s) git_desc(%s) git_package(%s)\n",
	(LPCTSTR)stArrow.build_type.c_str(), stArrow.version, (LPCTSTR)stArrow.compiler_id.c_str(), (LPCTSTR)stArrow.compiler_version.c_str(), (LPCTSTR)stArrow.compiler_flags.c_str(), (LPCTSTR)stArrow.git_id.c_str(), (LPCTSTR)stArrow.git_description.c_str(), (LPCTSTR)stArrow.package_kind.c_str());

arrow::GetBuildInfo

4.6. 링크 오류 해결

arrow 헤더파일 추가시 몇 가지 매크로가 타 서드파티 라이브러리의 매크로와 동일한 이름으로 충돌이 발생할 수 있습니다. 저의 경우에는 ta-lib 등의 매크로와 이름이 같아서 충돌이 발생했습니다. 이 때에는 같은 .cpp 파일에서 두 라이브러리의 헤더파일을 참조하지 않도록 .cpp 파일을 분리하는 것이 #pragma 지시어를 사용하지 않고 가장 간단한 해결방법입니다.

다음과 같이 max 매크로 충돌이 발생할 경우에는 기본 min/max 를 사용하지 않도록 합니다.

// max 매크로 충돌 발생시 프로젝트 전체에서 Windows의 min/max 매크로를 막습니다.
constexpr int64_t kBinaryMemoryLimit = std::numeric_limits<int32_t>::max() - 1;

// 프로젝트 속성 C/C++ > Preprocessor > Preprocessor Definitions에 "NOMINMAX" 추가
// 또는 "afxwin.h" 파일을 include 하는 코드 최상단에 가서 다음 코드 추가
// MFC signle doc project 에서는 framework.h 파일에 있습니다.
#ifndef NOMINMAX
#  define NOMINMAX
#endif
#include <afxwin.h>

pkg-config 오류 발생시 "PKG_CONFIG_PATH"에 경로 설정을 해줍니다.

// 다음과 같은 pkgconf 오류 발생시
pkg-config package for libzstd that is used by arrow for static link isn't found
// 위 오류 무시하고 진행시 링킹단계에서 undefined refer 오류 발생. 라이브러리 파일이 깡통으로 생성됩니다.

// debug 용 라이브러리 경로
> set PKG_CONFIG_PATH=vcpkg_installed\x64-windows-static\debug\lib\pkgconfig

// release용 라이브러리 경로
> set PKG_CONFIG_PATH=vcpkg_installed\x64-windows-static\lib\pkgconfig

5. Parquet 파일 생성

메모리상의 데이터를 Apache Arrow의 columnar 형식으로 변환하여 Paruqet 파일로 저장해봅니다.

Apache Arrow는 데이터를 효율적으로 처리하기 위해 columnar 형식으로 데이터를 표현합니다.

이는 행 기반 형식과 달리 각 칼럼의 데이터가 연속적인 메모리 블록에 저장되어 있어, 특정 컬럼에 대한 연산을 매우 빠르게 수행할 수 있도록 합니다. Parquet은 이러한 columnar 데이터를 저장하기 위한 효율적인 파일 포맷입니다.

데이터 저장 과정은 다음과 같습니다.

// data structure 예시
typedef struct record_s {
    int32_t varA;
    int64_t varB;
} TST_RECORD;

Arrow Array Builder 생성
Builder를 Arrow Array로 변환
Arrow Schema 정의
Arrow Table 생성
Parquet Writer 옵션 설정
파일 스트림에 기록 후 저장

#include <memory>
#include <vector>
#include <string>
#include <arrow/api.h>
#include <arrow/io/api.h>
#include <parquet/arrow/writer.h>

// Arrow Array Builder 생성
arrow::Int32Builder builder_a;
arrow::Int64Builder builder_b;

// builder에 메모리 데이터 저장
for (const auto& rec : data) {
    builder_a.Append(rec.a);
    builder_b.Append(rec.b);
}

// Builder를 실제 Array로 변환
 std::shared_ptr<arrow::Array> array_a, array_b;
 builder_a.Finish(&array_a);
 builder_b.Finish(&array_b);
 
 // Schema 정의 (필드 이름과 타입)
 auto schema = arrow::schema({
 	arrow::field("col_a", arrow::int32()),
    arrow::field("col_b", arrow::int64())
 });
 
 // Arrow Table 생성
 auto table = arrow::Table::Make(schema, { array_a, array_b });
   
 // Parquet Writer 옵션(압축 지정)
 parquet::WriterProperties::Builder prop_builder;
 prop_builder.compression(parquet::Compression::ZSTD);
 std::shared_ptr<parquet::WriterProperties> props = prop_builder.build();
 
 // 파일 출력 스트림 열기
 std::shared_ptr<arrow::io::FileOutputStream> outfile;
 PARQUET_ASSIGN_OR_THROW(outfile, arrow::io::FileOutputStream::Open(filename));

// Table 전체 Flush
const int64_t chunk_size = 1024;
PARQUET_THROW_NOT_OK(parquet::arrow::WriteTable(*table, arrow::default_memory_pool(),
outfile, chunk_size, props));
outfile->Close();

6. vcpkg 사용법 추가

Visual Studio 설치 시 함께 포함된 내장형 vcpkg는 일반적인 클래식모드를 지원하지 않거나 제한적으로만 동작하기 때문에 주로 프로젝트 폴더 내의 vcpkg.json 파일을 읽어들이는 매니페스트 모드 전용으로 구성되어 있습니다.

vcpkg install 명령어를 통해 라이브러리를 직접 관리하려면 vcpkg를 별도로 설치(git clone)하여 사용하는 것이 권장됩니다.

적당한 폴더로 이동
vcpkg 클론: git clone https://github.com/microsoft/vcpkg.git
부트스트랩 실행(빌드): cd vcpkg, ./bootstrap-vcpkg.bat
통합(integration) 실행: 이 명령어를 실행하면 Visual Studio가 방금 설치한 이 vcpkg를 인식하게 됩니다.
./vcpkg integrate install
Arrow 설치 재시도
./vcpkg install arrow:x64-windows-static

이렇게 하면 Visual Studio에서 별도의 설정 없이도 #include <arrow/api.h> 등을 바로 사용할 수 있습니다.

하지만 저는 프로젝트 단위로 패키지를 관리하고 싶어서 다음과 같이 했습니다.

개발하려는 프로젝트의 루프 폴더(.vcxproj 위치)로 이동
vcpkg new --application 명령어로 vcpkg.json 파일을 생성
vcpkg add port arrow 명령으로 라이브러리 추가
(static 버전을 원하더라도 여기서는 arrow 만 기입 후 Visual Studio Project 속성에서 설정)
프로젝트 속성에서 vcpkg 쪽 가면 static 또는 dynamic 빌드를 선택할 수 있습니다.
그리고 Use vcpkg manifest 항목을 yes로 해주셔야 합니다.

이렇게 하고 빌드를 시작하면 vcpkg 먼저 다운로드 되고 빌드됩니다.

[MFC] zstd 압축 예제코드, 직접 써보며 배우는 실전 활용법

noyecube — Wed, 9 Apr 2025 16:34:22 +0900

안녕하세요, 오늘은 제가 최근에 작업한 프로젝트를 바탕으로 zstd 라이브러리를 이용한 압축 방법을 예제와 함께 공유하려고 합니다.

요즘 제가 주식 틱체결 데이터를 수집 중인데요, 체결틱, 호가틱 등 하루치 데이터가 무려 종목당 수십MB까지 커지다 보니 이걸 그냥 저장하면 디스크 공간을 만만치 않게 차지하더라고요.
그런데 압축을 해보니까 용량이 단 10% 수준으로 줄어드는 겁니다.
이렇게 용량을 줄이면 데이터 관리 비용을 상당히 절약할 수 있겠죠?

하지만 매번 윈도우 탐색기에서 압축을 하는 게 여간 번거로운 일이 아닙니다.
그래서 "데이터 저장 단계에서 바로 압축하여 저장하면 어떨까?"라는 생각을 하게 되었고,
그 결과 선택한 라이브러리가 바로 zstd였습니다.

막상 zstd를 쓰려고 보니, 유명한 라이브러리임에도 불구하고 정작 실제 MFC 프로젝트에서 구체적으로 적용한 사례나 친절한 예제코드는 거의 없더라고요.
대부분의 포스팅이 공식 홈페이지 설명이나 벤치마크만 가져와서 있어 보이기만 하는 글들이 많았습니다.
결국 저는 직접 소스코드를 Git에서 다운로드하여 빌드한 뒤 라이브러리를 추가해, 압축과 해제를 코드로 구현했습니다.
오늘은 그 핵심 내용을 쉽게 정리해서 공유해 드리려고 합니다.

1. zstd란 무엇인가? 왜 zstd를 선택했나?

zstd (Zstandard)는 페이스북에서 개발한 오픈소스 압축 라이브러리로, 뛰어난 속도와 압축률의 균형을 갖춘 것으로 유명합니다. 사실 파일 압축 포맷은 Zip, Tar.gz, 7z, LZ4 등 다양합니다. 그럼에도 제가 zstd를 선택한 이유는 다음과 같습니다.

압축 해제 속도가 뛰어나다: 데이터를 압축할 때 걸리는 시간보다, 나중에 데이터를 사용할 때 압축을 해제하는 속도가 훨씬 중요합니다. zstd는 압축 해제 속도가 매우 빨라 효율적입니다.
스트리밍 압축 지원: 스트리밍 압축 방식을 지원하여 메모리 사용량을 줄이고 임시 데이터 저장 공간도 효율적으로 사용할 수 있습니다.
압축률과 속도를 자유롭게 조정 가능: 압축 속도와 압축률 사이에서 1~22 단계까지 자유롭게 선택할 수 있어 원하는 상황에 맞게 최적의 성능을 구현할 수 있습니다.

특히 제가 사용하는 환경, 저장된 데이터 기반으로 시뮬레이션과 백테스팅을 돌리는 환경에서는 압축 해제 속도가 중요했기 때문에, zstd가 가장 적합한 선택이었습니다.

2. zstd 소스코드 빌드 및 MFC 프로젝트 적용법

우선, zstd 소스코드를 Git에서 다운받아 빌드한 뒤, 헤더파일과 생성된 라이브러리파일을 MFC 프로젝트에 추가해 사용합니다. Debug 버전과 Release 버전 각각 빌드하여 프로젝트에 추가합니다.

2.1. zstd 소스코드 다운로드

다음의 주소에서 소스코드를 다운받습니다.

https://github.com/facebook/zstd.git

GitHub - facebook/zstd: Zstandard - Fast real-time compression algorithm

Zstandard - Fast real-time compression algorithm. Contribute to facebook/zstd development by creating an account on GitHub.

github.com

PC에 git 클라이언트가 설치되어 있으면 다음 명령어로 다운로드 가능합니다.
"git clone https://github.com/facebook/zstd.git"

2.2. zstd 소스코드 빌드

MFC 프로젝트에 적용하기 위해서는 visual studio 용 빌드 스크립트를 실행하면 됩니다.

"zstd\build\VS_scripts"경로에 있습니다. 빌드 스크립트 버전이 VS2010부터 VS2017까지만 있는데 저는 VS2022에서 사용할 것이므로 "build.generic.cmd" 스크립트에 다음과 같은 파라미터를 전달하여 빌드합니다.

파라미터는 "<VS버전> <아키텍처> <빌드모드> <컴파일러버전>"입니다. 이 스크립트가 실행되면 시스템에 설치된 VS 컴파일러의 경로를 찾아내서 빌드합니다.

// x64, Debug for VS2022
// zstd\build\VS_scripts\bin/Debug/x64/ 경로에 생성
> build.generic.cmd VS2022 x64 Debug V143

// x64, Release for VS2022
// zstd\build\VS_scripts\bin/Release/x64/ 경로에 생성
> build.generic.cmd VS2022 x64 Release V143

// Win32, Debug for VS2022
> build.generic.cmd VS2022 Win32 Debug V143

zstd library 파일(디버깅용 심볼 정보를 담고 있는 pdb 파일도 챙기세요)

※ CRT 옵션(런타임 라이브러리 옵션) 유의사항

프로젝트의 CRT 옵션(프로젝트 속성>C/C++>Code Generation>Runtime Library)에 따라 LNK4098 경고가 발생할 수 있습니다. 그 이유는 프로젝트의 라이브러리 설정과 zstd 라이브러리가 빌드될 때 사용된 CRT 설정이 서로 다를 수 있기 때문입니다. zstd의 Debug 모드 RuntimeLibrary 속성값은 /MDd에 해당하는 "MultiThreadedDebugDLL"이고 Release 모드의 RuntimeLibrary 속성값은 /MTd에 해당하는 "MultiThreaded"입니다. 저는 Visual Studio가 설치되어 있지 않은 환경에서도 제 프로그램 실행파일이 동작하도록 Debug/Release 모두 "/MTd 및 /MT"로 설정해두었기 때문에 Debug 모드에서 LNK4098 경고 발생을 피하려면 zstd의 "libzstd.vcxproj"의 RuntimeLibrary 속성값을 "MultiThreadedDebugDLL"에서 "MultiThreadedDebug"로 변경합니다. Visual Studio Native Command Prompt 에서 "dumpbin"을 했을 때 "/DEFAULTLIB:MSVCRTD" 값이 아닌 "/DEFAULTLIB:LIBCMTD"라고 나오면 MT 모드로 빌드가 된 것입니다.

LNK 경고

LIBCMTD 확인

2.3. MFC 프로젝트 적용

다음과 같이 라이브러리 파일과 헤더파일 3개(zstd.h, zstd_errors.h, zdict.h)를 프로젝트 소스코드에 포함시킵니다.

프로젝트 소스트리에 라이브러리 파일 및 헤더파일 추가

그리고 프로젝트 속성창을 띄워서 링커 옵션을 수정합니다.

링커 옵션에 새로운 zstd 라이브러리 파일 경로를 추가합니다. Debug/Release 모두 경로가 같으므로 "Configuration"은 "All Configuration"으로 두고 "Platform"은 "x64" 확인합니다.

Linker>General>Additional Library Directories 항목에 새로운 zstd 경로를 추가합니다.

라이브러리 경로 추가

이제 링킹 단계에서 사용할 라이브러리 파일명을 적어줘야 하는데 Debug/Release 에 사용할 파일이 다르므로 이에 유의합니다.

라이브러리 파일명 추가

프로젝트 설정이 완료되었으면 라이브러리를 사용할 준비가 되었는지 테스트가 필요합니다.

zstd API를 사용하는 헬로월드 수준의 코드를 작성 후 프로젝트를 빌드/실행하여 오류가 발생하는지 확인합니다.

#include "prebuilt/zstd/include/zstd.h"
#include "prebuilt/zstd/include/zstd_errors.h"
#include "prebuilt/zstd/include/zdict.h"

BOOL CNoyecubeApp::InitInstance() {
	ZSTD_CCtx* cctx = ZSTD_createCCtx();
	if (cctx == NULL) {
		printf("ZSTD_CCtx 생성 실패!\n");
		return 1;
	}
	printf("ZSTD_CCtx 생성 성공!\n");

	printf("ZSTD Library Version: %d.%d.%d\n",
		ZSTD_VERSION_MAJOR, ZSTD_VERSION_MINOR, ZSTD_VERSION_RELEASE);

	ZSTD_freeCCtx(cctx);
    
    return TRUE;
}

zstd 버전 출력

3. zstd Compression/Decompression - HowTo

zstd는 Simple API와 Streaming API를 지원합니다. Simple API는 주어진 입력 버퍼 전체를 하나의 완전한 압축 프레임으로 처리합니다. 이 프레임에는 압축 헤더와 블록 관리 정보가 포함되므로, 만약 100MB의 데이터를 10MB씩 잘라서 압축하면, 각각의 10MB 블록이 독립적인 압축 프레임이 되어 각 프레임마다 헤더가 기록됩니다. 따라서 전체 100MB 데이터를 한 번에 압축한다면, 하나의 압축 프레임(헤더가 단 한번 기록됨)이 생성되고, 10MB씩 독립적으로 압축하면 10개의 별도의 프레임이 생성되므로 10개의 헤더가 하나의 파일에 기록됩니다.

메모리 여유가 있다면 100MB 전체 데이터를 한 번에 Simple API로 압축하는 것이 헤더 오버헤드를 줄이고 압축 효율을 높일 수 있습니다. 만약 메모리 제한이나 실시간 데이터 수집 등의 이유로 10MB 단위로 데이터를 모아서 압축해야 한다면, Simple API를 여러번 호출하게 되는데 이 경우 각 10MB 청크마다 독립적 압축 프레임이 생성되고 헤더가 중복 기록됩니다.

Streaming API는 데이터를 점진적으로 입력받아 하나의 압축 프레임으로 처리할 수 있도록 설계되어 있습니다. 10MB 단위로 데이터를 모으더라도, Streaming API를 사용하면 내부적으로 계속 데이터를 누적하면서 단 하나의 압축 프레임(헤더가 한번만 작성됨)으로 출력할 수 있습니다.

압축코드를 작성하기전, plain text(CSV)로 저장하던 기존 코드 먼저 간략하게 살펴보겠습니다. 주식 체결데이터를 저장하는 부분을 예로 들겠습니다. 제 프로그램의 구조는 수신부에서 텍스트기반의 체결 데이터를 모은뒤 정수형, 실수형 타입의 바이너리 형태로 메모리에 레코드 단위로 저장했다가 파일에 CSV 또는 Parquet 포맷으로 저장합니다.

파일에 저장할 때에는 zstd의 단순압축 API를 사용하고, 향후 임시 버퍼로 사용하는 메모리 공간의 절약을 위해 스트리밍 API를 적용할 예정입니다.

/* 주식체결 샘플
* vProcessMsgRealData:70][22548] RealType(0) sRealKey(012450) FidCnt(25) 체결시간 (100045) 현재가 (-277500) 전일대비 (-1500)
등락율 (-0.54) 최우선매도호가(-277500) 최우선매수호가 (-277000) 체결량 (+3) 누적체결량(307074) 누적거래대금(84927) 시가( 279000) 고가(+281000) 저가(-270000)
전일대비기호 (5) 전일거래량대비(-422004) 거래대금증감 (-120913983500)
전일거래량대비(비율)(-42.12) 거래회전율 (0.67) 거래비용(584) 체결강도(96.10) 시가총액(억)(126488) 장구분(2) KO접근도(0) 상한가발생시간(000000) 하한가발생시간 (000000)
전일동시간거래량비율 (10218)
*/
((CKiwoomRealMsgNode*)pNode)->m_ullSeqNo = ++(p->_m_ullSeqNo);
((CKiwoomRealMsgNode*)pNode)->m_sRealKey = sRealKey;
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(0, _T("100045"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(1, _T("-277500"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(2, _T("-1500"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(3, _T("-0.54"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(4, _T("-277500"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(5, _T("-277000"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(6, _T("+3"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(7, _T("307074"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(8, _T("84927"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(9, _T(" 279000"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(10, _T("+281000"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(11, _T("-270000"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(12, _T("5"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(13, _T("-422004"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(14, _T("-120913983500"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(15, _T("-42.12"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(16, _T("0.67"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(17, _T("584"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(18, _T("96.10"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(19, _T("126488"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(20, _T("2"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(21, _T("0"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(22, _T("000000"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(23, _T("000000"));
((CKiwoomRealMsgNode*)pNode)->m_arCString.SetAt(24, _T("10218"));

ptheDlgKiwoomMsg->vPushMsgPump(pNode);

////////////////////// 이하 파일 저장 부분 /////////////////////
CFile* pcfp = nullptr;
CArchive* pcarpCsv = nullptr;
/* Open file for CSV */
if (TRUE == pWp->boFlushToCSV) {
	cstrFileFullPath.Format(_T("%s\\%s.csv"), szFinalPath, cstrFileName);
	DPRINTF("[INFO] Fullpath (%s)\n", (LPCTSTR)cstrFileFullPath);
	pcfp = new CFile();
	boRet = pcfp->Open(cstrFileFullPath,
		CFile::modeWrite | CFile::modeCreate | CFile::shareDenyNone);	// delete old file if exist with same file name
	if (FALSE == boRet) {
		DPRINTF("[ERR]: Fail to create file(%s)\n", (LPCTSTR)cstrFileFullPath);
		delete pcfp;
		pcfp = nullptr;
	}
	/* Check CFile Pointer */
	if (pcfp) {
		pcarpCsv = new CArchive(pcfp, CArchive::store, 4096 * 10);
		if (!pcarpCsv) {
			if (nullptr != pcfp) { pcfp->Flush(); pcfp->Abort(); delete pcfp; pcfp = nullptr; }
		}
	}
	else {
		pcarpCsv = nullptr;
	}
}
///// 생략 //////
if (cstrCsvBuf.GetLength() > 0) {
	cstrCsvBuf.SetAt(cstrCsvBuf.GetLength() - 1, _T('\0'));
	if (pcarpCsv) {	// FIXME: optimization needed? 
		pcarpCsv->WriteString(cstrCsvBuf);
	}
}
///// 생략 /////
/* Flush buffer & Close Archive & File */
if (nullptr != pcarpCsv) { pcarpCsv->Flush();	pcarpCsv->Abort();	delete pcarpCsv; pcarpCsv = nullptr; }
if (nullptr != pcfp) { pcfp->Flush(); pcfp->Abort(); delete pcfp; pcfp = nullptr; }

기존 코드에서는 CFile과 CArchive를 활용하여 체결데이터를 레코드 단위로 파일에 저장하였습니다.

압축효율을 높이려면 압축대상이 되는 단위 버퍼에 중복되는 내용이 많아야 하는데 버퍼 사이즈가 작으면 압축효율이 떨어집니다. 따라서 기존과 같이 레코드 단위로 압축을 진행하게 되면 CPU 자원소모는 늘어나고 압축률은 떨어지게 되므로 파일 출력 내용을 메모리에 버퍼링을 해뒀다가 일정 수준에 도달했을 때 압축을 진행하는 것이 좋습니다.

3.1. Simple Compression/Decompression

Simple 방식은 너무 간단하여 필요한분 댓글 남겨주시면 적겠습니다.

3.2. Streaming Compression/Decompression

주식전종목 2500여개의 체결데이터, 호가데이터 등의 압축작업은 수천번 수행되어야 하므로 ZSTD_CCtx 객체와 input, output 버퍼는 스레드 단위별로 재활용하는것이 좋습니다. 그래서 다음과 같은 구조체를 정의하고 각 스레드(IOCP Worker)별로 객체를 생성하고 초기화 하였습니다. ZSTD_CStreamInSize()와 ZSTD_CStreamOutSize()로 ZSTD가 추천하는 버퍼 사이즈를 얻을 수 있으며 확인 결과 약 128KB 정도의 크기였습니다. 버퍼크기는 성능관점에서 거거익선이기 때문에 저는 이 기본사이즈 10배수의 버퍼를 할당하였습니다. ZSTD 예제코드에는 모든 API 호출시 에러가 발생하면 프로그램을 종료시키는데 실제 개발하는 수집 프로그램에서는 그렇게 하면 안되기 때문에 초기화 실패시에만 프로그램을 종료하고 나머지 경우에는 경고 출력 및 로그에 사유를 남기고 계속 동작하도록 하였습니다.

그리고 ZSTD_CCtx 객체를 재사용하기 위해서는 ZSTD_CCtx_reset(cctx, ZSTD_reset_session_only); 을 새로운 세션 시작전에 호출해줘야 합니다. 세션만 리셋하기 때문에 옵션으로 설정한 압축레벨과 압축파일에 체크섬값 포함 여부는 삭제되지 않습니다.

typedef struct _COMP_KEY_FLUSH_REALDATA_CACHE_TO_FILE_S {
	DWORD dwIocpTrBytes;
	void* const buffIn;
	void* const buffOut;
	size_t const buffInSize;
	size_t const buffOutSize;
	size_t buffInUsedSizeBytes;
	ZSTD_CCtx* cctx;
	_COMP_KEY_FLUSH_REALDATA_CACHE_TO_FILE_S() :buffIn(nullptr), buffOut(nullptr), buffInSize(0), buffOutSize(0) {
		dwIocpTrBytes = 0;
		buffInUsedSizeBytes = 0;
		cctx = nullptr;
	}
	void zstdResetSession(void) {
		buffInUsedSizeBytes = 0;
		if (cctx) {
			ZSTD_CCtx_reset(cctx, ZSTD_reset_session_only);
		}
	}
} TST_LPARAM_COMP_KEY_FLUSH_REALDATA_CACHE_TO_FILE, * PTST_LPARAM_COMP_KEY_FLUSH_REALDATA_CACHE_TO_FILE;

/////// 스레드 초기화 코드 부분(스레드 루프 진입 직전) ///////
size_t r;
KIWOOM::TST_LPARAM_COMP_KEY_FLUSH_REALDATA_CACHE_TO_FILE stLp;

SetEvent((HANDLE)(pParams->lpOpaque_3));	// send parameter copy completed signal to thread creator

/* [START] Create the input and output buffers and zstd context for CSV Compression */
(size_t)(stLp.buffInSize) = ZSTD_CStreamInSize() * 10;   /* can always read one full block */
(size_t)(stLp.buffOutSize) = ZSTD_CStreamOutSize() * 10;   /* can always read one full block */

(void*)(stLp.buffIn) = malloc(stLp.buffInSize);
if (nullptr == stLp.buffIn) {
	DPRINTF("[ERROR] malloc fail. Program Exit.\n");
	ExitProcess(EXIT_FAILURE);
}
(void*)(stLp.buffOut) = malloc(stLp.buffOutSize);
if (nullptr == stLp.buffOut) {
	DPRINTF("[ERROR] malloc fail. Exit Program.\n");
	ExitProcess(EXIT_FAILURE);
}

(ZSTD_CCtx*)stLp.cctx = ZSTD_createCCtx();
if (nullptr == stLp.cctx) {
	DPRINTF("[ERROR] ZSTD_createCCtx fail. Exit Program.\n");
	ExitProcess(EXIT_FAILURE);
}

r = ZSTD_CCtx_setParameter(stLp.cctx, ZSTD_c_compressionLevel, ZSTD_CLEVEL_DEFAULT);	/* Set compression parameters according to pre-defined cLevel table. */
if (ZSTD_isError(r)) {
	DPRINTF("[WARN] ZSTD_CCtx_setParameter fail ZSTD_c_compressionLevel.\n");
}

r = ZSTD_CCtx_setParameter(stLp.cctx, ZSTD_c_checksumFlag, TRUE);	/* A 32-bits checksum of content is written at end of frame (default:FALSE) */
if (ZSTD_isError(r)) {
	DPRINTF("[WARN] ZSTD_CCtx_setParameter fail ZSTD_c_checksumFlag.\n");
}

DPRINTF("[INFO] ZSTD buffInSize(%zd) buffOutSize(%zd) for IOCP thread(%d)\n", stLp.buffInSize, stLp.buffOutSize, GetCurrentThreadId());
/* [END] Create the input and output buffers and zstd context for CSV Compression */

프로그램상에 CSV 포맷의 레코드를 압축 할 것인지 말것인지를 결정할 수 있도록 했는데

압축모드일 경우에는 파일명의 확장자를 ".zst"로 바꾸고 CFile 오픈시 CFile::typeBinary 모드를 추가하였습니다.

if (TRUE == pWp->boCSV_Compress) {	/* CFile Open with typeBinary, no CArchive */
	cstrFileFullPath.Format(_T("%s\\%s.csv.zst"), szFinalPath, cstrFileName);
	DPRINTF("[INFO] Fullpath for compressed CSV (%s)\n", (LPCTSTR)cstrFileFullPath);
	pcfp = new CFile();
	boRet = pcfp->Open(cstrFileFullPath,
		CFile::modeWrite | CFile::modeCreate | CFile::shareDenyNone | CFile::typeBinary);	// delete old file if exist with same file name
}
else {	/* pain text mode. CFile Open , connect with CArchive */
	cstrFileFullPath.Format(_T("%s\\%s.csv"), szFinalPath, cstrFileName);
	DPRINTF("[INFO] Fullpath (%s)\n", (LPCTSTR)cstrFileFullPath);
	pcfp = new CFile();
	boRet = pcfp->Open(cstrFileFullPath,
		CFile::modeWrite | CFile::modeCreate | CFile::shareDenyNone);	// delete old file if exist with same file name
}

CFile Open이 성공했으면 버퍼링 저장이 가능하도록 CArchive 객체에 연결합니다. 이 때 모드는 CArchive::store이며 버퍼사이즈는 기본 4KB가 아닌 ZSTD의 output 버퍼 사이즈 + 4KB로 하였습니다. CString cstrCsvBuf에 레코드 단위의 데이터가 담겨 있습니다. 압축모드가 아닐 경우에는 문자열 맨 끝의 ',' 문자를 '\0'로 교체 후 문자열 기록을 하고, 압축모드일 경우에는 문자열 맨 끝의 ',' 직전까지의 사이즈를 계산하여 버퍼에 메모리 복사를 수행합니다. 다음의 코드는 CSV 파일의 첫 행을 기록하는 코드입니다. pLp->zstdResetSession();이 호출됨에 유의해주세요.

앞서 말한 ZSTD_CCtx_reset(cctx, ZSTD_reset_session_only);가 호출됩니다.

/* Check CFile Pointer, Open CArchive*/
if (pcfp) {
	pcarpCsv = new CArchive(pcfp, CArchive::store, (int)(pLp->buffOutSize + 4096));
	if (!pcarpCsv) {
		if (nullptr != pcfp) { pcfp->Flush(); pcfp->Abort(); delete pcfp; pcfp = nullptr; }
	}
	else {	// everything successfully opened for CSV
		iLen = cstrCsvBuf.GetLength();
		if (TRUE == pWp->boCSV_Compress) {
			pLp->zstdResetSession();	// re-use zstd resource
			if (iLen > 0) {
				sizeToWrite = (iLen - 1) * sizeof(TCHAR);	// (iLen - 1) : remove last tail char ','
				pLp->buffInUsedSizeBytes = sizeToWrite;	// init buffInUsedSizeBytes with sizeToWrite
				CopyMemory(pLp->buffIn, (LPCTSTR)cstrCsvBuf, sizeToWrite);
			}
		}
		else {
			if (iLen > 0) {
				cstrCsvBuf.SetAt(iLen - 1, _T('\0'));
				pcarpCsv->WriteString(cstrCsvBuf);
			}
		}
	}
}

스트리밍 압축모드에서는 input 버퍼에 더 이상 레코드 단위의 데이터를 복사할 수 없을 때 실제 압축을 수행 후 파일에 기록합니다. 다음 코드에서 buffInUsedSizeBytes가 실제 input 버퍼의 사용량을 관리하는 변수이며, 압축 수행 후 파일에 기록이 완료되면 이 값을 0으로 초기화 해줘야 input 버퍼를 처음부터 기록할 수 있습니다.

압축을 진행하기전 ZSTD_inBuffer와 ZSTD_outBuffer를 초기화합니다. 각 객체의 pos 값은 0으로 설정하며 inBuffer의 사이즈는 inBuffer에 전체 사이즈가 아닌 유효 데이터가 위치한 offset, outBuffer의 사이즈는 outBuffer의 전체 사이즈를 입력합니다. 그리고나서 ZSTD_compressStream2를 호출하여 inBuffer의 내용을 outBuffer로 압축저장합니다. 사양서에 따라 오류가 발생할 수 있기 때문에 리턴값은 ZSTD_isError()로 확인해주고 에러가 아닐 경우 실제 파일 버퍼에 기록합니다. 스트리밍 압축이기 때문에(끝이 어디인지 모르기 때문에) ZSTD_e_continue 모드로 호출합니다. inBuffer를 다 읽지 못했으면 이 과정을 계속 반복해야 하고 pos 값이 size에 도달했을 때 압축 루프를 탈출합니다.

ZSTD_inBuffer stZstdInObj;
ZSTD_outBuffer stZstdOutObj;

iLen = cstrCsvBuf.GetLength();
if (iLen > 0) {
	if (TRUE == pWp->boCSV_Compress) {
		if (iLen < (pLp->buffInSize - pLp->buffInUsedSizeBytes)) {
			sizeToWrite = (iLen - 1) * sizeof(TCHAR);	// (iLen - 1) : remove last tail char ','
			CopyMemory((char*)pLp->buffIn + pLp->buffInUsedSizeBytes, (LPCTSTR)cstrCsvBuf, sizeToWrite);
			pLp->buffInUsedSizeBytes += sizeToWrite;	// 
		}
		else {	// need to flush
			stZstdInObj.src = pLp->buffIn;	stZstdInObj.size = pLp->buffInUsedSizeBytes; stZstdInObj.pos = 0;

			do {
				stZstdOutObj.dst = pLp->buffOut; stZstdOutObj.size = pLp->buffOutSize; stZstdOutObj.pos = 0;

				sizeRemaining = ZSTD_compressStream2(pLp->cctx, &stZstdOutObj, &stZstdInObj, ZSTD_e_continue);
				if (ZSTD_isError(sizeRemaining)) {
					DPRINTF("[ERROR] ZSTD_compressStream2 (%zd)(%s).\n", sizeRemaining, ZSTD_getErrorName(sizeRemaining));
					/* TODO: Report this at Logfile */
                    break; // escape loop anyway
				}
				else {
					pcarpCsv->Write(pLp->buffOut, (UINT)(stZstdOutObj.pos));
				}

				if (stZstdInObj.pos == stZstdInObj.size) {
					break;
				}
			} while (TRUE);
			pLp->buffInUsedSizeBytes = 0;	// input buffer flushed. reset used offset.
		}
	}
	else {
		cstrCsvBuf.SetAt(iLen - 1, _T('\0'));	// mark end of string by '\0'
		pcarpCsv->WriteString(cstrCsvBuf);
	}
}

마지막으로 압축파일을 닫는 과정입니다. 나머지 데이터가 있건 없건 ZSTD_e_end 플래그로 ZSTD_compressStream2를 호출하면 압축파일의 끝이 정상적으로 마무리됩니다.

/* [START] Flush the remaining data of stZstdInObj in ZSTD_e_end mode. */
if (TRUE == pWp->boCSV_Compress) {
	stZstdInObj.src = pLp->buffIn;	stZstdInObj.size = pLp->buffInUsedSizeBytes; stZstdInObj.pos = 0;
	do {
		stZstdOutObj.dst = pLp->buffOut; stZstdOutObj.size = pLp->buffOutSize; stZstdOutObj.pos = 0;
		sizeRemaining = ZSTD_compressStream2(pLp->cctx, &stZstdOutObj, &stZstdInObj, ZSTD_e_end);
		if (ZSTD_isError(sizeRemaining)) {
			DPRINTF("[ERROR] ZSTD_compressStream2 (%zd)(%s).\n", sizeRemaining, ZSTD_getErrorName(sizeRemaining));
			/* TODO: Report this at Logfile */
            break; // escape loop anyway
		}
		else {
			pcarpCsv->Write(pLp->buffOut, (UINT)(stZstdOutObj.pos));
		}

		if (0 == sizeRemaining) {
			break;
		}
	} while (TRUE);
	pLp->buffInUsedSizeBytes = 0;	// input buffer flushed. reset used offset.
}
/* [END] Flush the remaining data of stZstdInObj in ZSTD_e_end mode. */

/* Flush buffer & Close Archive & File */
if (nullptr != pcarpCsv) { pcarpCsv->Flush();	pcarpCsv->Abort();	delete pcarpCsv; pcarpCsv = nullptr; }
if (nullptr != pcfp) { pcfp->Flush(); pcfp->Abort(); delete pcfp; pcfp = nullptr; }

4. 결론: 압축은 비용을 절약하는 가장 현명한 방법

압축정도를 결정하는 압축레벨 22단계 중 3단계 압축 진행시 다음과 같은 압축 결과를 얻었습니다. 원본파일의 17% 수준 용량입니다.

CSV vs ZSTD

이렇게 압축 라이브러리를 활용하면 메모리 및 디스크 공간을 90%까지 절약할 수 있으며, 이는 결국 데이터 관리 비용 절감과 직결됩니다. 여러분도 zstd와 같은 압축 라이브러리를 활용하여 효율적인 데이터 관리를 시작해 보시는 건 어떨까요?

이번 포스팅은 이론적인 소개가 아니라 직접 프로젝트에 적용해본 실제 사례를 공유했다는 점에서 더욱 유익한 정보가 되었기를 바랍니다. 앞으로도 실질적인 개발 노하우를 공유하겠습니다. 감사합니다.

[NAS] 자작나스 NAS DIY 구축 - UNRAID 및 포토앱 구축

noyecube — Thu, 22 Aug 2024 03:36:14 +0900

자작나스의 OS로 UNRAID를 설치했는데 하드웨어 구성을 마치고 휴대폰과 카메라의 사진과 동영상을 관리할 수 있는 어플로 IMMICH를 설정해 보겠습니다.

1. 디스크 어레이 및 풀 설정

UNRAID에서 디스크 어레이는 하드디스크 여러 개를 하나의 어레이로 묶고 패리티 디스크를 2개까지 설정할 수 있습니다.

(디스크 2개까지 고장 허용) 어레이는 1개만 구성할 수 있으며 풀은 여러개를 구성할 수 있습니다. 어레이는 하드디스크, Pool은 SSD를 권장하며 Pool을 구성하면 캐시로 활용하거나 도커나 VM 이미지를 빠르게 구동할 수 있습니다. 캐시의 파일시스템을 BTRFS로 설정시 디스크 사이즈가 일치하지 않아도 RAID1으로 구성하여 사용할 수 있습니다. UNRAID의 디스크 어레이는 일정시간 미사용시 하드디스크를 정지시킬 수 있어 전력을 절감하는데 유리합니다. 캐시를 구성해두면 쌓이는 데이터를 캐시에 담아뒀다가 지정한 시각에 배치작업으로 디스크를 사용합니다.

디스크 어레이 및 캐시풀 설정

하드디스크가 유휴상태(standby)일 때는 TEMP, SMART는 미표기입니다.

2. SHARES 폴더 생성 및 설정

UNRAID를 설치하면 appdata, domains, isos, system shares가 기본으로 생성됩니다. system shares에는 docker 이미지 파일이 생성되며 database의 datafile 등은 appdata에 생성하면 빠른 구동이 가능합니다.

실제 사진과 영상 파일이 저장될 공간은 디스크 어레이에 gallery 이름으로 생성하였습니다. ssd 캐시를 지정했는데 지정하지 않고 바로 어레이에 기록하도록 설정해도 됩니다. 캐시를 지정하면 사진을 저장할 때 디스크를 구동하지 않고 모아뒀다가 정해진 시각에 배치작업으로 복사합니다.

gallery array

그리고 갤러리 shares 하위에 immich 폴더를 추가 생성합니다. immich 앱의 데이터 경로로 잡아주기 위함입니다.

이를 위해서는 갤러리 shares의 "SMB Security Settings"에서 Export 설정을 "Yes"로 바꾸고 PC에서 네트워크 드라이브를 연결해야 합니다. Security를 private으로 설정하면 지정된 사용자만 접근할 수 있습니다.

smb 설정

gallery shares를 네트워크 드라이브 연결 후 "immich" 폴더를 생성하였습니다.

immich 구동에 postgresql이 추가로 설치되는데 pgdata 경로설정을 위하여 캐시풀 영역인 appdata 경로에 immich_pgdata 폴더를 생성하였습니다.

immich folder

캐시풀 영역 appdata 하위에 immich_pgdata 생성

3. IMMICH 앱 설치

immich는 개인 클라우드 스토리지 솔루션으로서 사진과 동영상을 백업하고 관리할 수 있도록 도와주는 오픈 소스 앱입니다. 다음의 공식 홈페이지를 참조하시기 바랍니다.

https://immich.app/

Home | Immich

immich Self-hosted photo and video backup solution directly from your mobile phone

immich.app

UNRAID에서 immich를 사용하는 방법은 UNRAID 커뮤니티 앱을 설치하거나 IMMICH가 제공하는 도커를 설치하여 구동하는 방법이 있습니다. 도커 방식을 사용하기 위해 먼저 UNRAID에 도커 구성관리 플러그인 도커컴포즈를 설치합니다. 도커 컴포즈 공식 문서페이지는 다음과 같습니다.

https://docs.docker.com/compose/

Docker Compose overview

Learn how to use Docker Compose to define and run multi-container applications with this detailed introduction to the tool.

docs.docker.com

3.1. docker compose manager 설치

UNRAID의 APPS 탭에서 "Community Applications plugin"을 먼저 설치하면 앱 플러그인을 통해 도커컴포즈를 설치할 수 있습니다. APPS 탭의 검색창에 "docker compose manager"를 입력하면 설치 아이콘이 나타납니다.

Docker Compose Manager 설치

3.2. Immich Stack 추가

PLUGINS 탭에서 Compose.Manager 아이콘 클릭으로 매니저 화면 진입 후 "Add New Compose Stack" 창을 띄우고 immich의 스택을 추가해 줍니다. 이렇게 추가한 스택 설정파일은 USB 메모리 스틱에 저장됩니다.

Compose Manager 플러그인

Add New Compose Stack

3.3. Compose File 수정

추가된 immich 스택 화면에서 설정버튼(톱니바퀴 아이콘)을 누르고 "Edit Stack"을 누릅니다. 그리고 수정할 스택 목록에서 "COMPOSE FILE"을 클릭합니다.

EDIT Immich Stack

그리고 다음 링크의 immich docker compose yml 파일 전체를 붙여넣기 합니다. 붙여넣기 전에 기존에 있는 내용은 전부 삭제하고 새로 붙여 넣습니다. 그리고 저장버튼을 누르는데 이 때 발생하는 UI 라벨 설정창은 무시하고 확인을 누릅니다.

https://github.com/immich-app/immich/releases/latest/download/docker-compose.yml

UNRAID 버전 6.12.11기준으로 도커엔진 버전이 24인데 immich의 최신 컴포즈파일은 도커엔진 버전 25기준으로 작성되어 있습니다. 24버전에서 지원되지 않는 DB 헬스체크 부분 "start_interval"과 "start_period" 항목은 주석처리합니다. DB 도커가 먼저 올라오고 immich가 올라가야 하는데 서로 동기화가 안되는 단점은 감수해야 합니다.

immich compose file 수정

3.4. Env File 수정

"Edit Stack" 창에서 "Env File"을 클릭합니다. 그리고 다음 링크의 immich env 파일 내용을 그대로 복사 붙여넣기 합니다.

https://github.com/immich-app/immich/releases/latest/download/example.env

그리고 다음 옵션 항목을 설정(수정)합니다.

UPLOAD_LOCATION: 앞서 생성한 "gallery" shares 내의 "immich" 폴더 경로를 확인 후 절대경로로 적어줍니다.
DB_DATA_LOCATION: 앞서 생성한 "appdata" shares 내의 "immich_pgdata" 폴더 경로를 확인 후 절대경로로 적어줍니다.

shares > gallery > immich 경로 확인

immich.env 변경 사항

3.5. immich 도커 생성

Docker 탭에 생성되어 있는 immich 의 명령 버튼에 "COMPOSE UP"이 있습니다. 이 버튼을 누르면 도커 생성작업을 시작합니다. 완료 화면이 뜰 때까지 대기 후 완료되면 "DONE" 버튼을 누르고 다시 Docker 탭 화면으로 이동합니다.

Compose Up

Docker COMPOSE 완료 화면

3.6. immich 관리 페이지 접속

도커 목록에서 immich_server의 포트매핑 정보를 확인 후 브라우저로 접속했을 때 immich 환영페이지가 뜨면 정상입니다.

docker port mappings

immich welcome page

레퍼런스

https://www.youtube.com/watch?v=LtNWxxM5Mzg

https://immich.app/docs/install/post-install/

Post Install Steps | Immich

A list of common steps to take after installing Immich include:

immich.app

https://immich.app/docs/install/unraid

Unraid | Immich

Immich can easily be installed and updated on Unraid via:

immich.app

[NAS] 자작나스 NAS DIY 구축 - 하드웨어 조립

noyecube — Sat, 27 Jul 2024 02:52:58 +0900

TrueNAS SCALE 또는 UNRAID를 운영하기 위한 NAS를 만들어 보았습니다.

회사에서는 대당 수천만 원을 호가하는 NetApp, EMC 스토리지를 마음 편하게 사용하고 있지만

가정에서 내 돈을 들여 NAS를 운영하려니 시놀로지는 하드웨어 성능에 비해 가격이 너무 비싼 것 같아(소프트웨어 편의성은 인정) 직접 만들어 사용하기로 하였습니다.

운영용 NAS는 UNRAID OS를 설치할 예정이고 가족사진/영상 저장용 1대, 주식/코인 차트 데이터 저장 및 데이터베이스 도커 운영용 NAS 1대를 구축하였고 백업용 NAS는 TrueNAS를 설치할 예정이고 케이스를 제외한 부품은 전부 당근 또는 기타 커뮤니티에서 중고로 드래곤볼한 제온시스템입니다.

1. 시스템 요구사항

낮은 소비전력: 집에서 운영할 것이기 때문에 소비전력이 적어야 합니다.
ECC 메모리 지원: TrueNAS는 ECC 메모리가 권장이고 24시간 365일 운영할 것이기 때문에 ECC 메모리는 일종의 보험이라고 생각합니다. 시놀로지는 가격에서부터 탈락했지만 이 부분도 마음에 들지 않았습니다. 또한 시놀로지는 부품 수급도 3년이 지나면 잘 되지 않는 점도 자작나스를 만들어야 하는 이유를 만들어 주었습니다.
작은 크기와 예쁜 디자인: 시놀로지같은 작고 예쁜 모양의 케이스가 필요합니다.
6개 이상의 하드디스크 드라이브 공간

NAS 조립을 위한 부품들

2. NAS 케이스 선정

처음에는 JONSBO의 NAS 케이스를 구매검토 하였으나 여러 커뮤니티의 후기를 알아본 결과 다음과 같은 단점이 존재했습니다.

SFX(작은 만큼 더 비싼) 규격의 파워서플라이
디자인은 예쁘지만 하드디스크 베이의 간격이 너무 촘촘하여 실 사용 시 냉각에 문제 발생

그래서 가격은 조금 더 비싸지만 표준 규격의 파워서플라이를 사용할 수 있고 하드디스크 냉각에 문제가 없으며 모양도 예쁜 6개의 디스크를 장착할 수 있는 Fractal Design Node 304를 구입하였습니다. 두 대 중 한대는 하드디스크 베이가 8개 있고 mATX 사이즈의 보드를 장착할 수 있는 Node 804를 원했으나 단종되어 구하기 어려워서 아쉽지만 304로 하고 향후 데이터가 늘어나면 케이스를 바꾸거나 디스크 용량을 증설하기로 하였습니다.

백업용 NAS 케이스는 사진에는 나오지 않았지만 브라보텍의 EX270을 구입하였습니다. 하드디스크 베이가 8개 있고 5.25인치 베이가 3개 있어서 디스크를 추가 장착할 수 있습니다. 가격은 리퍼로 4만원대에 구매하여 가성비가 뛰어납니다.

3. 보드 및 CPU 선정

저전력을 위해 CPU와 보드가 통합되어 있는 제품을 알아보았습니다. 알리익스프레스에 관련 제품이 많았지만 실 사용 후기를 보면 전력효율이 좋지 못하여(이더넷 포트가 6개나 달려있고 여기서 Idle 파워를 많이 소비함 등) 제외하였습니다.

싱글보드 컴퓨터 중 가장 우수하다고 생각되는, 제가 학생때부터 프로젝트에 활용하던 하드커널사의 오드로이드를 구입하였습니다. 원래 SATA포트가 2개밖에 없어서 NAS 목적으로는 부적합했는데 최근 새로 출시된 H4 시리즈는 SATA 포트가 4개이고 NVME M.2 슬롯에 ASM1166 SATA확장카드를 장착하여 SATA 포트를 6개까지 추가할 수 있습니다. 더 놀라운 점은 NVME M.2 슬롯 확장카드가 출시되었는데 M.2 슬롯을 2개 또는 4개로 확장하여(대역폭은 공유하지만 그래도 충분히 빠름) 각종 장치를 주렁주렁 연결할 수 있게 되었습니다. 또한 DDR5 메모리를 지원하며 메모리 공간의 10%를 In-Band ECC 메모리 영역으로 할당하여 일반 메모리를 ECC 메모리로 활용할 수 있는 점이 특징입니다. 저는 ECC 광신도이기 때문에 24시간 구동하는 시스템은 ECC RAM이 탑재되는 시스템만 사용합니다.

그래서 ODROID H4+ 및 ODROID H4 Ultra를 1대씩 2대 구입하였는데 사양은 다음과 같습니다.

ODROID H4 ULTRA

Intel N97(4Core/4Thread) 또는 N305(8 Core/8 Thread)
4 x SATA, 1 x M.2 NVMe(PCIe 3.0 x 1) 2280
2 x 2.5 Gbps Ethernet
1 x Sodimm DDR5 4800(최대 48GB), In-Band ECC 설정 가능
미니 ITX 보드로 활용 가능

4. 기타 부품 구입 경로 및 가격

4.1. 하드디스크

가족사진/영상 저장용 디스크는 4TB CCTV용 디스크 새 거를 7.5만원에 2개 구입
트레이딩 데이터(틱데이터 등) 저장용 디스크는 16TB 엔터프라이즈 등급 디스크 중고를 19만원에 3개 구입
백업용 디스크는 레이드 깨지면 바로 다시 구축할 요량으로 10년 된 2TB 엔터프라이즈 등급 디스크를 5천원에 7개

4.2. NVMe SSD (캐시 및 VM 영역)

처음부터 대용량을 장착하지 않고 최대한 가성비로 장착 후 노후도를 파악하여 교체할 요량으로 부품을 구입하였습니다.

신규 노트북에서 적출한 벌크 SSD 256GB 디램리스를 개당 2만1천원에 구입하였습니다.

VM 영역에 사용할 SSD는 디램이 있는 하이닉스 P31 512GB를 적용

4.3. SATA 확장 카드

ASM1166 SATA 라이저 카드

알리에서 ASM1166 칩셋 기반의 SATA 확장 카드를 구입(2W 소비전력)
알리에서 SAS 6G 어댑터(DELL PERC 310) 구입(백업 NAS용): 6G의 경우 SFF-8086 또는 SFF-8087 케이블 필요. 12G의 경우 SFF-8643 규격의 케이블 필요(6G 어댑터 소비전력 6W, 12G 어댑터 10W, 별도 쿨링팬 장착 필요)
알리에서 SATA 4포트/6포트 케이블 구입

4.4. 램

최대 용량 48GB 지원이라 48GB 램을 알아보니 특수규격이라 단가가 너무 비싸서 팀그룹 16GB와 32GB를 구입. 삼성 시금치램은 중고로 8만원도 보았으나 삼성 DDR5 불량률이 매우 높다고 들어서 팀그룹(하이닉스 램 중 오버클럭 잘되는 양품 선별 제품) 신품으로 구매

4.5. 파워서플라이

신품 17만원짜리 FSP HYDRO G PRO 850W를 보증 7년 남은 거 중고로 5만원씩에 3개 구입

4.6. 기타 부품

PWM 팬허브: 하드디스크 유휴일 때 케이스 팬 3개 작동되지 않도록 CPU 팬과 연동하기 위하여 구입

4.7. NAS OS

운영 NAS에는 UNRAID, 백업 NAS에는 TrueNAS Scale 적용

UNRAID: 유료 NAS OS. 일반적인 RAID처럼 패리티 데이터를 각 디스크에 분산저장하지 않고 패리티 디스크를 별도로 둡니다. 때문에 파일 접근 시 해당 파일이 존재하는 디스크만 작동되므로 전력을 절감할 수 있고 파일이 분산 저장되지 않으므로 최악의 경우 고장난 디스크를 제외한 나머지 디스크의 데이터는 온전하게 보존됩니다. 캐시디스크를 SSD로 지정해 두면 업데이트 작업 시 하드디스크를 바로 구동하지 않고 SSD 누적시켰다가 나중에 배치 작업으로 한 번에 업데이트하는 방식으로 전력을 추가 절감합니다. 서로 다른 용량의 디스크를 갖다 붙여도 모든 용량을 활용할 수 있습니다. 도커 및 VM 운영이 가능하며 시놀로지의 편의성을 제공하는 것과 유사한 각종 앱을 사용할 수 있습니다. 유료이지만 위와 같은 장점으로 개인이 운영하기에 정말 좋습니다.
TrueNAS Scale: 매우 높은 압축률을 자랑하는 ZFS 파일시스템 사용으로 디스크 공간을 많이 절약할 수 있습니다.

이상으로 NAS를 직접 구축하기 위한 하드웨어와 OS 선정에 대해 알아보았습니다.

5. 시놀로지와 가성비 비교

시놀로지 4베이 나스 DS423+와의 비교입니다.

DS423+ 스펙 및 가격

5.1. 자작나스 제작비

8코어 32GB 고성능 지향 NAS의 견적은 다음과 같습니다.

항목	부품명	수량	가격
CPU 및 보드	ODROID H4 ULTRA	1	297,000원(신품)
메모리	DDR5 PC5-44800 32GB	1	117,000원(신품)
케이스	Fractal Design Node 304	1	97,000원(리퍼)
파워서플라이	FSP HYDRO G PRO 850W	1	50,000원(중고)
SSD	WD BLUE 1TB, P31 512GB	1	163,000원(신품)
하드디스크	WD ULTRASTART 16TB	3	570,000원(중고)
케이블 및 악세사리	케이블, ASM1166, 팬허브	1	43,000원(신품)
OS	UNRAID STARTER	1	65,000원(신품)

합계: 1,402,000원, 하드디스크 제외 하드웨어 비용:832,000원

4코어 16GB 저전력 지향 NAS의 견적은 다음과 같습니다.

항목	부품명	수량	가격
CPU 및 보드	ODROID H4 PLUS	1	187,700원(신품)
메모리	DDR5 PC5-44800 16GB	1	62,500원(신품)
케이스	Fractal Design Node 304	1	97,000원(리퍼)
파워서플라이	FSP HYDRO G PRO 850W	1	50,000원(중고)
SSD	PM9B1 256, SN740 256	1	42,000원(벌크)
하드디스크	시게이트 스카이호크 4TB	2	150,000원(신품)
케이블 및 악세사리	케이블, ASM1166, 팬허브	1	43,000원(신품)
OS	UNRAID STARTER	1	65,000원(신품)

합계: 697,200원, 하드디스크 제외 하드웨어 비용:547,200원

4코어(8스레드) 32GB 백업 NAS의 견적은 다음과 같습니다.

항목	부품명	수량	가격
CPU	Xeon E3-1280v5	1	5,000원(중고)
보드	ASUS P10S-M WS	1	85,000원(중고)
메모리	DDR4 16GB ECC/REG	2	93,000원(중고)
케이스	브라보텍 EX270	1	47,000원(리퍼)
파워서플라이	FSP HYDRO G PRO 850W	1	50,000원(중고)
SSD	PM9B1 256GB	1	21,000원(벌크)
하드디스크	시게이트 기업용 2TB	7	35,000원(중고)
그래픽카드	RX550	1	26,000(중고)
케이블 및 악세사리	케이블, PERC 310, 녹투아	1	70,000원(신품)
OS	TrueNAS SCALE	1	0원

합계: 432,000원

제작비용 697,200원짜리 자작나스와 DS423+ 비교입니다.

비교 항목	자작나스(ODROID H4+ 기반)	시놀로지 DS423+	결과
가격	697,200원	778,000원	80,800원 저렴
하드베이	6베이	4베이	2베이 더 많음, 케이스 교체시 10베이 가능
CPU	4C4T 3.6GHz 6MB 12W TDP	4C4T 2.7GHz 4MB 10W TDP	전성비 우위
메모리	16GB	2GB	10GB 더 많아 도커, VM 운영원활, ECC 메모리 기능 지원
랜포트	2.5Gbps x 2 포트	1Gbps x 2 포트	더 빠른 데이터 전송 속도
NVMe캐시	지원	미지원	시놀로지는 M.2 SATA 지원
앱 생태계	UNRAID 생태계	DSM 생태계	러닝커브 좀 더 높음

6. 총평

고성능 지향 NAS의 경우 시놀로지와 하드웨어성능/가격 비교시 가격 대 성능비가 압도적이므로 자작을 권장
저전력 지향 NAS의 경우 하드웨어 가격은 비슷함. CPU의 TDP는 자작나스가 2W 더 높으나 시놀로지는 RAID 풀의 모든 디스크가 상시 구동되므로 실제 소비전력은 시놀로지가 더 높을 것으로 예상. 활발한 국내 커뮤니티와 편리한 앱 접근성, 성능이 크게 중요하지 않을 경우 시놀로지 구매해도 무방. 다만 4베이로 한정지었을 경우이고 자작NAS는 케이스갈이 할 경우 M.2 to SATA 모듈로 10베이 이상 구성하여 사용 가능.
백업용 NAS는 중고 부품으로만 드래곤볼 해도 충분

블록암호 알고리즘 모듈(LEA) 적용 및 테스트

noyecube — Fri, 10 May 2024 11:08:41 +0900

이번 포스팅에서는 Windows C/C++ 프로젝트에 블록암호 알고리즘(LEA) 모듈을 적용하기 위한 기초 내용 조사 및 실제 적용 테스트에 관한 내용을 다룹니다. 저는 클라이언트 프로그램에 서버 계정과 패스워드를 저장하여 자동 로그인 기능을 구현하기 위해 블록암호 알고리즘 모듈을 적용하려고 합니다.

1. 암호알고리즘 용어 정리

평문(Plaintext, P) : 암호화되지 않은 평범한 데이터 또는 메시지
암호문(Ciphertext, C) : 암호화된 형태의 데이터 또는 메시지
암호화(Encryption, E) : 평문을 암호문으로 변환하는 과정
복호화(Decryption, D) : 암호문을 본래의 평문으로 복원하는 과정

2. 각 기준별 암호알고리즘 분류

공개키암호: RSAES(2048, 3072)
키 설정: DH, ECDH
전자서명: RSA-PSS, KCDSA, EC-KCDSA, ECDSA
블록암호: SEED, LEA, HIGHT, ARIA
운영모드: ECB, CBC, CFB, OFB, CTR, CCM, GCM
해시함수: LSH, SHA-2, SHA-3
메시지인증: GMAC, HMAC, CMAC
난수발생기: HMAC_DRBG, CTR_DRBG, HASH_DRBG
키 유도: KBKDF(HMAC, CMAC), PBKDF(HMAC)

3. 블록암호와 운영모드

블록암호에는 대칭키암호, 비밀키암호, 관용 암호 방식이 있으며 현재 널리 사용되는 블록 크기는 128비트 입니다.

암호 알고리즘의 비밀 정도는 키의 비밀성에 의존하므로 키 관리를 잘 해야 합니다.

고정된 크기의 블록 단위로 데이터를 암호화하므로 실제 암호화 할 데이터 크기가 작으면 임의의 패딩데이터를 삽입합니다.

암호화 키와 복호화 키가 같으며 비밀키를 사용하여 동일한 길이(블록단위)의 비트 문자열을 고정된 길이의 비트 문자열로 변환하는 암호입니다.

대표적인 블록암호는 DES, AES, ARIA, SEED, LEA, HIGHT 등이 존재합니다.

블록암호	표준화 연도	블록길이	키 길이
SEED	1999년(TTA) 2005년(ISO)	128 비트	128 비트
ARIA	2004년(KS)	128 비트	128, 192, 256 비트
HIGHT	2006년(TTA) 2010년(ISO)	64 비트	128 비트
LEA	2013년(TTA) 2019년(ISO)	128 비트	128, 192, 256 비트

블록암호 자체만으로는 정해진 입력 길이(LEA의 경우 128비트 = 16바이트)의 데이터에 대한 암호화 및 복호화만 가능합니다. 하지만 현실 세계의 데이터는 대부분 가변 길이이기 때문에 블록 암호만으로는 충분하지 않습니다. 이때 등장하는 것이 바로 블록암호 운영모드입니다. 운영모드는 블록암호를 반복적으로 적용하여 가변 길이 데이터를 안전하게 암호화하는 방법을 제공합니다. 운영모드는 여러 모드가 있으며 각기 다른 안정성과 특징을 가지고 있기 때문에 환경에 따라서 적절한 운영모드를 적용할 필요가 있습니다.

운영 모드	특징	장점	단점
ECB(Electronic CodeBook)	가장 간단한 모드. 각 블록을 독립적으로 암호화	구현이 간편	동일한 평문 블록은 동일한 암호문으로 변환되어 패턴 노출 가능성이 높음. 암호 분석에 취약
CBC(Cipher Block Chaining)	이전 암호문 블록을 다음 블록 암호화에 활용. 연속된 블록 간 상관관계 형성	ECB보다 강력한 암호화 제공 오류전파 가능성 감소	복잡도 상승
CFB(Cipher Feedback)	이전 암호문 블록을 XOR 연산에 활용하여 현재 블록 암호화	CBC와 유사한 강력한 암호화 초기값 공유 필애	복잡도 상승
OFB(Output Feedback)	암호화된 블록을 누적하여 다음 블록 암호화에 활용	암호화와 복호화 동작이 동일 초기값 공유 필요	복잡도 상승
CTR(Counter)	카운터 값을 암호화하여 암호 스트림 생성 평문과 XOR 연산 수행	초기값 공유만으로도 동기화 암호화와 복호화 속도가 빠름	복잡도 상승
CCM (Counter with CBC-MAC)	CTR 모드의 장점에 MAC 인증 추가	암호화와 인증을 동시에 제공	복잡도 상승
GCM(Galois/Counter Mode)	CTR 모드의 장점에 AAD(Additional Authentication Data) 인증 기능 추가	CCM보다 향상된 인증 성능 제공 NIST에서 GCM-AES 권장	복잡도 상승
CMAC(Cipher-based Message Authentication Code)	CBC 모드 기반 MAC 코드 생성 메시지 인증에 특화	높은 인증 보안 제공

저는 운영모드로 GCM을 선택하여 C/C++ 프로젝트에 적용해 보겠습니다. GCM 선택 이유는 다음과 같습니다.

GCM은 CTR 모드에 인증 기능을 추가하여 데이터 무결성과 진위 여부를 동시에 보장하며 비밀번호와 같은 민감 정보 보호에 적합
NIST 권장: 미국 국립 표준 기술원에서 GCM-AES를 표준 암호화 알고리즘으로 권장하고 있음
효율성: GCM은 암호화와 인증을 동시에 수행하며, GCM-AES는 하드웨어 가속이 지원되어 빠른 처리속도 제공

4. 소프트웨어에 블록암호 적용시 유의사항

무결성 검증이 필요하며 무결성 검증키는 암호모듈 내부에 분산시켜 저장해야 함. 키를 분산 저장하지 않을 경우 hex dump를 통해서 쉽게 노출됨. 특히 키값을 전역변수로 저장하면 바이너리에 키값이 연속적으로 노출되므로 지역변수로 여기저기 분산하여 저장해야 함
암호모듈 구성요소에 대한 무결성 검증은 동작 전 자가테스트에서 수행하고 검증이 실패할 경우 오류 상태로 천이하고 어떠한 암호연산도 수행되지 않아야 하며 데이터 출력 인터페이스를 통한 모든 데이터의 출력도 금지해야 함

5. 암호알고리즘 소스코드 다운로드 및 프로젝트 적용

5.1. 소스코드 다운로드

국산 암호 알고리즘(SEED, HIGHT, ARIA, LEA, HAS-160, LSH, KCDSA/EC-KCDSA)은 KISA 암호이용활성화 페이지에서 설명서와 소스코드를 다운받을 수 있습니다.

https://seed.kisa.or.kr/

그 중 블록암호 LEA 소스코드를 다운받아서 MFC 프로젝트에 적용해 보겠습니다. C 프로젝트 뿐 아니라 Java, Python에서도 사용할 수 있는 소스코드입니다.

5.2. 라이브러리 파일 생성

Windows 용 MSVC 솔루션 프로젝트 파일이 있습니다. "vs"와 "vs2008"이 있는데 "vs"의 프로젝트 파일을 최신 버전으로 업그레이드하여 디버그 버전과 릴리즈 버전을 각각 빌드합니다. 릴리즈 버전 빌드시 에러가 발생하여 확인해본 결과 프로젝트 속성에 컴파일러가 MSVC 2013으로 고정되어 있었습니다. 이를 정정 후 빌드하면 "bin" 폴더와 "Debug" 폴더에 결과물이 생성됩니다.

libLEA 결과 파일 폴더

5.3. 프로젝트 설정

먼저 결과 파일을 프로젝트 경로에 복사합니다. 저는 "prebuilt\LEA" 경로에 복사하였습니다. 헤더파일은 "lea.h"와 "config.h"가 필요합니다.

프로젝트 경로에 dbg, rel 버전 각각 복사

프로젝트 속성에 디버그모드와 릴리즈모드를 구분하여 각 라이브러리 파일에 대해 링커 설정을 해줍니다.

C/C++ > General > Additional Include Directories: $(ProjectDir)\prebuilt\ (Debug/Release 공통)
Linker > General > Additional Library Directories: $(ProjectDir)\prebuilt\LEA (Debug/Release 공통)
Linker > Input > Additional Dependencies: libLEA_dbg.lib 추가 (Debug)
Linker > Input > Additional Dependencies: libLEA_rel.lib 추가 (Release)

5.4. 빌드 테스트

MFC 기준 APP::InitInstance() 에서 다음의 테스트 코드로 빌드 테스트를 하였습니다.

#include "prebuilt/LEA/lea.h"

/* LEA Test */
LEA_GCM_CTX ctx;
unsigned char mk[16] = { 0x0, 0x1, 0x2, 0x3, 0x4, 0x5, 0x6, 0x7, 0x8, 0x9, 0xA, 0xB, 0xC, 0xD, 0xE, 0xF };
int mk_len = 16;

lea_gcm_init(&ctx, mk, mk_len);

이상으로 국산 경량 블록암호알고리즘 모듈인 LEA에 대해 알아보았습니다.

[MFC] SQLite 연동 및 사용법

noyecube — Wed, 8 May 2024 17:50:08 +0900

SQLite는 작고, 빠르고, 믿을 수 있는 세계에서 가장 많이 사용되는 관계형 데이터베이스로서 1조 개가 넘는 SQLite 데이터베이스가 사용되고 있다고 합니다. 또한 모든 iOS, Android, Mac, Windows 디바이스 및 인터넷브라우저와 IoT 디바이스에서 사용할 수 있습니다. 단일 데이터베이스 파일의 최대 크기는 281TB라고 합니다.

1. SQLite 특징

작은 사이즈: MySQL이나 PostgreSQL과 같은 데이터베이스는 클라이언트/서버 데이터베이스서 일반적으로 자체 디스크와 메모리가 있는 서버에서 별도의 프로세스로 실행해야 합니다. SQLite는 이와 반대로 임베디드 데이터베이스입니다. 즉 데이터베이스가 디바이스, 서버 또는 스마트폰 자체에 내장됩니다. SQLite 데이터베이스는 독립적인 단일 디스크 파일이며 크로스 플랫폼이기 때문에 별도의 서버 구성이 필요 없습니다. SQLite 데이터베이스를 열고, 읽고, 쓰기 위해서는 750KB 이하의 초소형 SQLite 라이브러리만 있으면 됩니다.
빠른 속도: SQLite는 별도의 서버가 필요하지 않고 단일 디스크 파일이기 때문에 데이터 사이에서 네트워크 지연이 없습니다. 그리고 fread(), fwrite() 같은 C 함수를 사용하여 파일시스템에 직접 쓸 때보다 35% 더 빠를 수 있다고 합니다.
높은 신뢰성: SQLite는 세 명의 챔피언급 개발자가 개발 및 유지관리하고 있으며 다른 오픈소스 프로젝트처럼 임의의 사람들로부터 코드 기여를 받지 않고 있습니다. 덕분에 XZ 백도어 사건과 같이 외부인으로부터 코드가 오염될 경로가 원천 차단되어 보안에도 좋은 장점이 있습니다. 개발자들은 최소 2050년까지 SQLite를 지원할 것이라고 하였으며 문서화, 주석 처리, 크로스 플랫폼 및 하위 호환성을 유지하겠다고 약속했습니다. 또한 코드가 완전히 테스트된 상태로 유지되고 있는데 SQLite 소스코드가 15만 5천 개 이상의 소스 코드 줄로 구성되어 있을 때 테스트 코드와 테스트 스크립트의 소스코드는 9,200만 줄입니다. 9,200만 개의 라인의 테스트 소스코드로 15만 5천 개의 소스코드 줄을 테스트하는 것입니다. 즉, 코드보다 600배나 많은 테스트로 신뢰성을 보장하고 있습니다. 이를 위해 개발자들은 1년 내내 주당 60시간씩 일을 했다고 하네요.

2. SQLite 다운로드 및 라이브러리 파일 연동하기

Windows 환경의 MFC 프로젝트 기준으로 설명합니다.

SQLite 공식 홈페이지에서는 풀 소스코드, 아말감 버전 소스코드(모든 내용을 하나의 파일에 취합한 버전), x86/x64 DLL 을 다운로드할 수 있습니다. MFC를 위한 정적라이브러리 파일 생성은 매뉴얼에 내용이 없고 아말감 버전의 소스코드도 MFC 프로젝트에서는 일반적인 방법으로는 빌드가 안 되는 것을 확인하였습니다. 따라서 DLL을 다운로드하여 사용합니다.

2.1. 소스코드 등 다운로드

http://sqlite.org

SQLite Home Page

SQLite is a C-language library that implements a small, fast, self-contained, high-reliability, full-featured, SQL database engine. SQLite is the most used database engine in the world. SQLite is built into all mobile phones and most computers and comes bu

sqlite.org

위 사이트의 SQLite Download Page에서 amalgamation 타입의 Source Code와 Precompiled Binaries for Windows를 다운로드 받습니다. 저는 32-bit, 64-bit 프로젝트에 사용할 예정이라 32-bit도 받았으며 작성일 기준 파일명은 다음과 같습니다.

sqlite-amalgamation-3450300.zip : sqlite3.h 헤더파일 들어있음
sqlite-dll-win-x64-3450300.zip : sqlite3.dll(64비트)과 sqlite3.def 파일 들어있음
sqlite-dll-win-x86-3450300.zip : sqlite3.dll(32비트)과 sqlite3.def 파일 들어있음

2.2. .lib 파일 생성

SQLite의 DLL파일은 C언어로 작성되었지만 MFC 프로젝트는 C++ 언어로 작성됩니다. 따라서 C언어 함수를 C++ 프로그램에서 사용하기 위해서는 함수 이름과 매개 변수 형식을 C++ 컴파일러에게 알려줘야 하는데 이 역할을 하는 것이 sqlite3.def 파일입니다. C++ 컴파일러는 .def 파일을 통해 DLL 함수를 어떻게 사용해야 하는지 파악하고, 프로그램 코드를 적절하게 연결합니다. 따라서 이 과정에서 생성되는 .lib 파일은 독립적으로 사용할 수 있는 정적라이브러리 파일이 아니라 .def 파일을 기반으로 DLL 파일의 정보를 담은 파일이기 때문에 컴파일러는 .lib파일을 통해 DLL 함수에 대한 정보를 얻고 프로그램 코드와 DLL 함수를 연결합니다. MSVC 설치 시 패키지로 함께 설치되는 Developer Command Prompt를 활용하여 .lib 파일을 생성할 수 있습니다. "lib" 명령어를 사용하며 다음 x86 버전 생성 예제를 확인합니다.

Developer Command Prompt

x86버전 > lib /def:sqlite3.def /machine:x86
x64버전 > lib /def:sqlite3.def /machine:x64

D:\dev\util\sqllite\sqlite-dll-win-x86-3450300>dir
D:\dev\util\sqllite\sqlite-dll-win-x86-3450300 디렉터리

2024-05-08  오후 03:43             8,226 sqlite3.def
2024-05-08  오후 03:43         2,485,760 sqlite3.dll
               2개 파일           2,493,986 바이트
               2개 디렉터리  972,652,843,008 바이트 남음

D:\dev\util\sqllite\sqlite-dll-win-x86-3450300>lib /def:sqlite3.def /machine:x86
Microsoft (R) Library Manager Version 14.38.33134.0
Copyright (C) Microsoft Corporation.  All rights reserved.

   Creating library sqlite3.lib and object sqlite3.exp

D:\dev\util\sqllite\sqlite-dll-win-x86-3450300>dir
D:\dev\util\sqllite\sqlite-dll-win-x86-3450300 디렉터리

2024-05-08  오후 03:43             8,226 sqlite3.def
2024-05-08  오후 03:43         2,485,760 sqlite3.dll
2024-05-08  오후 04:06            51,632 sqlite3.exp
2024-05-08  오후 04:06            86,004 sqlite3.lib
               4개 파일           2,631,622 바이트
               2개 디렉터리  972,652,703,744 바이트 남음

D:\dev\util\sqllite\sqlite-dll-win-x86-3450300>

sqlite.lib 파일을 확인할 수 있습니다. 헤더파일 사이즈는 627KB네요.

3. MFC 프로젝트 적용

기존 프로젝트 파일 경로에 sqlite3.lib, sqlite3.h 파일을 복사하고 프로젝트 설정에서 참조 경로를 잡습니다.

소스코드 경로에 "prebuilt/SQLite" 경로를 신규 생성하고 헤더파일과 라이브러리 파일을 복사합니다.

실행파일 존재 경로에 sqlite3.dll 파일을 복사합니다.

sqlite3.lib 파일과 sqlite3.h 를 프로젝트 폴더에 복사

프로젝트 솔루션탐색기에 헤더파일 추가

프로젝트 속성창에서 다음 항목을 설정합니다.

Linker > General > Additional Library Directories: $(ProjectDir)\prebuilt\sqlite\
Linker > Input > Additional Dependencies: sqlite3.lib
C/C++ > Additional Include Directories: $(ProjectDir)\prebuilt\

4. 테스트 코드 작성

SQLite 버전을 출력하는 테스트 코드를 작성해 봅니다. 임의의 .cpp 파일에 다음의 내용을 작성 후 호출하여 결과를 확인해 봅니다.

#include "prebuilt/SQLite/sqlite3.h"

printf("[INFO] SQLite version (%s)\n", sqlite3_libversion());

테스트 코드 결과 확인

이상으로 MFC 프로젝트에서 SQLite를 사용하는 방법을 알아보았습니다.

[MFC] Worker Thread 동적 관리기능 구현

noyecube — Thu, 25 Apr 2024 00:01:14 +0900

Thread를 원하는 시간에만 동작시키려면? 특정 조건에서 멈추거나 종료하려면? Thread 동작 상태를 파악하려면? Thread 동적 관리 기능이 필요합니다. 이번 포스팅에서는 프로그램 개발단계부터 디버깅 용도로 유용하게 활용할 수 있는 Thread 관리기능(생성, 서스펜션, 디스트로이) 구현 방안을 예제 기반으로 설명해 보겠습니다. 이하 본문에서는 Thread를 태스크(TASK)라 지칭하도록 하겠습니다.

1. 동적 관리기능 요구사항

태스크 동적 관리기능의 구현에 앞서 반영할 요구사항은 다음과 같습니다.

프로그램 동작 상태에서 동적으로 태스크를 생성, 중지, 종료할 수 있어야 한다.
활용 가능한 태스크 목록을 관리하고 정보를 제공할 수 있어야 한다.
태스크 상태를 확인할 수 있어야 한다.
태스크 추가/삭제가 용이하도록 일관된 인터페이스를 제공해야 한다.

위 요구사항에 맞춘 결과물(GUI화면)을 먼저 확인해 보도록 하겠습니다.

Task 관리기능 사용 예

task list: 사용할 수 있는(프로그램에 탑재 되어있는 태스크) 태스크 목록을 보여줍니다. 이 예제에서는 "data_collector"라는 이름의 태스크 1개가 탑재되어 있습니다.
task status: 생성되어 있는 태스크를 나열하고, 생성시각, 태스크 타입, 태스크 ID, 태스크 상태, 태스크명을 보여줍니다.
task create -a <태스크명>: 태스크를 생성합니다.
task [suspend | destroy] -a <TID>: 태스크를 중지 또는 종료합니다.

2. 태스크 인터페이스

모든 태스크들의 아버지라 할 수 있는 태스크 아빠 클래스(CTaskFather)를 구현하여 개별 태스크 클래스 구현시 태스크 아빠 클래스를 무조건 상속받도록 합니다. 또한 태스크 관리 클래스(CTaskMgr)를 구현하여 사용가능한 태스크 목록, 태스크 이름, 태스크 객체 관리 구조체 등을 관리하고 생성, 중지, 종료 등의 인터페이스를 구현합니다.

태스크 모듈에서 사용할 에러번호는 다음과 같이 정의하여 사용하기로 합니다.

#pragma once

/* ErrorNo for Task */
namespace TASK_ERR
{
	constexpr int ESUCCESS = 0;
	constexpr int EALREADY_CREATED = -1;
	constexpr int EBEGIN_THREAD_FAILURE = -2;
	constexpr int EHANDLE_NULLPTR = -3;
	constexpr int EPARAMETER_OUTOFRANGE = -4;
	constexpr int EOUTOF_RESOURCE = -5;
	constexpr int EDUMMY_FUNCTION = -6;	/* Not implemented function */
	constexpr int ETASK_ID_LOOKUP_FAILURE = -7;
}

2.1. CTaskFather

#pragma once

#include "task_errno.h"

class CTaskFather;

namespace TASK_FATHER
{
	constexpr int TASK_MSG_ESCAPE_LOOPER = (WM_APP)+1;

	typedef struct _LPVOID_PARAMS {
		LPVOID lpOpaque_1;
		LPVOID lpOpaque_2;
		LPVOID lpOpaque_3;
		LPVOID lpOpaque_4;
		LPVOID lpOpaque_5;
		_LPVOID_PARAMS() {
			ZeroMemory(this, sizeof(struct _LPVOID_PARAMS));
		}
	} TST_LPVOID_PARAMS, * PTST_LPVOID_PARAMS;	// LPVOID PARAMS TYPE for THREAD Creation

	typedef enum class enTaskStatus {
		UNKNOWN,
		RUNNING,
		SUSPENDED,
		SUSPENDED_ERR,	/* SUSPEND caused by Error */
		WAIT_REAP,		/* Escaped loop, waiting for Join() */
		MAX
	} TEN_TASK_STATUS;

	typedef struct _task_control_block_root {
		SRWLOCK srwlock;
		LPVOID ptheApp;
		CTaskFather* pTaskFather;
		TEN_TASK_STATUS enTaskStatus;
		AFX_THREADPROC pfnThreadProc;
		CWinThread* pThdLooper;
		HANDLE hEvent_Resume;
		HANDLE hEvent_Suspend;	/* Temporary usage as a creation event in the thread creation sequence */
		HANDLE hEvent_QuitThread;
		HANDLE hEvent_Exec;
		DWORD dwMsecInterval;			/* Timeout Milliseconds value for xxWaitForxxObjectsxx() */
		DWORD dwGetLastErrorValue;
		LPVOID lpOpaque_derived_1;	/* reserved for derived class */
		LPVOID lpOpaque_derived_2;	/* reserved for derived class */
		LPVOID lpOpaque_derived_3;	/* reserved for derived class */

		_task_control_block_root() {
			ZeroMemory(this, sizeof(struct _task_control_block_root));
			InitializeSRWLock(&srwlock);
		}
	} TST_TCB_ROOT, *PTST_TCB_ROOT;
}

class CTaskFather
{
protected:	/* Prevent create CTaskFather Without Derived child class */
	CTaskFather();
public:
	virtual ~CTaskFather();

public:
	virtual int iRun(void) { return TASK_ERR::EDUMMY_FUNCTION; };
	virtual int iCreate(void);
	virtual void vSuspend(void) { SetEvent(_m_stTcbRoot.hEvent_Suspend); };
	virtual void vResume(void) { SetEvent(_m_stTcbRoot.hEvent_Resume); };
	virtual int iDestroy(void);

	DWORD dwGetTaskId(void);
	inline TASK_FATHER::TEN_TASK_STATUS enGetTaskStatus(void) { return _m_stTcbRoot.enTaskStatus; }

protected:
	TASK_FATHER::TST_TCB_ROOT _m_stTcbRoot;
};

#include "pch.h"
#include "CTaskFather.h"

#include "Noyecube.h"

#include "util/CAutolock.h"

CTaskFather::CTaskFather() 
{
	CString cstrEventResume;
	CString cstrEventSuspend;
	CString cstrEventQuitThread;
	CString cstrEventExec;

	CAutoScopeSRWLOCKExclusive lock(&(_m_stTcbRoot.srwlock));

	_m_stTcbRoot.enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::UNKNOWN;
	_m_stTcbRoot.pThdLooper = nullptr;

	cstrEventResume.Format(_T("CTaskFather_hEvent_Resume_%p"), this);
	cstrEventSuspend.Format(_T("CTaskFather_hEvent_Suspend_%p"), this);
	cstrEventQuitThread.Format(_T("CTaskFather_hEvent_QuitThread_%p"), this);
	cstrEventExec.Format(_T("CTaskFather_hEvent_Exec_%p"), this);

	_m_stTcbRoot.hEvent_Resume = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, cstrEventResume);
	_m_stTcbRoot.hEvent_Suspend = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, cstrEventSuspend);
	_m_stTcbRoot.hEvent_QuitThread = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, cstrEventQuitThread);
	_m_stTcbRoot.hEvent_Exec = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, cstrEventExec);

	if ((nullptr == _m_stTcbRoot.hEvent_Resume) || (nullptr == _m_stTcbRoot.hEvent_Suspend) ||
		(nullptr == _m_stTcbRoot.hEvent_Exec) || (nullptr == _m_stTcbRoot.hEvent_QuitThread)) {
		AfxMessageBox(_T("Fail:NoyeCube:CTaskFather(TID:%d).CreateEvent"), GetCurrentThreadId());
		PostQuitMessage(0);
	}
};

CTaskFather::~CTaskFather()
{
	DPRINTF("ENTER\n");
	if (_m_stTcbRoot.pThdLooper) {
		DPRINTF("[DBG]  ==> SetEvent(_m_stTcb.hEvent_QuitThread);...\n");
		SetEvent(_m_stTcbRoot.hEvent_QuitThread);
		/*_m_stTcb.pThdLooper->PostThreadMessage(TASK_FATHER::TASK_MSG_ESCAPE_LOOPER, 0, 0);*/
		DPRINTF("[DBG]  ==> Before WaitForSingleObject(_m_stTcb.pThdLooper->m_hThread, INFINITE);...\n");
		WaitForSingleObject(_m_stTcbRoot.pThdLooper->m_hThread, INFINITE);
		DPRINTF("[DBG]  ==> After WaitForSingleObject(_m_stTcb.pThdLooper->m_hThread, INFINITE);...\n");
		_m_stTcbRoot.pThdLooper = nullptr;
	}

	_m_stTcbRoot.enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::UNKNOWN;
	_m_stTcbRoot.dwGetLastErrorValue = 0;

	if (_m_stTcbRoot.hEvent_Exec) {
		CloseHandle(_m_stTcbRoot.hEvent_Exec);
		_m_stTcbRoot.hEvent_Exec = nullptr;
	}
	if (_m_stTcbRoot.hEvent_QuitThread) {
		CloseHandle(_m_stTcbRoot.hEvent_QuitThread);
		_m_stTcbRoot.hEvent_QuitThread = nullptr;
	}
	if (_m_stTcbRoot.hEvent_Resume) {
		CloseHandle(_m_stTcbRoot.hEvent_Resume);
		_m_stTcbRoot.hEvent_Resume = nullptr;
	}
	if (_m_stTcbRoot.hEvent_Suspend) {
		CloseHandle(_m_stTcbRoot.hEvent_Suspend);
		_m_stTcbRoot.hEvent_Suspend = nullptr;
	}

	DPRINTF("LEAVE\n");
}

int CTaskFather::iCreate(void)
{
	CAutoScopeSRWLOCKExclusive lock(&(_m_stTcbRoot.srwlock));

	if (nullptr != _m_stTcbRoot.pThdLooper) {
		return TASK_ERR::EALREADY_CREATED;
	}

	if (nullptr == _m_stTcbRoot.pfnThreadProc) {
		return TASK_ERR::EHANDLE_NULLPTR;
	}

	if ((nullptr == _m_stTcbRoot.hEvent_Resume) || (nullptr == _m_stTcbRoot.hEvent_Suspend)) {
		return TASK_ERR::EHANDLE_NULLPTR;
	}

	_m_stTcbRoot.ptheApp = (LPVOID)(&theApp);
	_m_stTcbRoot.pTaskFather = this;

	DPRINTF("[DEBUG] pTaskFather (%p)\n", this);

	ResetEvent(_m_stTcbRoot.hEvent_Resume);
	ResetEvent(_m_stTcbRoot.hEvent_Suspend);
	ResetEvent(_m_stTcbRoot.hEvent_QuitThread);
	ResetEvent(_m_stTcbRoot.hEvent_Exec);

	_m_stTcbRoot.pThdLooper = AfxBeginThread(_m_stTcbRoot.pfnThreadProc, (LPVOID)&_m_stTcbRoot);
	if (nullptr == _m_stTcbRoot.pThdLooper) {
		return TASK_ERR::EBEGIN_THREAD_FAILURE;
	}

	if (nullptr != _m_stTcbRoot.hEvent_Suspend) {	/* Temporary usage as a creation event in the thread creation sequence */
		DPRINTF("WAITING ThdLooper Creation...");
		WaitForSingleObject(_m_stTcbRoot.hEvent_Suspend, INFINITE);
		ResetEvent(_m_stTcbRoot.hEvent_Suspend);
		DPRINTF("Completed.\n");
	}

	SetEvent(_m_stTcbRoot.hEvent_Resume);	/* Signal to Entering ThdLooper Thread Loop*/

	return TASK_ERR::ESUCCESS;
};

int CTaskFather::iDestroy(void)
{
	CAutoScopeSRWLOCKExclusive lock(&(_m_stTcbRoot.srwlock));

	if (nullptr == _m_stTcbRoot.pThdLooper) {
		return TASK_ERR::EHANDLE_NULLPTR;
	}

	DPRINTF("[DBG]  ==> SetEvent(_m_stTcb.hEvent_QuitThread);...\n");
	SetEvent(_m_stTcbRoot.hEvent_QuitThread);
	/*_m_stTcb.pThdLooper->PostThreadMessage(TASK_FATHER::TASK_MSG_ESCAPE_LOOPER, 0, 0);*/
	DPRINTF("[DBG]  ==> Before WaitForSingleObject(_m_stTcb.pThdLooper->m_hThread, INFINITE);...\n");
	WaitForSingleObject(_m_stTcbRoot.pThdLooper->m_hThread, INFINITE);
	DPRINTF("[DBG]  ==> After WaitForSingleObject(_m_stTcb.pThdLooper->m_hThread, INFINITE);...\n");
	
	_m_stTcbRoot.pThdLooper = nullptr;
	_m_stTcbRoot.enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::UNKNOWN;
	_m_stTcbRoot.dwGetLastErrorValue = 0;

	return TASK_ERR::ESUCCESS;
}

DWORD CTaskFather::dwGetTaskId(void)
{
	CAutoScopeSRWLOCKShared lock(&(_m_stTcbRoot.srwlock));

	if (_m_stTcbRoot.pThdLooper)
		return _m_stTcbRoot.pThdLooper->m_nThreadID;
	else
		return 0;
}

2.2. CTaskMgr

#pragma once

#include "CTaskFather.h"

#include "task_errno.h"

#include "DataCollector/CThdDataCollector.h"


#define N_MAX_TASK_OBJECT	(16)

namespace TASK_MGR 
{
	typedef enum class _enTaskCategory {
		DATA_COLLECTOR,
		MAX
	} TEN_TASK_CAT;

	typedef struct _task_property {
		const TEN_TASK_CAT enTaskCat;
		TCHAR tchTaskName[64];
	} TST_TASK_PROP, *PTST_TASK_PROP;

	typedef struct _task_object_entity {
		BOOL boUsed;
		TEN_TASK_CAT enTaskCat;
		CTaskFather* pTaskFather;
		DWORD dwLooperTid;
		SYSTEMTIME tmTagCreated;
		//SYSTEMTIME tmTagCompleted;
		ULONGLONG ullTickTagCreated;
		_task_object_entity() {
			ZeroMemory(this, sizeof(_task_object_entity));
		}

		void EraseData(void) {
			ZeroMemory(this, sizeof(_task_object_entity));
		}
	} TST_TASK_OBJECT, *PTST_TASK_OBJECT;

	typedef struct _task_object_entity_pool {
		SRWLOCK srwlock;
		TST_TASK_OBJECT _m_astTaskObj[N_MAX_TASK_OBJECT];
		_task_object_entity_pool() {
			InitializeSRWLock(&srwlock);
		}
	} TST_TASK_OBJECT_POOL, *PTST_TASK_OBJECT_POOL;
}

using namespace TASK_MGR;
class CTaskMgr
{
public:
	CTaskMgr();
	~CTaskMgr();

public:
	int CreateTask(TEN_TASK_CAT enTaskCat);
	int CreateTask(LPCTSTR lpTaskName);
	int DestroyTask(TEN_TASK_CAT enTaskCat);
	int DestroyTask(LPCTSTR lpTaskName);

	int DestroyTask(DWORD dwTaskId);
	int SuspendTask(DWORD dwTaskId);
	int ResumeTask(DWORD dwTaskId);

public:
	PTST_TASK_OBJECT_POOL pRefer_PTST_TASK_OBJECT_POOL(void) { return (&_m_stTaskObjPool); }
	PTST_TASK_PROP pRefer_PTST_TASK_PROP(void) { return _m_astTaskProp; }
private:
	int _iAcquireSlot_TaskObjPool(void);

private:
	//CThdDataCollector* _m_pDataCollector;

	TST_TASK_PROP _m_astTaskProp[static_cast<unsigned int>(TEN_TASK_CAT::MAX)] = {
		{ TEN_TASK_CAT::DATA_COLLECTOR, _T("data_collector")}
	};

	TST_TASK_OBJECT_POOL _m_stTaskObjPool;

};

#include "pch.h"
#include "CTaskMgr.h"


CTaskMgr::CTaskMgr()
{

}

CTaskMgr::~CTaskMgr()
{

}

int CTaskMgr::_iAcquireSlot_TaskObjPool(void)
{
	int iSlot = TASK_ERR::EOUTOF_RESOURCE;

	AcquireSRWLockExclusive(&(_m_stTaskObjPool.srwlock));
		for (int i = 0; i < N_MAX_TASK_OBJECT; i++) {
			if (FALSE == _m_stTaskObjPool._m_astTaskObj[i].boUsed) {
				_m_stTaskObjPool._m_astTaskObj[i].boUsed = TRUE;
				iSlot = i;
				break;
			}
		}
	ReleaseSRWLockExclusive(&(_m_stTaskObjPool.srwlock));

	return iSlot;
}

int CTaskMgr::CreateTask(TEN_TASK_CAT enTaskCat)
{
	int iPoolIndex;
	int iRet = TASK_ERR::EDUMMY_FUNCTION;

	if (TEN_TASK_CAT::MAX == enTaskCat) {
		return TASK_ERR::EPARAMETER_OUTOFRANGE;
	}

	iPoolIndex = this->_iAcquireSlot_TaskObjPool();
	if (iPoolIndex < 0) {
		return TASK_ERR::EOUTOF_RESOURCE;
	}

	PTST_TASK_OBJECT p = &(_m_stTaskObjPool._m_astTaskObj[iPoolIndex]);

	switch (enTaskCat) {
	case TEN_TASK_CAT::DATA_COLLECTOR:
		p->enTaskCat = TEN_TASK_CAT::DATA_COLLECTOR;
		p->ullTickTagCreated = GetTickCount64();
		GetLocalTime(&(p->tmTagCreated));

		p->pTaskFather = new CThdDataCollector();

		iRet = p->pTaskFather->iCreate();
		if (iRet < 0) {
			DPRINTF("[ERROR] CreateTask (%s) Failure(%d).\n", _m_astTaskProp[static_cast<UINT>(enTaskCat)].tchTaskName, iRet);
		}
		else {
			p->dwLooperTid = p->pTaskFather->dwGetTaskId();
			DPRINTF("[INFO] Task (%s) (tid:%u) created\n", _m_astTaskProp[static_cast<UINT>(enTaskCat)].tchTaskName, p->dwLooperTid);
		}
		break;
	default:
		;
	}

	return iRet;
}

int CTaskMgr::CreateTask(LPCTSTR lpTaskName)
{
	TEN_TASK_CAT enCat = TEN_TASK_CAT::MAX;
	for (int i = 0; i < sizeof(_m_astTaskProp) / sizeof(_m_astTaskProp[0]); i++) {
		if (0 == _tcsncmp(_m_astTaskProp[i].tchTaskName, lpTaskName, _tcslen(_m_astTaskProp[i].tchTaskName))) {
			enCat = _m_astTaskProp[i].enTaskCat;
			break;
		}
	}

	return this->CreateTask(enCat);
}

int CTaskMgr::DestroyTask(TEN_TASK_CAT enTaskCat)
{
	return TASK_ERR::EDUMMY_FUNCTION;
}

int CTaskMgr::DestroyTask(LPCTSTR lpTaskName)
{
	return TASK_ERR::EDUMMY_FUNCTION;
}

int CTaskMgr::DestroyTask(DWORD dwTaskId)
{
	int iPoolIdx = -1;

	AcquireSRWLockShared(&(_m_stTaskObjPool.srwlock));
	for (int i = 0; i < N_MAX_TASK_OBJECT; i++) {
		if (dwTaskId == _m_stTaskObjPool._m_astTaskObj[i].dwLooperTid) {
			iPoolIdx = i;
		}
	}
	ReleaseSRWLockShared(&(_m_stTaskObjPool.srwlock));

	if (iPoolIdx < 0) {
		return TASK_ERR::ETASK_ID_LOOKUP_FAILURE;
	}

	AcquireSRWLockExclusive(&(_m_stTaskObjPool.srwlock));
	_m_stTaskObjPool._m_astTaskObj[iPoolIdx].pTaskFather->iDestroy();
	delete _m_stTaskObjPool._m_astTaskObj[iPoolIdx].pTaskFather;
	_m_stTaskObjPool._m_astTaskObj[iPoolIdx].EraseData();
	ReleaseSRWLockExclusive(&(_m_stTaskObjPool.srwlock));

	return TASK_ERR::ESUCCESS;
}

int CTaskMgr::SuspendTask(DWORD dwTaskId)
{
	int iPoolIdx = -1;

	AcquireSRWLockShared(&(_m_stTaskObjPool.srwlock));
	for (int i = 0; i < N_MAX_TASK_OBJECT; i++) {
		if (dwTaskId == _m_stTaskObjPool._m_astTaskObj[i].dwLooperTid) {
			iPoolIdx = i;
		}
	}
	ReleaseSRWLockShared(&(_m_stTaskObjPool.srwlock));

	if (iPoolIdx < 0) {
		return TASK_ERR::ETASK_ID_LOOKUP_FAILURE;
	}

	_m_stTaskObjPool._m_astTaskObj[iPoolIdx].pTaskFather->vSuspend();

	return TASK_ERR::ESUCCESS;
}

int CTaskMgr::ResumeTask(DWORD dwTaskId)
{
	int iPoolIdx = -1;

	AcquireSRWLockShared(&(_m_stTaskObjPool.srwlock));
	for (int i = 0; i < N_MAX_TASK_OBJECT; i++) {
		if (dwTaskId == _m_stTaskObjPool._m_astTaskObj[i].dwLooperTid) {
			iPoolIdx = i;
		}
	}
	ReleaseSRWLockShared(&(_m_stTaskObjPool.srwlock));

	if (iPoolIdx < 0) {
		return TASK_ERR::ETASK_ID_LOOKUP_FAILURE;
	}

	_m_stTaskObjPool._m_astTaskObj[iPoolIdx].pTaskFather->vResume();

	return TASK_ERR::ESUCCESS;
}

3. 샘플 태스크

데이터 수집을 수행하는 역할의 태스크("data_collector")를 위 인터페이스를 적용하여 구현해 보았습니다.

아무 내용도 없는 더미 태스크라고 보면 됩니다. CTaskFater를 상속받아 virtual function을 override 하였기 때문에 CTaskFather의 포인터로 제어 가능합니다. Loop 내에서 MsgWaitForMultipleObjectsEx를 적용하였기 때문에 중지, 종료 이벤트뿐 아니라 다양한 MSG를 수신할 수 있습니다. 또한 State-Machine 방식으로 동작하도록 사전에 각 State를 정의하였으며 Main-State가 있고 각 Main-State에 대한 Sub-State가 있습니다.

#pragma once

#include "task/CTaskFather.h"

namespace TASK_DATA_COLLECTOR
{
	typedef enum class _enStateMain {
		UNKNOWN,
		INIT,		/* Check requirement */
		REAL_DATA_RECV,
		HISTORICAL_DATA_COLLECT,
		REAL_DATA_CORRECTION,
		IDLE_WAIT,
		MAX
	} TEN_STAT_MAIN;

	typedef enum class _enStateSub_INIT {
		ENTRY,
		MAX
	} TEN_STAT_SUB_INIT;

	typedef enum class _enStateSub_REAL_DATA_RECV {
		ENTRY,
		MAX
	} TEN_STAT_SUB_REAL_D_RCV;

	typedef enum class _enStateSub_HISTORICAL_DATA_COLLECT {
		ENTRY,
		MAX
	} TEN_STAT_SUB_HIST_D_COL;

	typedef enum class _enStateSub_REAL_DATA_CORRECTION {
		ENTRY,
		MAX
	} TEN_STAT_SUB_REAL_D_COR;

	typedef struct _task_control_block {
		SRWLOCK srwlock;

		BOOL boNoReturn;

		TEN_STAT_MAIN enStat_Main;
		TEN_STAT_MAIN enStatOld_Main;

		TEN_STAT_SUB_INIT enSub_INIT;
		TEN_STAT_SUB_INIT enSubOld_INIT;

		TEN_STAT_SUB_REAL_D_RCV enSub_REAL_D_RCV;
		TEN_STAT_SUB_REAL_D_RCV enSubOld_REAL_D_RCV;

		TEN_STAT_SUB_HIST_D_COL enSub_HIST_D_COL;
		TEN_STAT_SUB_HIST_D_COL enSubOld_HIST_D_COL;

		TEN_STAT_SUB_REAL_D_COR enSub_REAL_D_COR;
		TEN_STAT_SUB_REAL_D_COR enSubOld_REAL_D_COR;

		_task_control_block() {
			ZeroMemory(this, sizeof(struct _task_control_block));
			InitializeSRWLock(&srwlock);
		}
	} TST_TCB, * PTST_TCB;

}

using namespace TASK_DATA_COLLECTOR;

class CThdDataCollector : public CTaskFather
{
public:
	CThdDataCollector();
	~CThdDataCollector();

	int iRun(void) override;

	int iCreate(void) override;
	void vSuspend(void) override;
	void vResume(void) override;
	int iDestroy(void) override;
	static UINT ThdLooper(LPVOID pParam);

private:
	TST_TCB _m_stTcb;

private:
	void vRun_UNKNOWN(void);
	void vRun_INIT(void);
	void vRun_REAL_D_RCV(void);
	void vRun_HIST_D_COL(void);
	void vRun_REAL_D_COR(void);


};

#include "pch.h"
#include "CThdDataCollector.h"

#include "Noyecube.h"

#include "util/CAutolock.h"

using namespace TASK_DATA_COLLECTOR;
using namespace TASK_FATHER;
using namespace TASK_ERR;

CThdDataCollector::CThdDataCollector()
{
	_m_stTcbRoot.pfnThreadProc = this->ThdLooper;

	_m_stTcbRoot.lpOpaque_derived_1 = (LPVOID)(this);
	_m_stTcbRoot.lpOpaque_derived_2 = (LPVOID)(theApp.m_pXingMgr);

}

CThdDataCollector::~CThdDataCollector()
{

}

int CThdDataCollector::iCreate(void)	// override
{
	return CTaskFather::iCreate();
}

void CThdDataCollector::vSuspend(void)	// override
{
	CTaskFather::vSuspend();
}

void CThdDataCollector::vResume(void)	// override
{
	CTaskFather::vResume();
}

int CThdDataCollector::iDestroy(void)	// override
{
	return CTaskFather::iDestroy();
}

int CThdDataCollector::iRun(void)	// override
{

	do {

		_m_stTcb.boNoReturn = FALSE;

		switch (_m_stTcb.enStat_Main) {
		case TEN_STAT_MAIN::UNKNOWN:
			this->vRun_UNKNOWN();
			break;
		case TEN_STAT_MAIN::INIT:
			this->vRun_INIT();
			break;
		case TEN_STAT_MAIN::REAL_DATA_RECV:
			this->vRun_REAL_D_RCV();
			break;
		case TEN_STAT_MAIN::HISTORICAL_DATA_COLLECT:
			this->vRun_HIST_D_COL();
			break;
		case TEN_STAT_MAIN::REAL_DATA_CORRECTION:
			this->vRun_REAL_D_COR();
			break;
		case TEN_STAT_MAIN::IDLE_WAIT:
			;
			break;
		default:
			;
		}

		if (TRUE == _m_stTcb.boNoReturn) {
			continue;
		}

		break;

	} while (TRUE);

	return TASK_ERR::EDUMMY_FUNCTION;
}

UINT CThdDataCollector::ThdLooper(LPVOID pParam)
{
	PTST_TCB_ROOT pTcb = (PTST_TCB_ROOT)pParam;
	
	SetEvent(pTcb->hEvent_Suspend);

	WaitForSingleObject(pTcb->hEvent_Resume, INFINITE);
	ResetEvent(pTcb->hEvent_Resume);

	DPRINTF("ENTER Thread LOOP\n");

	DWORD dwWaitRet;
	MSG msg;
	constexpr DWORD dwNCOUNT = 3;
	HANDLE arrhEvents[dwNCOUNT] = {
		pTcb->hEvent_Suspend,
		pTcb->hEvent_Exec,
		pTcb->hEvent_QuitThread
	};
	
	HANDLE arrhEventsSuspended[2] = {
		pTcb->hEvent_Resume,
		pTcb->hEvent_QuitThread
	};
	pTcb->enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::RUNNING;

	pTcb->dwMsecInterval = 1000; /////////////// TSET VALUE !!!!! 
	while (TRUE) {
		dwWaitRet = MsgWaitForMultipleObjectsEx(dwNCOUNT, arrhEvents, pTcb->dwMsecInterval, QS_POSTMESSAGE, MWMO_INPUTAVAILABLE);

		if (WAIT_TIMEOUT == dwWaitRet) {	/* Expired pTcb->dwMsecInterval */
			DPRINTF("Tid(%d) Father(%p) hEvent(%p) Expired!! (%d)\n", GetCurrentThreadId(), pTcb->pTaskFather, 
				pTcb->hEvent_Suspend, pTcb->dwMsecInterval);
		}
		else if ((WAIT_OBJECT_0 + 1) == dwWaitRet) {	/* hEvent_Exec */

		}
		else if ((WAIT_OBJECT_0 + dwNCOUNT) == dwWaitRet) {	/* QS_POSTMESSAGE for PeekMessage() */

		}
		else if ((WAIT_OBJECT_0 + 0) == dwWaitRet) {	/* hEvent_Suspend */
			DPRINTF("Before Suspend\n");
			pTcb->enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::SUSPENDED;
			dwWaitRet = WaitForMultipleObjects(2, arrhEventsSuspended, FALSE, INFINITE);
			if ((WAIT_OBJECT_0 + 0) == dwWaitRet) {	/* hEvent_Resume */
				pTcb->enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::RUNNING;
				DPRINTF("Escape Suspend\n");
				ResetEvent(pTcb->hEvent_Suspend);
				ResetEvent(pTcb->hEvent_Resume);
			}
			else if ((WAIT_OBJECT_0 + 1) == dwWaitRet) {	/* hEvent_QuitThread */
				pTcb->enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::WAIT_REAP;
				break;
			} 
			else if (WAIT_FAILED == dwWaitRet) {

			}
			else {
				;
			}

		}
		else if ((WAIT_OBJECT_0 + 2) == dwWaitRet) {	/* hEvent_QuitThread */
			pTcb->enTaskStatus = TASK_FATHER::TEN_TASK_STATUS::WAIT_REAP;
			break;
		}
//		else if ((WAIT_OBJECT_0 + 0) == dwWaitRet) {	/* hEvent_Resume */


//		}
		else if (WAIT_FAILED == dwWaitRet) {
			DPRINTF("[ERROR] WAIT_FAILED with ErrorNo(%d)\n", GetLastError());
		}
		else {
			;
		}

		pTcb->pTaskFather->iRun();
	}

	/* TODO: Terminate Working Job */

	return 0;
}

4. 진단(Diagnostics) 모듈과의 연결

사용자에게 명령줄을 통한 입력을 받아 태스크를 제어하기 위한 간략 설명입니다.

GUI 화면을 하나 만들어서 ListBox와 EditBox를 배치하여 ListBox에는 결과물 출력, EditBox는 명령어 입력을 받도록 합니다. 이 창에서는 가장 첫 단어만 파싱 및 나머지 파라미터를 관련 구조체에 담아 해당 명령 처리 모듈로 넘겨주는 역할을 합니다. 파라미터는 숫자타입 파라미터는 -0, -1, -2,... 뒤에 값을 넣고 문자열타입 파라미터는 -a, -b, -c,... 뒤에 문자타입 파라미터를 입력합니다.

Diagnostics Dialog의 "task" 명령어 처리 부분

핵심은 ProcessCommandLine이며 코드는 다음과 같습니다.

#include <regex>
BOOL CDlgLocalDiagConsole::ProcessCommandLine(int argc, TCHAR* argv[], LPVOID lpParam)
{
	PTST_DIAG_REQUEST_ITEM p = (PTST_DIAG_REQUEST_ITEM)lpParam;
	std::regex re("[-+]?[0-9]+");
#if 0
	for (int i = 0; i < argc; i++)
	{
		m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
			_T("\targv[%d]=<%s>\n"), i, argv[i]);
	}
#endif
	if (nullptr == p) {
		return FALSE;
	}

	int c;
	optind = 1;		// this does not normally have to be done, but in
	// this app we may be calling getopt again

// In the following loop you would set/unset any global command 
// line flags and option arguments (usually in the CWinApp object) 
// as each option was found in the command line.  
//
// Here you could also enforce any required order in the options -
// for example, if option 'b' is seen, then option 'a' must be given
// first.  However, this is unusual and probably not a good idea
// in most apps.
//
// In general it is probably best to let ProcessCommandLine's caller
// sort out the command line arguments that were used, and whether 
// they are consistent.  In ProcessCommandLine, you want to save the
// options and the arguments, doing any conversion (atoi, etc.) that
// is necessary.
//
// Note in the optstring there are colons following the option letters
// (d and e) that take arguments.  Also note that option letters are 
// case sensitive.
//
// Normally you would have a case statement for each option letter.
// In this demo app, the case statement for option 'f' has been
// omitted on purpose, to show what will happen.

	while ((c = getopt(argc, argv, _T("0:1:2:3:4:5:6:7:a:b:c:d:e:f:g:h:"))) != EOF)
	{
		switch (c)
		{
		case _T('0'):	/* long [0] */
		case _T('1'):	/* long [1] */
		case _T('2'):	/* long [2] */
		case _T('3'):	/* long [3] */
		case _T('4'):	/* long [4] */
		case _T('5'):	/* long [5] */
		case _T('6'):	/* long [6] */
		case _T('7'):	/* long [7] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption a with value '%s'\n"), optarg);
			if (regex_match(optarg, re)) {
				//if (TRUE) {
				p->lOpaque[c - '0'] = _ttoi(optarg);
				p->bolOpaque[c - '0'] = TRUE;
				//DPRINTF("Regex Match True _ttoi(%s)->(%d)\n", optarg, p->lOpaque[c-'0']);
			}
			else {
				DPRINTF("Regex Match False _ttoi(%s)->(%d)\n", optarg, p->lOpaque[c - '0']);
				m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::Yellow, 0, _T("Regex Match False _ttoi(%s)->(%d)\n"), optarg, p->lOpaque[c - '0']);
				return FALSE;
			}

			break;
		case _T('a'):	/* TCHAR[[0] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption a with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[0], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[0] = TRUE;
			break;
		case _T('b'):	/* TCHAR [1] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption b with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[1], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[1] = TRUE;
			break;
		case _T('c'):	/* TCHAR [2] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption c with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[2], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[2] = TRUE;
			break;
		case _T('d'):	/* TCHAR [3] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption d with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[3], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[3] = TRUE;
			break;
		case _T('e'):	/* TCHAR [4] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption e with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[4], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[4] = TRUE;
			break;
		case _T('f'):	/* TCHAR [5] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption f with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[5], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[5] = TRUE;
			break;
		case _T('g'):	/* TCHAR [6] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption g with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[6], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[6] = TRUE;
			break;
		case _T('h'):	/* TCHAR [7] */
			m_ctrXListBoxConsole.Printf(CXListBox::Black, CXListBox::White, 0,
				_T("\toption h with value '%s'\n"), optarg);
			_tcsncpy_s(p->tchOpaque[7], _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]), optarg, _countof(TST_DIAG_REQUEST_ITEM::tchOpaque[0]) - 1);
			p->botchOpaque[7] = TRUE;
			break;
		case _T('?'):		// illegal option - i.e., an option that was
			// not specified in the optstring

// Note: you may choose to ignore illegal options
#if 0	/* IGNORE */
			m_ctrListBoxConsole.Printf(CXListBox::Red, CXListBox::White, 0,
				_T("\tERROR:  illegal option %s\n"), argv[optind - 1]);
			{
				CString str;
				str.LoadString(AFX_IDS_APP_TITLE);
				CString msg;
				msg = _T("Usage:  " + str + " -a -b -c -C -d AAA -e NNN -f");
				AfxMessageBox(msg);
			}
			return FALSE;
#endif
			break;

		default:		// legal option - it was specified in optstring,
			// but it had no "case" handler 

// Note: you may choose not to make this an error

			m_ctrXListBoxConsole.Printf(CXListBox::Red, CXListBox::White, 0,
				_T("\tWARNING:  no handler for option %c\n"), c);
			return FALSE;
			break;
		}
	}

	if (optind < argc)
	{
		CString strArgs;
		strArgs = _T("");

		// In this loop you would save any extra arguments (e.g., filenames).
		while (optind < argc)
		{
			if (strArgs.IsEmpty())
				strArgs = _T("\tAdditional non-option arguments: ");
			strArgs += _T("<");
			strArgs += argv[optind];
			strArgs += _T("> ");
			optind++;
		}

		if (!strArgs.IsEmpty())
		{
			m_ctrXListBoxConsole.AddLine(CXListBox::Black, CXListBox::White, (LPCTSTR)strArgs);
		}
	}

	// all options processed, return success

	return TRUE;
}

ProcessCommandLine에서 파싱 한 파라미터들을 담아 Diagnostics 모듈로 메시지 전달을 합니다.

Diagnostics 모듈의 태스크 명령어 처리 부분 코드는 다음과 같습니다.

void CDiagnostics::vExec_LocalDiagTask(PTST_DIAG_REQUEST_ITEM p)
{
	if (nullptr == p) {
		return;
	}

	DPRINTF("Cmd: %s\n", p->tchDiagCmd);

	if (0 == _tcsncmp(_T("status"), p->tchDiagCmd, _tcsclen(_T("status")))) {
		DPRINTF("status\n");
		CString cstrTemp;
		PTST_TASK_OBJECT_POOL pObj = theApp.m_pTaskMgr->pRefer_PTST_TASK_OBJECT_POOL();
		PTST_TASK_PROP pList = theApp.m_pTaskMgr->pRefer_PTST_TASK_PROP();

		AcquireSRWLockShared(&(pObj->srwlock));
		for (int i = 0; i < N_MAX_TASK_OBJECT; i++) {
			if (TRUE == pObj->_m_astTaskObj[i].boUsed) {
				cstrTemp.Format(_T("[%d][%02d-%02d-%02d %02d:%02d:%02d] TASK[%d] TID[%d] "),
					i, pObj->_m_astTaskObj[i].tmTagCreated.wYear, pObj->_m_astTaskObj[i].tmTagCreated.wMonth,
					pObj->_m_astTaskObj[i].tmTagCreated.wDay, pObj->_m_astTaskObj[i].tmTagCreated.wHour,
					pObj->_m_astTaskObj[i].tmTagCreated.wMinute, pObj->_m_astTaskObj[i].tmTagCreated.wSecond,
					pObj->_m_astTaskObj[i].enTaskCat, pObj->_m_astTaskObj[i].dwLooperTid);

				switch (pObj->_m_astTaskObj[i].pTaskFather->enGetTaskStatus()) {
				case TASK_FATHER::TEN_TASK_STATUS::RUNNING:
					cstrTemp.AppendFormat(_T("STAT[RUNNING]"));
					break;
				case TASK_FATHER::TEN_TASK_STATUS::SUSPENDED:
					cstrTemp.AppendFormat(_T("STAT[SUSPENDED]"));
					break;
				default:
					cstrTemp.AppendFormat(_T("STAT[UNKNOWN]"));
				}
				
				cstrTemp.AppendFormat(_T("[%s]"), pList[static_cast<UINT>(pObj->_m_astTaskObj[i].enTaskCat)].tchTaskName);

				if (p->pXListBox) {
					p->pXListBox->Printf(CXListBox::Black, CXListBox::White, 0, cstrTemp);
				}
				else {
					DPRINTF("%s\n", (LPCTSTR)cstrTemp);
				}
			}
		}
		ReleaseSRWLockShared(&(pObj->srwlock));
	}
	else if (0 == _tcsncmp(_T("list"), p->tchDiagCmd, _tcsclen(_T("list")))) {
		PTST_TASK_PROP pList = theApp.m_pTaskMgr->pRefer_PTST_TASK_PROP();
		for (int i = 0; i < static_cast<unsigned int>(TEN_TASK_CAT::MAX); i++) {
			if (p->pXListBox) {
				p->pXListBox->Printf(CXListBox::Black, CXListBox::White, 0, _T("TEN_TASK_CAT[%d] %s"), pList[i].enTaskCat, pList[i].tchTaskName);
			}
			else {
				DPRINTF("TEN_TASK_CAT[%d] (%s)\n", pList[i].enTaskCat, pList[i].tchTaskName);
			}
		}
	}
	else if (0 == _tcsncmp(_T("resume"), p->tchDiagCmd, _tcsclen(_T("resume")))) {
		DPRINTF("resume\n");
		theApp.m_pTaskMgr->ResumeTask(_ttoi(p->tchOpaque[0]));
	}
	else if (0 == _tcsncmp(_T("suspend"), p->tchDiagCmd, _tcsclen(_T("suspend")))) {
		DPRINTF("suspend\n");
		theApp.m_pTaskMgr->SuspendTask(_ttoi(p->tchOpaque[0]));
	}
	else if (0 == _tcsncmp(_T("create"), p->tchDiagCmd, _tcsclen(_T("create")))) {
		DPRINTF("create\n");
		theApp.m_pTaskMgr->CreateTask(p->tchOpaque[0]);
	}
	else if (0 == _tcsncmp(_T("destroy"), p->tchDiagCmd, _tcsclen(_T("destroy")))) {
		DPRINTF("destroy\n");
		theApp.m_pTaskMgr->DestroyTask(_ttoi(p->tchOpaque[0]));
	}
	else {
		DPRINTF("nop\n");
	}

	return;
}

void CDiagnostics::vExec_LocalDiagCommandLine(WPARAM wParam, LPARAM lParam)
{
	PTST_DIAG_REQUEST_ITEM p = (PTST_DIAG_REQUEST_ITEM)wParam;

	if (nullptr == p)
		return;

	/* Invoke Diag Request */
	switch (p->enDaigCmdCat) {
	case tenDiagCmdCat::UNKNOWN:
		break;
	case tenDiagCmdCat::TASK:
		vExec_LocalDiagTask(p);
		break;
	case tenDiagCmdCat::DIAG:
		break;
	case tenDiagCmdCat::TR:
		vExec_LocalDiagTrCode(p);
		break;
	default:
		;
	}

	if (nullptr != p) {
		delete p;
		p = nullptr;
	}

	return;
}

도움이 되셨기를 바라며 이상 마칩니다.

국내 주식 휴장일 영업일 캘린더 클래스 만들기

noyecube — Wed, 24 Apr 2024 14:51:46 +0900

코인 거래소는 24시간 365일 거래일이지만 국내 주식 시장은 예정된 이벤트(선거일, 대체공휴일 등) 등으로 토요일과 일요일 이외에도 휴장 하게 됩니다. 파이썬은 관련 모듈이 제공되어 즉시 사용가능 하지만 C/C++ 플랫폼에서의 사용을 위하여 주식시장 휴일 캘린더 클래스를 직접 구현해 보았습니다.

1. 휴장일 데이터 확보하기

휴장일 정보는 한국거래소 홈페이지의 KRX 시장 > 시장동향 > 증시일정 > 휴장일 경로에서 확인할 수 있고 엑셀 파일로 다운로드 가능 합니다.

URL 경로: https://open.krx.co.kr/

2. 휴장일 데이터 가공 및 소스코드화

KRX에서 제공하는 휴장일 데이터의 메타데이터는 "일자 및 요일", "요일구분", "비고"로서 데이터 샘플은

"2017-01-27", "금요일", "설날"입니다. 프로그램이 휴장일 판단에 실제 필요한 부분은 "일자 및 요일"로서

DWORD 타입의 배열 및 맵으로 관리하기 위하여 엑셀 매크로를 활용하여 YYYYMMDD 형식으로 변환 후 헤더파일을 생성하였습니다. 다음과 같이 관리하면 휴장일이 추가/삭제되더라도 간단하게 변경사항 적용 가능합니다. 소스코드에 포함하는 휴장일 정보는 휴장일 설정파일이 없을 때 기본 설정파일을 생성하기 위한 용도이며 지정 경로에 설정파일이 존재하면 설정파일로부터 휴장일 정보를 읽습니다.

KRX 휴장일 원본데이터 형식

헤더파일, 설정파일 생성 매크로

엑셀 매크로로 휴장일 배열 데이터 생성

자동생성 헤더파일-휴장일 값 167개를 의미

휴장일 정보 배열 생성

휴장일 정보 설정 파일

휴장일 배열 소스코드-휴장일 추가 삭제시 소스코드 수정이 필요 없음

3. MarketCalendars 클래스

BOOL boIsSession() 의 프로토타입으로 휴장일이면 FALSE, 개장일이면 TRUE를 반환하며 파라미터로 CTime, SYSTEMTIME, DWORD dwYYYYMMDD, LPCTSTR strYYYYMMDD를 받을 수 있도록 구현하였습니다.

BOOL boNextOpenDay()은 오늘 날짜를 넣으면 다음 개장일을 입력 파라미터에 Overwrite 하여 반환합니다.

유의사항으로는 CTime과 SYSTEMTIME의 토요일, 일요일 값이 다릅니다.

진단 모듈등을 통한 설정파일 동적 reloading 기능을 위하여 생성자에서 초기화 하지 않고 별도의 Init, DeInit을 두었습니다.

3.1. CMarketCalendars.h

#pragma once

#include "auto-generated/_autogen_noedit_market_holiday_array_size_krx.h"

#define N_CALENDARS_LOW_LIMIT_DATE	(19800101)
#define N_CALENDARS_HIGH_LIMIT_DATE	(21001231)

#define CTIME_DAYOFWEEK_SUNDAY		(1)
#define CTIME_DAYOFWEEK_SATURDAY	(7)

#define SYSTEMTIME_DAYOFWEEK_SUNDAY		(0)
#define SYSTEMTIME_DAYOFWEEK_SATURDAY	(6)

namespace MARKET_CALENDARS
{
	typedef enum class _enMarketCat {
		XKRX,
		MAX
	} TEN_MARKET_CAT;

	typedef CMap<DWORD, DWORD, BOOL, BOOL> TMAP_HOLIDAY_YYYYMMDD;
	typedef struct _market_holiday {
		SRWLOCK srwlock;
		DWORD dwEntityCnt;
		TMAP_HOLIDAY_YYYYMMDD map;
		_market_holiday() {
			dwEntityCnt = 0;
			map.RemoveAll();
			InitializeSRWLock(&srwlock);
		}

		void EraseData(void) {
			dwEntityCnt = 0;
			map.RemoveAll();
		}
	} TST_MARKET_HOLIDAY, *PTST_MARKET_HOLIDAY;
}

using namespace MARKET_CALENDARS;
class CMarketCalendars
{
public:
	CMarketCalendars();
	~CMarketCalendars();

	void vInit(void);
	void vDeInit(void);

	void vLoadMarketHoliday(void);

public:
	BOOL boIsSession(TEN_MARKET_CAT enMarket, const DWORD dwYYYYMMDD);
	BOOL boIsSession(TEN_MARKET_CAT enMarket, CTime& t);
	BOOL boIsSession(TEN_MARKET_CAT enMarket, SYSTEMTIME& t);
	BOOL boIsSession(TEN_MARKET_CAT enMarket, LPCTSTR strYYYYMMDD);

	/* next_open(), return next open day */
	BOOL boNextOpenDay(CTime& t);
	BOOL boNextOpenDay(SYSTEMTIME& t);

	static const DWORD m_arrKRX_Holiday[N_DFLT_ENTITY_MARKET_HOLIDAY_KRX];

private:
	TST_MARKET_HOLIDAY _m_astHolidayMap[static_cast<UINT>(TEN_MARKET_CAT::MAX)];
};

3.2. void CMarketCalendars::vLoadMarketHoliday(void)

설정파일을 읽어서 맵에 적재하는 코드입니다. 정적 배열과 설정파일의 내용을 합집합으로 관리합니다.

void CMarketCalendars::vLoadMarketHoliday(void)
{
	/* Check market_holiday_xxx.csv file */
	CString cstrFilePath;
	CFileFind cffFindFile;
	CFile* pcfp = nullptr;
	BOOL boRet;
	PTST_MARKET_HOLIDAY p = nullptr;
	char chBuf[128];

	/* [START] Build KRX Holiday Query Map */
	p = &(_m_astHolidayMap[static_cast<UINT>(TEN_MARKET_CAT::XKRX)]);
	AcquireSRWLockExclusive(&(p->srwlock));
	p->EraseData();
	for (int i = 0; i < N_DFLT_ENTITY_MARKET_HOLIDAY_KRX; i++) {	/* KRX */
		p->map.SetAt(m_arrKRX_Holiday[i], TRUE);
		p->dwEntityCnt++;
	}
	ReleaseSRWLockExclusive(&(p->srwlock));


	cstrFilePath.Format(_T("C:\\noyecube\\market_holiday_krx.csv"));

	boRet = cffFindFile.FindFile(cstrFilePath);
	if (!boRet) {
		DPRINTF("[WARN] C:\\noyecube\\market_holiday_krx.csv Lookup Fail. New market_holiday_krx.csv created with default values.\n");
		pcfp = new CFile();
		boRet = pcfp->Open(cstrFilePath, CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
		if (FALSE == boRet) {
			;	// do nothing
		}
		else {

			for (int i = 0; i < N_DFLT_ENTITY_MARKET_HOLIDAY_KRX; i++) {
				sprintf_s(chBuf, sizeof(chBuf), "%u\n", m_arrKRX_Holiday[i]);
				pcfp->Write(chBuf, 9);
			}

			pcfp->Flush();
			pcfp->Abort();
			delete pcfp;
			pcfp = nullptr;
		}
	}
	else {
		CStdioFile stdFp;
		DWORD dwTemp;
		boRet = stdFp.Open(cstrFilePath, CFile::modeRead | CFile::shareDenyNone | CFile::typeText);
		if (TRUE == boRet) {
			AcquireSRWLockExclusive(&(p->srwlock));
			while (stdFp.ReadString(chBuf, sizeof(chBuf) - 1)) {
				//DPRINTF("INFO %s", chBuf);
				dwTemp = (DWORD)_ttoi(chBuf);
				if ((dwTemp < N_CALENDARS_LOW_LIMIT_DATE) || (dwTemp > N_CALENDARS_HIGH_LIMIT_DATE)) {	/* Range filtering */
					continue;
				}
				DPRINTF("INFO %u\n", dwTemp);
				p->map.SetAt(dwTemp, TRUE);
			}
			ReleaseSRWLockExclusive(&(p->srwlock));
			stdFp.Close();
		}
	}
	/* [END] Build KRX Holiday Query Map */

	return;
}

3.3. BOOL CMarketCalendars::boIsSession(TEN_MARKET_CAT enMarket, LPCTSTR strYYYYMMDD)

YYYYMMDD 형식의 문자열을 받으면 형식이 맞는지 길이를 체크 후 연도, 월, 일을 구한 뒤 CTime 객체를 생성하여 요일을 구합니다. 요일이 토요일, 일요일에 해당하면 즉시 FALSE를 반환하고 월화수목금에 해당하면 휴장일 맵을 체크 하여 휴장일 맵에 존재하는 날짜면 FALSE를 반환, 그렇지 않으면 TRUE를 반환합니다.

BOOL CMarketCalendars::boIsSession(TEN_MARKET_CAT enMarket, LPCTSTR strYYYYMMDD)
{
	DWORD dwTemp;
	BOOL boRet = FALSE;
	BOOL boRvalue;
	int iSizeOfString;
	int iDayofWeeek;
	PTST_MARKET_HOLIDAY p = nullptr;

	CString cstrTemp = strYYYYMMDD;
	cstrTemp.Trim();

	iSizeOfString = cstrTemp.GetLength() + 1;	/* count including '\0' + 1 */

	DPRINTF("[INFO] iSizeOfString (%d)\n", iSizeOfString);
	if (iSizeOfString != 9) {	/* Checking string format YYYYMMDD */
		return FALSE;
	}
	
	TCHAR tchBuf[9];
	_tcscpy_s(tchBuf, 9, cstrTemp);

	dwTemp = (DWORD)_ttoi(cstrTemp);
	DPRINTF("[INFO] dwTemp = %d\n", dwTemp);
	if ((dwTemp < N_CALENDARS_LOW_LIMIT_DATE) || (dwTemp > N_CALENDARS_HIGH_LIMIT_DATE)) {	/* Range filtering */
		return FALSE;
	}

	WORD wYear;
	WORD wMonth;
	WORD wDay;

	wDay = _ttoi(tchBuf + 6);
	tchBuf[6] = '\0';
	wMonth = _ttoi(tchBuf + 4);
	tchBuf[4] = '\0';
	wYear = _ttoi(tchBuf);
	
	DPRINTF("[INFO] boIsSession LPCTSTR [%d], [%d] [%d] [%d]\n", dwTemp, wYear, wMonth, wDay);

	CTime ct(wYear, wMonth, wDay, 9, 0, 0);
	DPRINTF("[INFO] boIsSession CTime::DayOfWeek (%d)\n", ct.GetDayOfWeek());

	switch (enMarket) {
	case TEN_MARKET_CAT::XKRX:
		/* Check SUNDAY OR SATURDAY */
		iDayofWeeek = ct.GetDayOfWeek();
		if ((CTIME_DAYOFWEEK_SATURDAY == iDayofWeeek) || (CTIME_DAYOFWEEK_SUNDAY == iDayofWeeek)) {
			return FALSE;
		}

		p = &(_m_astHolidayMap[static_cast<UINT>(TEN_MARKET_CAT::XKRX)]);

		AcquireSRWLockShared(&(p->srwlock));
		boRet = p->map.Lookup(dwTemp, boRvalue);
		ReleaseSRWLockShared(&(p->srwlock));
		if (TRUE == boRet) { /* Hit Holiday */
			return FALSE;
		}
		else {
			return TRUE;
		}
		break;
	default:
		break;
	}

	return boRet;
}

3.4. 샘플 데이터 결과 확인

호출 코드와 디버깅 메시지 결과입니다.

m_MkCalendars.vInit();	/* CMarketCalendars */
/* FIXME: Test Code */
LPSTR lpsz = _T("20200501");
if (TRUE == m_MkCalendars.boIsSession(TEN_MARKET_CAT::XKRX, lpsz)) {
	DPRINTF("[INFO] (%s) is Session Day\n", lpsz);
}
else {
	DPRINTF("[INFO] (%s) is HoliDay\n",
}

20200501 결과-금요일인데 휴장일로 판단

이상으로 C++ 환경에서 주식 휴장일 캘린더 클래스를 만들어 보았습니다.

용문동4구역 재개발 주민설명회 후기

noyecube — Tue, 9 Apr 2024 23:34:34 +0900

이번 포스팅에서는 대전 용문동4구역 재개발 주민설명회 내용을 공유해 드리겠습니다.

추진준비위원회, 사업개요, 조합원 혜택에 대한 정보를 확인하실 수 있습니다.

주민설명회는 2024년 4월 9일 오후 7시 용문교회에서 개최되었습니다.

용문동4구역은 용문동123구역의 둔산더샵엘리프 바로 옆에 위치한 구역입니다.

용문동123구역이 본격 추진될 때 용문동4구역은 원룸건물 등 다세대를 처지어 올려서 지분 부풀리기, 쪼개기를 시도한

외지인들 때문에 노후도 점수에 악영향을 받아서 같이 진행되지 못하였습니다.

또한, 코로나 시국으로 인하여 총회 등 주민의견수렴에 차질이 발생하여 이제야 본격적인 활동을 시작한 시점입니다.

용문4구역의 재개발이 순탄하게 진행되기 위해서는 서구청에 지속적으로 악성민원을 넣어 진행을 방해하는 세력에

대항하여 조속한 진행을 요청하는 응원과 격려 민원 또한 넣어야 할 것으로 생각됩니다.

1. (가칭)용문동4구역 추진준비위원회 활동 이력

용문동4구역 주민설명회 현수막

추진준비위원회는 두 세력이 서로 추진준비위원회라며 대립하고 있는 상황이며

양쪽의 말을 비교해본 결과 추진방향은 다음과 같습니다.(아닐 수 있음)

토착 할아버지 세력: 최대한 빽빽하게 국평 짓고 최대한 조합원 이익을 늘려주겠다.
재개발 전문 업체: 기존 용문123 및 기타 트렌드에 맞춰 명품단지를 표방(넓은 동간거리, 대형평수 등)

1.1. 2022년

8월: 조례개정 자료 반영(사전 의견 제출)
10월 21일~22일: 주민공람 공고
10월 27일: 주민설명회 개최(서구청 주최)
11월 18일: 구의회 의견청취

1.2. 2023년

2월 23일: 조례개정 공포(노후도 완화)
5월: 사전심의 의견으로 구역확대 협의
5월 12일~19일: 심의 사전 검토
5월 25일: 사전심의 의견 반영 구역 확대 결정
6월 11일: 구역확대주민설명회 개최(추진위)

2. 설명회 발표 자료 및 설명

2.1. 입지

용문동4구역은 둔산권 마지막 재개발지역이라고 합니다.

학군이 탄방중, 삼천중, 문정중에 배정되니 틀린 말은 아닌 것 같습니다.

용문동4구역 입지

반포, 압구정에 안 살아 봤지만 학군은 둔산 학군이고, 유등천변에 바로 인접하고 있으며 지하철 역세권(용문역)이고 도보로 롯데백화점(언제 망할지 모르지만 성심당 입점시킴)과 병원, 스타벅스, 남선공원 등 부족함 없는 생활권입니다.

용문4구역 입지 비유

2.2. 사업개요

현시점의 사업개요는 계획변경을 통해 얼마든지 변경될 수 있는 사항이지만 가장 최신의 더 나아간 구체적 진행 계획이라는 점에서 의의가 있습니다.

총 1,555세대 계획 중 34평형을 초과하는 39평형과 44평형 물량을 충분히 확보하여 대형평수 수요를 충족시켜 주겠다는 전략입니다. 발표자료의 "명품단지" 단어가 무색하지 않으려면 입지, 층간소음등급, 주차대수라고 생각하는데요, 계획되어 있는 주차대수는 2,490대로서 세대당 1.6대의 주차면을 확보하게 됩니다. 유성온천역과 각종 대중교통이 충분한 유성 호반베르디움의 주차대수가 세대당 1.3대 정도인데도 주차장에 모자람이 없는 것을 보면 유사하게 지하철역과 대중교통 노선이 좋은 용문4구역도 24시간 여유 있는 주차공간이 유지될 것으로 판단됩니다.

35층까지의 건물이면 라인당 엘베가 2대 이상에 알고리즘으로 동작해야 출입에 문제가 없을 것으로 생각됩니다.

유등천변 쪽 약 5M 폭의 긴 둑이 용적률 적용을 받지 않아서 커뮤니티 센터 공간 확보에 추가적인 이득이 발생한다고 하니 참고하시기 바랍니다,

용문4구역 사업개요

건축사무소에서 제시한 조감도입니다. 토착 원주민 세력 측에서는 동간 간격등을 더 좁히고 더 많이 지어서 조합원 이득을 높여준다고 꼬시는 것 같은데(아님 말고~) 이는 소탐대실 전략으로서 한탕 해먹고 튀려는 것으로 보여서 저는 반대입니다. 분담금을 더 내더라도 프라이버시 보장되고 쾌적한 곳에서 살고 싶고 이러한 장점은 결국 나중에 타 단지보다 높은 시세로 반영될 수 있는 요소가 됩니다.

용문동4구역 조감도

39타입은 임대세대로서 96세대이고 분양세대는 1,459세대로 총 1,555세대입니다.

용문 123구역은 대형평수 물량이 부족하여 전부 조합원선에서 분양이 되었는데 용문4구역은 대형평수 물량이 넉넉하여 일반분양도 가능해 보입니다.

용문4구역 배치도

2.3. 향후 계획

서구청에 반대의견으로 악성 민원을 넣는 작전세력들의 악영향을 안 받게 될 경우를 가정한 일정입니다.

이 구역에 관심이 있어서 매수를 하시려면 서구청에 조속한 진행을 요청하셔야 재산권 침해 없이 진행될 것입니다.

2024.04.: 조치계획 제출 및 대전시 이관
2024.05.: 도시계획 위원회 심의 사전검토
2024.06.: 도시계획 위원회 심의
2024.07.: 정비구역지정 고시
2024.09.: 추진위원회 구성
2024.12.: 창립총회
2025.01.: 조합설립 인가
2025.04.: 시공사 선정, 건축심의
2027: 사업시행인가, 분양신청
2028: 관리처분인가, 이주
2029: 착공, 일반분양
2031: 준공 및 입주

조합원분들께서는 당장의 이득보다는 분담금이 조금 더 들더라도 층간소음, 주차대수, 내장재 등에 약점이 없는(악플러가 호갱노노 등 부동산 어플에 약 올리지 못하는) 아파트가 건설될 수 있도록 앞으로의 의사결정에 현명한 판단 부탁드립니다.

(다수결이 꼭 현명한 판단 결과가 되는 것은 아니므로 전문가들의 의견에 귀 기울여 경청하시고 공부를 많이 하시기 바랍니다.)

시간이 지나면 용문4구역 아파트의 시세가 그에 화답을 해 줄 것입니다.

2.4. 평면정보

현시점의 평면정보는 어디까지나 안으로서의 의미가 있는 자료이고 확정이 아닙니다.

용문4구역 59타입 평면도

용문4구역 74타입 평면도

용문4구역 84A타입 평면도

용문4구역 84B타입 평면도

용문4구역 99A타입 평면도

용문4구역 114타입 평면도

개인적으로 대형평수는 거실이나 안방 크기만 잡아서 늘릴게 아니라 그에 맞는 창고공간도 충분히 확보되었으면 좋겠습니다.(아니면 소화전 옆에 공용 창고 공간을 만들어 주시거나)

3. 조합원의 혜택

조합원의 혜택은 다음과 같습니다.

낮은 분양가격: 현시점 기준 일반 분양가가 평당 2,200만원 일 때, 조합원 분양가는 1,020만원 할인된 1,180만원 입니다. 감정평가금액이 3억인 주택을 피 2억을 주고 5억에 구입해서 34평을 신청하게 되면, 비례율 130%(평당 2,200 일반분양시 기준)를 가정할 때 일반분양 74,800만원 대비 34,680만원 싼 40,120에 분양받아서 피 2억을 계상하면 60,120원으로 일반분양가에 비해 1억4천6백80만원 저렴하게 내집마련을 함과 동시에 조합원 분양세대의 프리미엄을 추가로 누리실 수 있습니다. 피가 2억 미만이면 더 이득인 것은 말할 것도 없겠죠?
조합원 특별 마감재: 조합원 세대는 일반분양 세대보다 고급 마감재를 사용하여 시공됩니다.
좋은 위치 및 평형 우선배정: 용문123 구역의 조합원들이 대형평수를 싹쓸이한 것처럼 원하는 위치의 세대를 골라가질 수 있습니다. 대지 지분이 큰 순서로 선택 우선권을 가지게 됩니다.
사업이익 배당: 일반분양을 해서 그 이득을 배당받습니다. 40평 대지지분의 감정평가를 3억으로 산정받게 되면 비례율 130% 기준으로 34평은 추가부담금 약 1천만원만 내면 됩니다. 감정평가는 서구청에서 감정평가사 2인을 임명하며 2인의 감정평가금액 평균으로 산출됩니다.

4. 평가금액은 얼마?

감정 평가시점은 사업시행인가시점이며 약 2026년 기준으로 평가될 것으로 예상되고 있습니다.

공시지가로 평가되는 것이 아니며 해당 시점의 시세를 반영하여 평가되고 구청의 감정평가사가 평가합니다.

현재 용문4구역의 대지지분 40평 단독주택의 공시지가는 1억 미만입니다. 이자부담 없이 진입하실 수 있는 분은

감정평가전에 진입하시는 것이 이득일듯 하네요.

5. 추가부담금의 결정 시기

추가부담금이 발생할 수 있습니다. 서울 둔촌주공이 코로나 시국에 급상승한 공사비 때문에 난리 났었죠.

추가부담금은 관리처분인가시 확정되며 평가금액, 공사비 등의 사업비를 반영하여 비례율 산정 후 산출됩니다.

마지막으로 현장 분위기를 전합니다.

용문동의 역사가 오래된 만큼 연로하신 분들이 대부분이었습니다.

앞으로의 의사결정에 실거주를 희망하시는 젊으신 분들도 많이 참여하여 제대로 된 재개발이 되기를 희망합니다.

총회 진행방해 세력

이상으로 대전 용문동4구역 재개발 주민설명회 내용을 공유해 드렸습니다.

직접 발로 뛰어서 열심히 취재하여 적었습니다. 도움이 되셨다면 광고도 한 번씩 구경하고 가주시면 감사하겠습니다.

하나만 알고 둘은 모르는 분들이 재개발 반대 외치고 다니시던데 자신의 무지몽매함으로인해 사업이 지연되면 지연될수록 공사비는 증가하여 차익은 적어진다는 사실만 알고 계십시오. 2017년에는 대전 유성구 아파트 34평 분양가가 3억선이었습니다. 지금 통화량이 증가하고 물가상승분이 반영되어 최소 6억이 되었습니다. 신규 분양 아파트들도 분양가가 6억 7억부터 시작합니다. 그럼 또 반대하는 분들은 너무 올라서 먹을게 없다 이제는 재개발 어렵다고 하시죠. 시간이 지금 멈춰있는게 아닌데 왜 그런말을 하시는거죠? 늦었다고 생각할때가 가장 빠를 때 입니다.

[MFC] CMap class 사용법 예제

noyecube — Sat, 30 Dec 2023 08:07:56 +0900

MFC의 CMap 클래스는 키와 값의 쌍으로 이루어진 맵을 구현하는 클래스입니다. C++ 표준라이브러리의 map 클래스와 유사하지만 MFC에 특화된 기능을 추가로 제공합니다. CMap 클래스는 MFC에 종속적입니다.

이번 포스팅에서는 CMap 클래스 초기화, 삽입, 탐색, 삭제 등을 예제 코드로 알아보겠습니다.

1. CMap 클래스 사용사례

배열이나 리스트로 자료를 관리해야 할 때 특정 값이 어느 인덱스에 있는지 찾으려면 탐색을 해야 하는데 최악의 경우 N-1까지 탐색을 해야 합니다. 이때 찾으려는 값을 KEY, 인덱스를 VALUE로 CMap에 저장해 두면 deterministic 하게 탐색 가능합니다.

2. CMap 클래스 설명

CMap을 사용하려면 CMap 인스턴스를 생성해야 하는데 공식 MSDN 구문은 다음과 같습니다.

template<class KEY, class ARG_KEY, class VALUE, class ARG_VALUE>class CMap : public CObject

MSDN 설명으로는 잘 모르겠으니 실제 작성 코드를 보겠습니다.

KEY, VALUE가 필요한데 2개씩 중복이 되어 있는 것을 확인할 수 있습니다.

KEY-원형, KEY-레퍼런스타입파라미터, VALUE-원형, VALUE_레퍼런스타입파라미터라고 보시면 됩니다.

문자열은 MFC에서 LPCTSTR으로 참조하니까 CString의 경우에도 LPCTSTR으로 해주시면 되고

문자열이 아닌 다른 타입들은 원형과 레퍼런스 타입을 똑같이 기입해 주시면 됩니다.

typedef CMap<CString, LPCTSTR, int, int> TMAP_DS_STOCK_INDEX;
typedef CMap<CString, LPCTSTR, TST__DS_BALANCE_OCCURS*, TST__DS_BALANCE_OCCURS*> TMAP_DS_BALANCE_OCCURS;   /* KEY: LPCTSTR SH CODE. */
typedef CMap<long, long, TST__DS_UNEXECUTED_ORDER*, TST__DS_UNEXECUTED_ORDER*> TMAP_DS_UNEXECUTED_ORDER;   /* KEY: LONG OrderNumber */
typedef CMap<CString, LPCTSTR, PTST_RIL_SESSION_NODE, PTST_RIL_SESSION_NODE> TMAP_PTST_RIL_SESSION_NODE_BY_tchNoyeNetId;
typedef CMap<SOCKET, SOCKET, PTST_RIL_SESSION_NODE, PTST_RIL_SESSION_NODE> TMAP_PTST_RIL_SESSION_NODE_BY_SOCKET;
typedef CMap<PTST_RIL_SESSION_NODE, PTST_RIL_SESSION_NODE, SOCKET, SOCKET> TMAP_PTST_RIL_SESSION_NODE_POOL;
typedef CMap<UINT, UINT, PTST_RIL_SESSION_NODE, PTST_RIL_SESSION_NODE> TMAP_PTST_RIL_SESSION_NODE_ALLOC_POOL;

MSDN에 나와 있는 공용 메서드 목록은 다음과 같습니다.

CMap::GetCount 이 맵의 요소 수를 반환합니다.
CMap::GetHashTableSize 해시 테이블의 요소 수를 반환합니다.
CMap::GetNextAssoc 반복할 다음 요소를 가져옵니다.
CMap::GetSize 이 맵의 요소 수를 반환합니다.
CMap::GetStartPosition 첫 번째 요소의 위치를 반환합니다.
CMap::InitHashTable 해시 테이블을 초기화하고 해당 크기를 지정합니다.
CMap::IsEmpty 빈 맵 조건(요소 없음)에 대한 테스트입니다.
CMap::Lookup 지정된 키에 매핑된 값을 조회합니다.
CMap::PGetFirstAssoc 첫 번째 요소에 대한 포인터를 반환합니다.
CMap::PGetNextAssoc 반복할 다음 요소에 대한 포인터를 가져옵니다.
CMap::PLookup 값이 지정된 값과 일치하는 키에 대한 포인터를 반환합니다.
CMap::RemoveAll 이 맵에서 모든 요소를 제거합니다.
CMap::RemoveKey 키로 지정된 요소를 제거합니다.
CMap::SetAt 맵에 요소를 삽입합니다. 는 일치하는 키가 있으면 기존 요소를 대체합니다.

3. CMap 클래스 사용 예제

3.1. 메모리 풀 구현에 CMap 클래스 사용

TST_RIL_SESSION_NODE 타입을 배열로 여러개 만들어두고 메모리 풀로 관리하려고 합니다.

점유되지 않은 슬롯을 찾기 위해 탐색을 해야 하는데 이 때 CMap이 유용하게 사용됩니다.

TST_RIL_SESSION_NODE_POOL에 mapFreeNodesPool, mapAllocNodesPool을 두었습니다.

그리고 구조체 생성자에서 두 맵을 .InitHashTable() 로 크기를 할당합니다. InitHashTable은 호출해도 되고 안 해도 됩니다.

어차피 동적으로 사용 가능합니다. 그 다음 for() 문에서 "mapFreeNodesPool[&(astNodes[i])] = i;" 코드가 초기화의 핵심입니다. PTST_RIL_SESSION_NODE 를 map 인덱스로 하여 배열 인덱스를 저장하고 있습니다.

"mapFreeNodesPool.SetAt(&(astNodes[i]), i);"으로 사용하는 것과 동일합니다.

/* 메모리 객체 구조체 타입 */
typedef struct _ril_session_node : OVERLAPPED {
	const WORD __wMemPoolIndex;
	const BOOL __boDynamicallyAllocated;
	SRWLOCK srwlock;

	SOCKET _sock;
	char _buff[RIL_SESSION_NODE_BUF_LEN];
	DWORD dwUsedLen;	// used length of _buff. purpose: resuming truncated packets

	_ril_session_node():__wMemPoolIndex(0), __boDynamicallyAllocated(FALSE) {
		ZeroMemory(this, sizeof(_ril_session_node));
		_sock = INVALID_SOCKET;
		InitializeSRWLock(&srwlock);
	}

} TST_RIL_SESSION_NODE, * PTST_RIL_SESSION_NODE;

/* PTST_RIL_SESSION_NODE를 KEY로 갖는 CMap 클래스 타입 */
typedef CMap<PTST_RIL_SESSION_NODE, PTST_RIL_SESSION_NODE, UINT, UINT> TMAP_PTST_RIL_SESSION_NODE_ALLOC_POOL;

/* PTST_RIL_SESSION_NODE 를 관리할 메모리풀 구조체 타입 */
typedef struct _ril_session_node_pool {
	SRWLOCK srwlock;
	WORD wFreeNodesCnt;
	TMAP_PTST_RIL_SESSION_NODE_ALLOC_POOL mapFreeNodesPool;	/* Free Nodes */
	TMAP_PTST_RIL_SESSION_NODE_ALLOC_POOL mapAllocNodesPool;	/* Allocated Nodes */
	TST_RIL_SESSION_NODE astNodes[MAX_CAPACITY_COUNTOF_SESSION_NODE];
	_ril_session_node_pool() {
		wFreeNodesCnt = sizeof(astNodes) / sizeof(TST_RIL_SESSION_NODE);
		mapFreeNodesPool.InitHashTable((sizeof(astNodes) / sizeof(TST_RIL_SESSION_NODE)));
		mapAllocNodesPool.InitHashTable((sizeof(astNodes) / sizeof(TST_RIL_SESSION_NODE)));

		for (int i = 0; i < (sizeof(astNodes) / sizeof(TST_RIL_SESSION_NODE)); i++) {
			(WORD)(astNodes[i].__wMemPoolIndex) = (WORD)i;
			mapFreeNodesPool[&(astNodes[i])] = i;
			/* Remove Usage: mapFreeNodesPool.RemoveKey[i]; */
		}
		InitializeSRWLock(&srwlock);
	}
} TST_RIL_SESSION_NODE_POOL, * PTST_RIL_SESSION_NODE_POOL;

이제 위에서 정의한 메모리 풀을 사용하기 위해 메모리 풀 인스턴스 생성 후 할당 함수 코드를 작성해 보겠습니다.

"new TST_RIL_SESSION_NODE" 호출 대신, "pAlloc_PTST_RIL_SESSION_NODE()"호출로 메모리풀에서 할당받을 수 있습니다.

_m_stPrsnAllocPool.IsEmpty() 호출 대신 Diagnostics 용도의 wFreeNodesCnt를 체크하여 "_m_stPrsnAllocPool.wFreeNodesCnt <= 0" 코드로 Empty여부를 판단하는데 여러분 자유입니다.

할당은 비어있는 아무 슬롯을 최대한 빨리 찾아 주면 되기 때문에 "PGetFirstAssoc()" 메서드를 사용합니다.

"CPair"가 핵심입니다. CPair* p에는 KEY와 VALUE가 들어있습니다.

예제코드에서의 p->key는 PTST_RIL_SESSION_NODE입니다. p->key->를 통해 PTST_RIL_SESSION_NODE의 각 필드에도 접근할 수 있습니다.

/* 메모리 풀 인스턴스 생성 */
TST_RIL_SESSION_NODE_POOL _m_stPrsnAllocPool;

PTST_RIL_SESSION_NODE CRilSession::pAlloc_PTST_RIL_SESSION_NODE(void)
{
	CAutoScopeSRWLOCKExclusive lock(&(_m_stPrsnAllocPool.srwlock));

	if (_m_stPrsnAllocPool.wFreeNodesCnt <= 0) {
		return nullptr;
	}

	TMAP_PTST_RIL_SESSION_NODE_ALLOC_POOL::CPair* p = _m_stPrsnAllocPool.mapFreeNodesPool.PGetFirstAssoc();
	_m_stPrsnAllocPool.mapFreeNodesPool.RemoveKey(p->key);
	_m_stPrsnAllocPool.mapAllocNodesPool.SetAt(p->key, p->value);
	_m_stPrsnAllocPool.wFreeNodesCnt--;

	return (p->key);
}

void CRilSession::vFree_PTST_RIL_SESSION_NODE(PTST_RIL_SESSION_NODE pKey)
{
	if (nullptr == pKey) {
		return;
	}

	CAutoScopeSRWLOCKExclusive lock(&(_m_stPrsnAllocPool.srwlock));

	BOOL boRet = _m_stPrsnAllocPool.mapAllocNodesPool.RemoveKey(pKey);
	
	if (FALSE == boRet) {
		if (TRUE == pKey->__boDynamicallyAllocated) {	// allocated dynamically by "new TST_RIL_SESSION_NODE"
			delete pKey;
		}
		return;
	}

	pKey->vResetFiledData();
	pKey->_sock = INVALID_SOCKET;

	_m_stPrsnAllocPool.mapAllocNodesPool.SetAt(pKey, pKey->__wMemPoolIndex);
	_m_stPrsnAllocPool.wFreeNodesCnt++;

	return;
}

3.2. Key값에 대응하는 Value 얻기

Lookup메서드를 사용합니다. 파라미터로 넘기는 Key, Value 둘 다 레퍼런스 타입임에 유의하세요.

포인터를 넘기지 않습니다. Lookup에 성공하면 TRUE를 반환하므로 이때 Value 값이 유효합니다.

int CDataStore::iGet_TST_DS_STOCK_MASTER_expCodeIndex(LPCTSTR expCode)
{
	int iIndex;
	BOOL boRet;

	AcquireSRWLockShared(&(_m_stDS_STOCK_INDEX.srwlock));
	boRet = _m_stDS_STOCK_INDEX.mapIndexEXP.Lookup(expCode, iIndex);
	ReleaseSRWLockShared(&(_m_stDS_STOCK_INDEX.srwlock));

	if (TRUE == boRet)
		return iIndex;
	else
		return -1;
}

3.3. CMap 훑어보기

CMap 클래스 내부의 전체 키와 값을 출력하려면 CMap 클래스의 GetStartPosition() 메서드와 GetNextAssoc() 메서드를 사용하여 가능합니다.

POSITION pos;
PTST__DS_BALANCE_OCCURS p = nullptr;
posOccurs = pBalanceObj->pMapOccurs->GetStartPosition();
while (pos) {
			pBalanceObj->pMapOccurs->GetNextAssoc(posOccurs, cstrTemp, p);

			/* Do Something~~ */
 }

이상으로 MFC에서 CMap 클래스를 사용하는 법을 알아보았습니다.

[WINAPI] 비동기 소켓 재활용 예제

noyecube — Mon, 25 Dec 2023 01:04:05 +0900

소켓 재활용은 이미 연결이 끊어진 소켓을 재사용하는 기술입니다. 소켓을 재활용하면 새로운 소켓을 생성하지 않고 기존 소켓을 활용하여 새로운 연결을 맺을 수 있습니다. 즉 소켓 생성 및 소켓 핸들 관리에 필요한 시스템 리소스를 절약할 수 있습니다. 소켓을 재활용하기 위해서는 소켓 연결이 끊어진 상태여야 합니다.

서버 관점에서 클라이언트의 접속을 비동기로 처리하는 과정은 다음과 같습니다.

리슨 소켓 생성 및 리슨 포트 바인드
소켓 미리 생성 후 대기 소켓 풀에 등록
클라이언트 접속 종료 시 사용한 소켓 재사용처리 후 대기 소켓 풀에 등록

예제 코드는 IOCP 기반입니다. 이해가 되지 않으면 다음의 IOCP 프로토타입 포스팅을 참고하세요.

2023.12.13 - [프로그래밍/C | C++] - IOCP 기반 다중 접속 및 데이터 처리-1

IOCP 기반 다중 접속 및 데이터 처리-1

윈도 환경에서 다중 클라이언트의 접속을 처리하는 네트워크 서버를 구현하기 위해서는 IOCP 사용이 필수라고 생각합니다. 에코 서버를 IOCP 기반으로 구현한 예제는 많지만 실제 현업에서 다중

blog.noyecube.com

2023.12.14 - [프로그래밍/C | C++] - IOCP 기반 다중 접속 및 데이터 처리-2

IOCP 기반 다중 접속 및 데이터 처리-2

이전 포스팅에서 IOCP 서버 스켈레톤 코드를 작성해 보았습니다. 이번 포스팅에서는 IOCP 서버를 위한 스레드풀 초기화 코드를 살펴보겠습니다. 1. IOCP 서버 실행 결과 실행결과 먼저 살펴보겠습니

blog.noyecube.com

1. LISTEN SOCKET 생성하기

만약 443번 포트로 서비스를 하려면 443번의 포트로의 접속 요청을 현재 프로세스가 소유한 소켓 핸들과 연관 관계를 맺어 주어야 합니다. 이를 소켓 바인딩이라고 합니다. 빈 소켓을 생성 후 포트번호와 함께 바인드함수를 호출하면 443번 포트는 현재 프로세스의 소켓 핸들과 연결되어 컨트롤 가능해집니다. 그다음 소켓을 LISTEN 상태로 설정하여 클라이언트의 연결 요청을 받을 수 있는 상태로 변경하면 리슨 소켓 생성 단계가 완료됩니다.

// TCP/IP 속성의 소켓을 생성
SOCKET hsoListen = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);

// 소켓 생성 확인
if (hsoListen == INVALID_SOCKET)
{
	DPRINTF("[ERR] socket failed, code : (%d)\n", WSAGetLastError());
	return INVALID_SOCKET;
}

// shPortNo: 포트번호
// 위에서 생성한 소켓을 포트번호와 bind
SOCKADDR_IN	sa;
memset(&sa, 0, sizeof(SOCKADDR_IN));
sa.sin_family = AF_INET;
sa.sin_port = htons(shPortNo);
sa.sin_addr.s_addr = htonl(INADDR_ANY);
LONG lSockRet = bind(hsoListen, (PSOCKADDR)&sa, sizeof(SOCKADDR_IN));
if (lSockRet == SOCKET_ERROR)
{
	DPRINTF("[ERR] bind failed, code : (%d)\n", WSAGetLastError());
	closesocket(hsoListen);
	return INVALID_SOCKET;
}
DPRINTF("INFO] listen() setup with nBacklog-SOMAXCONN (%x)-(%x)\n", nBacklog, SOMAXCONN);

// 포트를 리슨상태로 변경
lSockRet = listen(hsoListen, nBacklog);
if (lSockRet == SOCKET_ERROR)
{
	DPRINTF("[ERR] listen failed, code : (%d)\n", WSAGetLastError());
	closesocket(hsoListen);
	return INVALID_SOCKET;
}

// shPortNo 포트로 접속 대기 상태가 됨

2. IOCP에 LISTEN SOCKET 등록하기

생성된 LISTEN SOCKET에 클라이언트 접속 이벤트가 발생하면 IOCP 콜백 함수가 호출되도록 LISTEN SOCKET으로 IOCP 핸들을 생성합니다. 다음의 코드는 IOCP 핸들을 생성하는 동시에 파라미터로 전달한 hsoListen 소켓 핸들을 IOCP에 등록하고 IOCP 콜백 호출 시 IOKEY_LISTEN 값을 파라미터로 전달합니다.

#define IOKEY_LISTEN	1

HANDLE hIocp = INVALID_HANDLE_VALUE;

hIocp = CreateIoCompletionPort((HANDLE)hsoListen, NULL, IOKEY_LISTEN, (stSysInfo.dwNumberOfProcessors / 2));
if (NULL == hIocp) {
	DPRINTF("[ERR] CreateIoCompletionPort failed, code : (%d)\n", GetLastError());
	return 0;
}

3. IOCP LISTEN SOCKET에 ACCEPT 소켓 미리 생성하여 할당하기

Accept() 함수는 동기함수이기 때문에 호출시 클라이언트가 접속할 때까지 호출위치에서 블로킹상태에 빠집니다.

클라이언트의 접속 요청을 비동기적으로 처리하기 위해서는 소켓을 미리 생성 후 IOCP에 등록된 LISTEN SOCKET과 BIND 해두면 접속 이벤트 발생 시 IOCP 콜백함수가 호출되게 됩니다.

// AcceptEx 함수 포인터 획득
LPFN_ACCEPTEX pfnAcceptEx = (LPFN_ACCEPTEX)
	GetSockExtAPI(hsoListen, WSAID_ACCEPTEX);
   
int nPooledCnt = 0;
int nIncCnt = 10;	// 미리 생성할 소켓 수 10개로 설정
for (; nPooledCnt < nIncCnt; nPooledCnt++)
{
	// 빈 소켓을 미리 생성한다.
	SOCKET sock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
	if (sock == INVALID_SOCKET)
		break;
        
    // OVERLAPPED 구조체를 상속한 소켓 노드 구조체
    // typedef struct _ril_session_node : OVERLAPPED
    // 구조체 내부에 SOCKET _sock; 을 필드로 갖고 있음
	PTST_RIL_SESSION_NODE prsn = new TST_RIL_SESSION_NODE;
	prsn->_sock = sock;
    
    // AcceptEx 호출. 리슨소켓에 빈 소켓을 바인딩함과 동시에 OVERLAPPED 구조체를 넘겨서
    // listen socket이 등록된 IOCP 핸들과 연결 한다.
    // 즉, listen socket에 접속 이벤트가 발생하면 미리 생성한 빈 소켓에 Accept가 되면서
    // IOCP 콜백함수가 호출되며 이 때의 파라미터는 CreateIoCompletionPort 호출시에 넘긴
    // IOKEY_LISTEN 값이 되므로 이를 통해 새로운 접속이벤트를 처리할 수 있다.
	BOOL bIsOK = pfnAcceptEx
	(
		hsoListen, sock, prsn->_buff, ACCEPTEX_INITIAL_DWRECEIVEDATALEN,
		sizeof(SOCKADDR_IN) + 16, sizeof(SOCKADDR_IN) + 16,
		NULL, (LPOVERLAPPED)prsn
	);
    
	if (bIsOK == FALSE)
	{
		if (WSAGetLastError() != WSA_IO_PENDING)
		{
			DPRINTF("[ERR] AcceptEx failed, code : (%d)\n", WSAGetLastError());
			closesocket(prsn->_sock);
			delete prsn;
			break;
		}
	}
    
    // 미리 생성해둔 소켓은 별도 소켓 풀에 등록해 둠
	AcquireSRWLockExclusive(&(_m_stSessionObj.srwlock));
	_m_stSessionObj.mapAcceptExPool.SetAt(prsn, prsn->_sock);
	ReleaseSRWLockExclusive(&(_m_stSessionObj.srwlock));
}

4. IOCP 콜백 함수에서 클라이언트 Connect, Disconnect 감지

ThdRilIocp() 는 IOCP 스레드풀의 Worker Thread입니다. 이벤트 발생 시 호출되는 Callback Thread입니다.

Connect 감지는 IOKEY_LISTEN 값을 파라미터로 받았을 때 입니다. Accept 완료 상태이므로 Accept 소켓을 IOCP에 등록합니다. 접속한 클라이언트가 패킷 데이터를 송신하면 역시 IOCP 콜백스레드가 호출되며 else {} 구문으로 빠지게 됩니다. else {} 구문 진입했는데 전송받은 데이터가 0바이트이면 접속 종료로 처리하고 그게 아니면 데이터를 처리하면 됩니다.

UINT CRilServer::ThdRilIocp(LPVOID pParam)
{
...생략...

	PTST_RIL_SESSION_NODE prsn = NULL;

	int nErrCode;

	while (TRUE) {
		try
		{
			BOOL bIsOK = GetQueuedCompletionStatus(hIocp, &dwTrBytes, &upDevKey, (LPOVERLAPPED*)&prsn, INFINITE);

			if (FALSE == bIsOK)
			{
				...생략...
			}

			// 신규 클라이언트 Connect 이벤트 감지 부분
			if (IOKEY_LISTEN == upDevKey)
			{
            	// 신규 접속이므로 미리 생성된 소켓을 IOCP에 등록해주고 이벤트 키는 IOKEY_CHILD로 등록
				CreateIoCompletionPort((HANDLE)prsn->_sock, hIocp, IOKEY_CHILD, 0);
				DPRINTF("[INFO] ==> New client, connected...\n");
				pRilObj->_m_pThdRilServerMgr->PostThreadMessageA(MSG_ID_CRILSEREVR_SOCK_CONNECTED, 0, (LPARAM)prsn);
			}
			else
			{
            	// 클라이언트 Disconnect 이벤트 감지 부분
				if (0 == dwTrBytes) {
					throw (INT)ERROR_SUCCESS;	/* Socket disconnected from client */
				}
                
               ...생략...
               
             }
....생략
}

catch 문에서 처리하는 STATUS 값은 다음과 같습니다.

#ifndef NTSTATUS_SOCK_LOCAL_DISCONNECT
#	define NTSTATUS_SOCK_LOCAL_DISCONNECT	((LONG)0xC000013BL)	//ERROR_NETNAME_DELETED
#endif
#ifndef NTSTATUS_SOCK_REMOTE_DISCONNECT
#	define NTSTATUS_SOCK_REMOTE_DISCONNECT	((LONG)0xC000013CL)	//ERROR_NETNAME_DELETED
#endif
#ifndef NTSTATUS_SOCK_CONNECTION_RESET
#	define NTSTATUS_SOCK_CONNECTION_RESET	((LONG)0xC000020DL)	//ERROR_NETNAME_DELETED
#endif
#ifndef NTSTATUS_SOCK_CANCELLED
#	define NTSTATUS_SOCK_CANCELLED			((LONG)0xC0000120L)	//ERROR_OPERATION_ABORTED
#endif

catch (int ex)
{
	if ((ex == NTSTATUS_SOCK_LOCAL_DISCONNECT) || (ex == NTSTATUS_SOCK_CANCELLED))
	{
		DPRINTF("[DBG]  ==> Child socket closed.\n");
		continue;
	}
	if ((ex == ERROR_SUCCESS) || (ex == NTSTATUS_SOCK_REMOTE_DISCONNECT)) {
		DPRINTF("[DBG]  ==>  ==> Client  disconnected...\n");
	}
	else if (ex == NTSTATUS_SOCK_CONNECTION_RESET) {
		DPRINTF("[DBG]  ==> Pending Client disconnected...\n");
	}
	else {
		DPRINTF("[DBG] ==> Client has error(%d)...\n", ex);
	}
	pRilObj->_m_pThdRilServerMgr->PostThreadMessageA(MSG_ID_CRILSERVER_SOCK_DISCONNECTED, ex, (LPARAM)prsn);
}

5. 접속, 종료 세션 관리

저는 접속 세션 객체를 리스트로 관리했는데 세션을 관리하는 자료구조는 프로그램 특성에 따라 자유롭게 개발하면 됩니다. IOCP 스레드에서 접속, 종료에 따라 이벤트 메시지를 전송하면 아래와 같이 세션에 등록하거나 세션에서 해제합니다.

PTST_RIL_SESSION_NODE prsn = (PTST_RIL_SESSION_NODE)msg.lParam;
if (MSG_ID_CRILSEREVR_SOCK_CONNECTED == msg.message) {
	pthis->m_RilSession.vRegisterSocketToSessionObj(prsn);
}
else if (MSG_ID_CRILSERVER_SOCK_DISCONNECTED == msg.message) {
	pthis->m_RilSession.vUnregisterSocketFromSessionObj(hsoListen, prsn);
}

6. 소켓 재사용 처리

종료세션 함수 vUnregisterSocketFromSessionObj()의 코드 중 소켓 재사용 처리하는 부분입니다.

close 함수 대신 disconnectex를 통해 접속만 종료 후 다시 acceptex를 호출하고 있습니다.

재사용이기 때문에 상위 응용 스레드에서는 소켓 핸들값만 가지고 클라이언트의 변경을 감지하기 어렵습니다.

따라서 세션을 관리하는 자료구조에서는 클라이언트 접속시 클라이언트 고유 번호를 부여하고

접속 종료 이벤트 발생시 해당 클라이언트가 처리 중인 송수신 패킷을 다른 클라이언트에 이관하거나 상위 응용 스레드에 Abort 이벤트를 전달하고 클라이언트 고유번호를 갱신해야 합니다.

예를 들어, 클라이언트 A가 서버로 데이터를 요청하여 서버가 데이터를 준비하고 있는 동안 클라이언트 A가 접속 종료를 해버리고 A가 사용하던 소켓 핸들을 재사용하여 클라이언트 B가 접속했는데 서버가 A에 응답하려던 패킷을 클라이언트 B가 받지 않도록 처리를 해야 합니다.

// 소켓을 close 하지 않고 disconnect 합니다.
LPFN_DISCONNECTEX pfnDisconnectEx = (LPFN_DISCONNECTEX)GetSockExtAPI(prsn->_sock, WSAID_DISCONNECTEX);
pfnDisconnectEx(prsn->_sock, NULL, TF_REUSE_SOCKET, 0);
prsn->pNext = nullptr;
prsn->pPrev = nullptr;
ZeroMemory(prsn->_buff, sizeof(TST_RIL_SESSION_NODE::_buff));
prsn->dwUsedLen = 0;
prsn->pStreamHead = nullptr;	/* should be called free function or pass pointer to worker thread before this line */
prsn->pStreamTail = nullptr;
		
ZeroMemory(&(prsn->saLocal), sizeof(SOCKADDR_IN));
ZeroMemory(&(prsn->saRemote), sizeof(SOCKADDR_IN));
ZeroMemory(&(prsn->sysTmLoggedIn), sizeof(SYSTEMTIME));
prsn->ullCntTx = 0;
prsn->ullCntRx = 0;
prsn->uRtt = 0;
ZeroMemory(prsn->tchNoyeNetId, sizeof(TST_RIL_SESSION_NODE::tchNoyeNetId));
prsn->uTxPriority = 0;
prsn->enApiCat = TEN_STOCK_API_CAT::UNKNOWN;
prsn->u8TradeSupportMask = 0;

// 다시 비동기 accept 호출하여 리슨 소켓에 등록해 두고 접속 이벤트 발생시 iocp 콜백 호출 되도록 합니다.
LPFN_ACCEPTEX pfnAcceptEx = (LPFN_ACCEPTEX)GetSockExtAPI(hsoListen, WSAID_ACCEPTEX);
boRet = pfnAcceptEx(hsoListen, prsn->_sock, prsn->_buff, ACCEPTEX_INITIAL_DWRECEIVEDATALEN, sizeof(SOCKADDR_IN) + 16, sizeof(SOCKADDR_IN) + 16,	NULL, (LPOVERLAPPED)prsn);
if (FALSE == boRet) {
	int nErrCode = WSAGetLastError();
	if (nErrCode != WSA_IO_PENDING)
	{
		DPRINTF("[ERR] AcceptEx failed, code : (%d)\n", GetLastError());
		closesocket(prsn->_sock);
		delete prsn;
		return;
	}
}

_m_stSessionObj.mapAcceptExPool.SetAt(prsn, prsn->_sock);
DPRINTF("DBG] Released socket. AcceptExPool(%Iu) LoggedinSessions(%Iu) ConnectedOnly(%Iu)\n", _m_stSessionObj.mapAcceptExPool.GetCount(), _m_stSessionObj.mapTchNoyeNetId.GetCount(), _m_stSessionObj.mapConnectedOnlyPool.GetCount());
}

7. 대기 소켓 풀 증가

예제 코드에서는 소켓 10개를 미리 생성하여 IOCP에 등록해두었습니다. 10개의 클라이언트까지는 IOCP 콜백이 호출되어 처리되지만 미리 생성한 소켓을 다 소진했을 때 추가적인 클라이언트 접속 요청을 받으면 미리 생성해 둔 소켓이 없기 때문에 LISTEN SOCKET에 이벤트가 발생하게 됩니다. IOCP 스레드가 아닌 관리 스레드에 LISTEN SOCKET에 대한 ACCEPT 이벤트를 대기하고 있다가 ACCEPT 이벤트 발생 시 소켓을 미리 생성하면 됩니다.

예제 코드에서의 핵심은 WSAEventSelect에서 FD_ACCEPT 플래그를 LISTEN SOCKET에 등록한 이벤트 hWSAEvent 핸들을 통해 ACCEPT를 감지하고 WSAEnumNetworkEvents에서 FD_ACCEPT 여부를 필터링하여 소켓 생성함수를 다시 호출하는 부분입니다. WSAEnumNetworkEvents 호출시 hWSAEvent 핸들에서 FD_ACCEPT 이벤트는 RESET 되어 다시 새로운 ACCEPT 이벤트를 감지할 수 있는 상태가 됩니다.

	WSAEVENT hWSAEvent = WSACreateEvent();
	WSAEventSelect(hsoListen, hWSAEvent, FD_ACCEPT);
	constexpr DWORD dwNCOUNT= 1;
	DWORD dwWaitRet;
	MSG msg;
	while (TRUE) {
		dwWaitRet = MsgWaitForMultipleObjectsEx(1, &hWSAEvent, RIL_SERVER_SOCKET_POOL_REFRESH_INTERVAL, QS_POSTMESSAGE, MWMO_INPUTAVAILABLE);

		if ((WAIT_OBJECT_0 + 0) == dwWaitRet) {	/* FD_ACCEPT event at hWSAEvent by hsoListen */
			WSANETWORKEVENTS ne;
			WSAEnumNetworkEvents(hsoListen, hWSAEvent, &ne);
			if (ne.lNetworkEvents & FD_ACCEPT) {

				int iRet;
				iRet = pthis->m_RilSession.IncreaseAcceptSockets(hsoListen);
				DPRINTF("hsoListen event signaled, iRet(%d) PoolCnt(%Iu), SessionCnt(%Iu)\n", iRet, pthis->m_RilSession.iGetCount_AcceptExPOOL(), pthis->m_RilSession.iGetCount_ConnectedSessions());
			}

여기까지 IOCP 기반의 소켓 접속, 종료, 재사용을 알아보았습니다.

[SQL] SELECT SQL 예제

noyecube — Wed, 20 Dec 2023 00:15:40 +0900

이번 포스팅에서는 데이터를 추출하거나 조회할 때 사용하는 SELECT SQL을 알아보겠습니다.

예제 SQL 구문을 작성하기 위한 샘플 데이터 테이블 구조는 아래 그림을 참고해 주세요.

구입한 책을 보며 직접 따라한 결과를 리마인드 할 겸 일기 형식으로 기록한 것입니다.

테이블 구조는 행(ROW)과 열(COLUMN)의 이차원 구조로 이루어져 있습니다.

데이터분석 책에서 제공받은 데이터 테이블명 'stock' 조회 결과

SELECT SQL 기본 문법

위의 'stock' 테이블을 조회하려면 다음의 SQL 쿼리를 실행하면 됩니다.

SELECT *
FROM STOCK;

쿼리문 작성 시 대소문자는 구분하지 않습니다. 또한 쿼리문의 끝은 다른 프로그래밍 언어와 유사하게 세미콜론(';')으로 구분합니다. 단어와 단어 사이는 띄어쓰기를 하거나 줄 바꿈을 하거나 상관없고 세미콜론으로 마침표만 찍어주면 됩니다.

위 쿼리문에서 "SELECT", "FROM"은 '절(Clause)'로 구분되며 테이블에서 데이터를 추출하려면 SELECT 절과 FROM 절이 필요합니다. '*' 문자는 "모든"것을 뜻하며 SELECT 뒤에 올 경우 모든 열을 선택하겠다는 의미입니다.

'*' 대신 "STK_NM"으로 조회할 경우 아래와 같이 해당 열만 선택되어 조회됩니다.

SELECT 실행 결과

ORDER BY 절

ORDER BY 절은 조회 데이터의 정렬 순서를 지정할 때 사용하며 SELECT 구문의 마지막 절로 붙여 사용합니다.

예제 테이블에서 STK_NM을 기준으로 정렬하여 데이터 조회를 하려면 다음과 같이 조회합니다.

결과를 확인하면 예제 테이블과 다른 순서로 데이터가 조회된 것을 확인할 수 있습니다.

SELECT *
FROM STOCK
ORDER BY STK_NM;

STK_NM 정렬로 조회한 결과

정렬 기준을 설정하지 않으면 기본적으로 오름차순 정렬로 조회됩니다. 정렬기준은 다음과 같습니다.

ASC: 오름차순(Ascending)
DESC: 내림차순(Descending)

위 조회구문에 내림차순 기준을 적용한 쿼리문은 다음과 같습니다. 맨 뒤에 정렬 기준을 적어주면 됩니다.

SELECT *
FROM STOCK
ORDER BY STK_NM DESC;

ORDER BY 절은 다음과 같이 여러 칼럼을 지정하여 사용할 수 있습니다. 먼저 나열된 칼럼의 값이 같을 때 뒤쪽에 나열된 칼럼으로 정렬됩니다. 아래 예에서는 종목코드가 같을 수 없기 때문에 뒤쪽의 ORDER BY STK_NM ASC 조건은 무시되어 처리됩니다.

SELECT *
FROM STOCK
WHERE SEC_NM IN ('자동차부품', '기계와장비')
ORDER BY STK_CD ASC, STK_NM ASC;

WHERE 절

WHERE 절은 테이블에서 필요한 데이터만 조회하기 위해 조건식 역할을 하는 절입니다.

위 예제 테이블에서 STK_TP_NM이 우선주인 종목만 조회하려면 WHERE 절을 추가하여 다음과 같이 조회합니다.

SELECT *
FROM STOCK
WHERE STK_TP_NM='우선주'
ORDER BY STK_NM;

위 구문에서 사용한 '='의 의미는 "같다"입니다. 프로그래밍 언어에서 '=='로 표현되는 것과 차이가 있습니다. 나머지 조건 연산자는 프로그래밍 언어에서 사용하는 것과 동일하며 다음과 같습니다.

연산자	의미	상세 설명
=	equal to	두 값이 동일하면 참
!=	not equal to	두 값이 다르면 참
<	less than	첫 번째 값이 두번째 값보다 작으면 참
>	greater than	첫 번째 값이 두번째 값보다 크면 참
<=	less than or equal to	첫 번째 값이 두 번째 값보다 작거나 같으면 참
>=	greater than or equal to	첫 번째 값이 두 번째 값보다 크거나 같으면 참

조건 연산자를 하나씩 직접 응용해 본 SELECT 문은 다음과 같습니다.

# 우선주만 조회
SELECT *
FROM STOCK
WHERE STK_TP_NM='우선주';

# STK_TP_NM 이 null 인 행만 조회
SELECT *
FROM STOCK
WHERE STK_TP_NM is null;

# STK_TP_NM이 null 이 아닌 행만 조회
SELECT *
FROM STOCK
WHERE STK_TP_NM is not null;

# 섹터가 화장품이 아닌 행만 조회
SELECT *
FROM STOCK
WHERE SEC_NM!='화장품';

# 종목코드가 051905보다 작거나 같은 행만 조회
SELECT *
FROM STOCK
WHERE STK_CD<='051905';

조건 연산자와 AND, OR를 조합한 중첩 조건문

C 언어에서 여러 조건을 연결하려면 AND와 OR를 "&&", "||"로 표현하는데 SQL에서는 문자 그대로(AND, OR) 사용합니다. AND는 연결된 모든 조건을 만족해야 하고 OR는 나열된 조건 중 하나만 만족해도 참이 됩니다.

예제 테이블에서 종목섹터가 화학이면서 코스닥에 상장된 종목을 조회하려면 다음과 같이 AND 조건을 사용하여 조회합니다.

SELECT *
FROM STOCK
WHERE SEC_NM='화학'
AND EX_CD='KD';

예제 테이블에서 종목섹터가 기계와장비 또는 자동차부품인 종목을 조회하려면 다음과 같이 OR 조건을 사용하여 조회합니다.

SELECT *
FROM STOCK
WHERE SEC_NM='기계와장비'
OR SEC_NM='자동차부품';

여러 개의 AND, OR연산자를 사용할 때는 구문별로 괄호를 사용해야 예상하지 못한 결과를 피할 수 있습니다.

# 코스피 종목이면서 섹터가 기계와장비거나 자동자부품인 종목 조회
# 쿼리 작성 의도를 반영하여 괄호로 묶습니다.
SELECT *
FROM STOCK
WHERE EX_CD='KP'
AND (SEC_NM='기계와장비' OR SEC_NM='자동차부품');

LIKE 조건 연산자

리눅스 콘솔 프롬프트에서 "ls *.sh" 명령은 확장자가 ".sh"인 모든 파일을 나열합니다. 또는 "ls file_?.sh"는 중간에 한 글자가 아무 문자나 해당되는 파일을 나열합니다. 이와 유사한 결과를 얻기 위해 SQL에서도 LIKE 조건 연산자를 사용할 수 있습니다. LIKE 연산자는 문자열의 패턴을 지정하여 데이터를 검색하는 데 사용되며 숫자 타입에는 사용 불가능합니다. 또는 LIKE 연산자의 기본 구문은 다음과 같습니다.

WHERE 컬럼명 LIKE 패턴;

패턴은 문자열로 지정되며 와일드카드 문자를 사용하여 지정할 수 있고 와일드카드와 의미는 다음과 같습니다.

%: 0개 이상의 문자를 나타냅니다.
_: 1개의 문자를 나타냅니다.

예를 들어 다음 쿼리문은 STOCK 테이블에서 NM 칼럼의 값이 "삼성"으로 시작(포함)하는 모든 데이터를 검색합니다.

SELECT *
FROM STOCK
WHERE STK_NM LIKE '삼성%';

WHERE STK_NM LIKE '삼성%' 조회 결과

포함하지 않는 데이터 조회 시 NOT LIKE를 사용합니다. 섹터가 "반도체"인데 종목명에 "전자"가 없는 종목 조회 방법은 다음과 같습니다.

SELECT *
FROM STOCK
WHERE SEC_NM='반도체'
AND STK_NM NOT LIKE '%전자%';

NOT LIKE 조회 결과

IN 조건 연산자

섹터가 "증권", "금융", "은행"인 종목을 OR 연산자를 활용하여 조회하는 구문은 다음과 같습니다.

SELECT *
FROM STOCK
WHERE SEC_NM='증권'
OR SEC_NM='금융'
OR SEC_NM='은행';

위 구문을 IN 연산자를 적용하면 다음과 같습니다.

SELECT *
FROM STOCK
WHERE SEC_NM IN ('증권','금융','은행');

반대로 섹터가 "증권", "금융", "은행"이 아닌 종목 조회는 NOT IN을 사용하여 다음과 같이 조회합니다.

SELECT *
FROM STOCK
WHERE SEC_NM NOT IN ('증권','금융','은행');

BETWEEN 조건 연산자

IN 연산자가 OR 쿼리문을 최적화하였다면 BETWEEN 연산자는 AND 쿼리문을 최적화할 수 있습니다.

다음의 쿼리문으로 BETWEEN을 사용했을 때 어떤 느낌인지 감을 잡아볼 수 있습니다.

SELECT *
FROM STOCK
WHERE STK_CD>='002820'
AND STK_CD<='002990';

# BETWEEN 사용
SELECT *
FROM STOCK
WHERE STK_CD BETWEEN '002820' AND '002990';

자료형(Data Type)

Database에는 다양한 데이터 타입이 있지만 그중에서 문자, 숫자 데이터 타입이 가장 일반적으로 사용됩니다.

문자 데이터 타입을 조회할 때는 싱글 따옴표(')를 사용해야 합니다. 12345는 12,345의 값을 가진 숫자이고

'12345'는 문자열입니다.

문자 데이터 타입은 문자로 조회하고 숫자 데이터 타입은 숫자로 조회해야 합니다.

이상으로 SELECT SQL문에 대한 기본적인 사용 방법을 알아보았습니다.

[Oracle] legacy exp dump파일 data pump expdp import 방법

noyecube — Mon, 18 Dec 2023 18:33:09 +0900

이번 포스팅 주제는 "Importing Dump Files into Oracle Database Using SQL Developer, Starting with Tablespaces and Users"입니다. 제가 얼마 전 SQL 공부를 위해 "평생 필요한 데이터 분석"이라는 제목의 책을 샀는데 실습을 위해서는 Oracle Database를 설치하고 책 저자님이 제공해 주시는 샘플 데이터를 import 해야 했습니다.

테이블스페이스와 사용자 계정을 생성하고 제공받은 덤프 파일을 리눅스에 설치한 Oracle DB에 IMPORT 해보겠습니다.

1.제공받은 dump 파일을 import 해야 할 때 사전 검토 사항

남으로부터 제공받은 dump 파일을 import 하려면 다음의 사항을 사전에 검토해야 합니다.

계정명, 테이블스페이스명, 테이블스페이스 용량

계정명은 반드시 일치해야 합니다.
테이블스페이스명은 일치하지 않아도 됩니다.
테이블스페이스 용량이 제공받은 dump 파일의 용량 이상이어야 합니다.

캐릭터 셋

dump 파일의 캐릭터 셋과 대상 DB의 캐릭터 셋이 다를 경우 데이터가 깨질 수 있습니다.
dump 파일의 캐릭터 셋을 사전에 체크하여 대상 DB의 캐릭터 셋으로 변경해야 합니다.

저의 경우, 제공받은 dump 파일의 캐릭터 셋이 AL32UTF이고 대상 DB의 캐릭터셋이 KO16MSWIN949라서 캐릭터셋 변경이 필요합니다. 덤프 파일의 확장자가 .dump이면 구형 유틸리티 exp/imp를 사용하였기 때문에 캐릭터셋이 일치해야 합니다. 확장자가 .dmp이면 DATA PUMP 유틸리티 expdp/impdp를 사용하였기 때문에 캐릭터셋이 일치하지 않아도 "possible data loss"경고만 뜨고 import는 가능합니다.

버추얼박스에서 AL32UTF8 캐릭터셋 DB를 빠르게 설치 후 그 DB에 제공받은 덤프 파일을 import 후 다시 data pump 유틸리티 expdp로 export 후 캐릭터셋이 KO16MSWIN949인 제 DB에 import 해보겠습니다. AL32UTF8 캐릭터 셋은 전 세계의 모든 언어를 표현할 수 있는 대신 한글도 1글자에 3바이트를 소비하여 비효율적입니다. KO16MSWIN949는 한글 1글자에 2바이트가 필요하고 영어도 표현되므로 아랍어, 러시아어, 중국어 같은 문자까지 저장해야 하는 DB가 아니면 대한민국에서는 KO16MSWIN949를 추천합니다.

2. exp/imp 와 expdp/impdp

exp/imp는 Oralce 8i 이전 버전부터 사용된 데이터 백업 및 복원 유틸리티입니다. exp/imp는 단일 프로세스로 데이터를 export 및 import 하므로, 대규모 데이터베이스의 경우 시간이 오래 걸리고 자원 사용량이 많다는 단점이 있습니다.

expdp/impdp는 Oracle 10g부터 도입된 데이터 백업 및 복원 유틸리티입니다. expdp/impdp는 다중 프로세스로 데이터를 export 및 import하므로 exp/imp에 비해 성능이 우수하고 자원 사용량이 적습니다. 특히 expdp/impdp는 데이터베이스 전체를 export 하거나 import 할 수 있으며 데이터 압축 및 암호화 기능을 제공합니다.

3. 테이블스페이스, 계정 생성

제공받은 dump 파일의 계정명은 "MYSTKDB"이고 대상 DB의 "DATA_DIR=/oradata/NOYEORA/"입니다.

다음 참고 화면과 같이 SQL Developer를 통해 DB 서버에 접속합니다.

SQL Developer 데이터베이스 접속 창

워크시트에서 아래 스크립트를 참고하여 테이블스페이스와 계정을 생성하고 권한을 부여합니다.

# 테이블 스페이스 생성
create tablespace ts_mystkdb 
datafile '/oradata/NOYEORA/mystkdb01.dbf' 
size 10G autoextend on next 500M;
# 정상출력: Tablespace TS_MYSTKDB이(가) 생성되었습니다.

# 임시 테이블 스페이스 생성
create temporary tablespace ts_mystkdb_tmp 
tempfile '/oradata/NOYEORA/mystkdb_tmp01.dbf'
size 10G autoextend on next 500M;
# 정상출력: Tablespace TS_MYSTKDB_TMP이(가) 생성되었습니다.

# 계정 생성 및 테이블 스페이스 할당
create user mystkdb identified by "mystkdb"
default tablespace ts_mystkdb
temporary tablespace ts_mystkdb_tmp;
# 정상출력: User MYSTKDB이(가) 생성되었습니다.

# 계정 속성 설정
alter user mystkdb default tablespace ts_mystkdb quota unlimited on ts_mystkdb;
grant create view to mystkdb;
alter user mystkdb account unlock;
grant connect, resource to mystkdb;
# 정상출력
# User MYSTKDB이(가) 변경되었습니다.
# Grant을(를) 성공했습니다.
# User MYSTKDB이(가) 변경되었습니다.
# Grant을(를) 성공했습니다.

SQL Developer의 메뉴에서 "보기-DBA-접속-저장 영역-테이블스페이스"를 따라가서 테이블스페이스가 정상적으로 생성되었는지 확인할 수 있습니다.

테이블스페이스 생성 결과 확인

4. legacy export 파일(.dump)을 datapump export 파일(.dmp)로 바꾸기

제공받은 덤프파일의 캐릭터 셋이 AL32UTF8이고 import 대상 DB의 캐릭터셋이 KO16MSWIN949인데 legacy exp로 생성한 덤프 파일이 때문에 impdp를 사용할 수 없으므로 버추얼박스를 활용하여 AL32UTF8 DB를 빠르게 설치 후 expdp로 덤프파일을 재생성합니다.

캐릭터 셋 확인하기

# 서버의 캐릭터셋 확인명령
SQL> select * from nls_database_parameters where parameter like '%CHAR%';

# 출력 중 NLS_CHARACTERSET 값 확인 - AL32UTF8
PARAMETER
--------------------------------------------------------------------------------
VALUE
--------------------------------------------------------------------------------
NLS_NCHAR_CONV_EXCP
FALSE
NLS_NUMERIC_CHARACTERS
.,
NLS_NCHAR_CHARACTERSET
AL16UTF16
PARAMETER
--------------------------------------------------------------------------------
VALUE
--------------------------------------------------------------------------------
NLS_CHARACTERSET
AL32UTF8
SQL>

imp 명령으로 import 하기

imp 명령을 bash 쉘에서 oracle 계정으로 실행합니다.

imp mystkdb/mystkdb@noyeora file=MYSTKDB_20220628_Oracle.dump

# 위 명령 실행시 아래와 같이
# Import terminated successfully without warnings. 나오면 정상
Import: Release 19.0.0.0.0 - Production on Tue Dec 19 11:15:35 2023
Version 19.3.0.0.0

Copyright (c) 1982, 2019, Oracle and/or its affiliates.  All rights reserved.


Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.3.0.0.0

Export file created by EXPORT:V19.00.00 via conventional path
import done in US7ASCII character set and AL16UTF16 NCHAR character set
import server uses AL32UTF8 character set (possible charset conversion)
export client uses KO16MSWIN949 character set (possible charset conversion)
. importing MYSTKDB's objects into MYSTKDB
. . importing table                     "BASECODE"          6 rows imported
. . importing table                  "BASECODE_DV"          2 rows imported
. . importing table                    "FINANCE_Y"      34334 rows imported
. . importing table                   "HISTORY_DT"    1644248 rows imported
. . importing table                   "HISTORY_YM"     271003 rows imported
. . importing table                        "STOCK"       2387 rows imported
Import terminated successfully without warnings.

expdp 명령으로 export 하기

impdp/expdp 명령은 "dba_directories"에서 수행해야 하므로 "dba_directories"를 하나 생성해 줍니다.

bash 쉘에서 "mkdir -p /home/oracle/datapump_dir"를 실행하여 디렉터리 생성 후 SQL 쉘에서 다음 명령을 수행합니다.

# expdp/impdp 용도로 사용할 디렉토리 생성
SQL> create directory datapump_dir as '/home/oracle/datapump_dir';

# 디렉토리 사용할 유저 계정에 읽기/쓰기 권한 부여
SQL> grant read, write on directory datapump_dir to mystkdb;

# 생성된 디렉토리 확인, directory_name은 대문자여야 함
SQL> select directory_name, directory_path from dba_directories 
where directory_name='DATAPUMP_DIR';

SQL>

bash 쉘에서 다음의 expdp 구문을 실행합니다.

# 문법 expdp [계정명]/[계정비번] dumpfile=[생성할덤프파일명] directory=[생성한 디렉토리명]
expdp mystkdb/mystkdb dumpfile=mystkdb.dmp directory=datapump_dir

expdp 실행 결과

5. impdp로 대상 DB에 import 하기

위 단계에서 생성된 .dmp 파일을 대상 DB 서버에 업로드합니다.

그리고 위 단계와 동일하게 "datapump_dir"을 생성해 둡니다.

저는 파일질라를 사용하여 SFTP로 업로드하였습니다.

datapump_dir 경로에 .dmp 파일 업로드

impdp 명령을 실행합니다.

[oracle@noyeora ~]$ ls /oracle/app/oracle/oradata/datapump
export.log  import.log  MYSTKDB_20220628_Oracle.dump  mystkdb.dmp

# 문법: impdp [계정명]/[계정비번] dumpfile=[덤프파일명] directory=디렉토리명
[oracle@noyeora ~]$ impdp mystkdb/mystkdb dumpfile=mystkdb.dmp directory=datapump_dir

Import: Release 19.0.0.0.0 - Production on Tue Dec 19 13:14:16 2023
Version 19.21.0.0.0

Copyright (c) 1982, 2019, Oracle and/or its affiliates.  All rights reserved.

Connected to: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Master table "MYSTKDB"."SYS_IMPORT_FULL_01" successfully loaded/unloaded
import done in KO16MSWIN949 character set and AL16UTF16 NCHAR character set
export done in AL32UTF8 character set and AL16UTF16 NCHAR character set
Warning: possible data loss in character set conversions
Starting "MYSTKDB"."SYS_IMPORT_FULL_01":  mystkdb/******** dumpfile=mystkdb.dmp directory=prod_dir
Processing object type SCHEMA_EXPORT/PRE_SCHEMA/PROCACT_SCHEMA
Processing object type SCHEMA_EXPORT/TABLE/TABLE
Processing object type SCHEMA_EXPORT/TABLE/TABLE_DATA
. . imported "MYSTKDB"."HISTORY_DT"                      164.6 MB 1644248 rows
. . imported "MYSTKDB"."HISTORY_YM"                      10.38 MB  271003 rows
. . imported "MYSTKDB"."FINANCE_Y"                       3.026 MB   34334 rows
. . imported "MYSTKDB"."STOCK"                           111.0 KB    2387 rows
. . imported "MYSTKDB"."BASECODE"                        6.507 KB       6 rows
. . imported "MYSTKDB"."BASECODE_DV"                     5.546 KB       2 rows
Processing object type SCHEMA_EXPORT/TABLE/COMMENT
Processing object type SCHEMA_EXPORT/TABLE/INDEX/INDEX
Processing object type SCHEMA_EXPORT/TABLE/CONSTRAINT/CONSTRAINT
Processing object type SCHEMA_EXPORT/TABLE/INDEX/STATISTICS/INDEX_STATISTICS
Processing object type SCHEMA_EXPORT/TABLE/STATISTICS/TABLE_STATISTICS
Processing object type SCHEMA_EXPORT/STATISTICS/MARKER
Job "MYSTKDB"."SYS_IMPORT_FULL_01" successfully completed at Tue Dec 19 13:14:41 2023 elapsed 0 00:00:24

[oracle@noyeora ~]$

impdp 결과

impdp 로그를 보면 export 캐릭터 셋이 AL32UTF8이고 import 캐릭터셋이 KO16MSWIN949임을 확인할 수 있으며 캐릭터셋 변환으로 인해 데이터 손실이 발생할 수 있다는 경고문이 있습니다. 어쨌든 성공했으니 실제 데이터를 확인해 보면 됩니다.

테이블 조회 결과

테이블 조회 결과 한글이 깨지지 않고 정상적으로 표기되고 있습니다.

이상으로 AL32UTF8 캐릭터셋에서 legacy export 덤프파일을 버추얼박스로 짧은 시간에 구축한 AL32UTF8 DB에 import 후 다시 expdp로 data pump 수행 후 KO16WIN949 환경에 impdp를 수행해 보았습니다.

관련 포스팅 링크를 첨부합니다.

버추얼박스에 Oracle 19c 설치하기:

2023.12.06 - [Database/Oracle] - linux에 oracle 19c 설치

[Oracle] 계정 관리 테이블 스페이스 관리

noyecube — Sat, 16 Dec 2023 00:10:23 +0900

이번 포스팅 주제는 " Simple Techniques for Oracle Database User and Tablespace Management"입니다. 유저 계정과 테이블스페이스 관리 명령어를 알아봅니다.

포스팅에서 Oracle Database 19c 설치를 다뤘는데 Database를 사용하기 위해서는 User와 Tablespace 생성이 필요합니다. Oracle Database 설치 방법에 대한 포스팅은 맨 아래에 링크가 있습니다.

1. DBA 계정으로 Oracle 접속하기

계정과 테이블스페이스 관리를 위해서는 sysdba로 접속이 필요합니다.

아래 명령어로 접속합니다.

sqlplus / as sysdba

2. Oracle 계정 및 테이블스페이스 관리

Oracle Database를 설치하면 사용자용 계정과 테이블 스페이스가 없는 상태입니다.

보통 tablespace를 먼저 생성하고 그다음 user를 생성합니다. user를 생성할 때 파라미터로 생성해 둔 tablespace를 user와 연결해 주고 tablespace 사용에 필요한 권한을 부여하는 방법을 알아보겠습니다.

예제 명령어들은 데이터 파일이 생성되는 위치를 "/oradata", SID는 "noyeora"로 가정하고 작성되었습니다.

테이블스페이스 생성 하기

tablespace 생성 문법은 아래와 같습니다. 저는 권장방법과 같이 데이터파일의 위치를 정확하게 지정 후 임시 테이블스페이스도 세트로 생성하는 것을 추천합니다.

# 문법
create tablespace [테이블스페이스명] datafile [데이터파일명] size [사이즈];

# 예시. Oracle이 기본으로 제공하는 데이터 파일 그룹 사용
# 테이블스페이스명: TB_SAMPLE
# 데이터파일 사이즈: 1G
create tablespace tb_sample datafile '+DATA' size 1G;

# 예시. 데이터 파일 용량을 자동으로 확장되게 설정
create tablespace tb_sample datafile '+DATA' size 1G autoextend on;

# 권장방법. 데이터 파일 위치 지정하여 생성
# 임시 테이블스페이스도 생성하여 시스템 테이블스페이스 단편화 예방
create tablespace tb_sample datafile '/oradata/noyeora/tb_sample01.dbf' autoextend on;
create temporary tablespace tb_sample_tmp tempfile '/oradata/noyeora/tb_sample_tmp01.dbf' autoextend on;

데이터파일의 위치를 지정하면 관리 및 유지보수에 더 유리합니다.

임시 테이블스페이스는 데이터베이스에서 임시로 데이터를 저장하는 공간으로 정렬, 집계, 조인, 인덱스 생성 작업에 사용됩니다. 임시 테이블스페이스가 없으면 이러한 작업에 시스템 테이블스페이스를 사용하게 되는데 시스템 테이블스페이스는 데이터베이스의 중요한 정보가 저장되는 공간이기 때문에 이러한 공간을 임시 데이터 저장에 사용하면 단편화 발생 및 성능저하의 단점이 있습니다. 그러므로 운영환경이라면 임시 테이블스페이스도 같이 생성하여 사용하길 권장합니다.

제가 몸담고 있는 조직에서는 autoextend 옵션도 사용하는데 이 옵션도 권장합니다. 용량 관리는 어드민이 모니터링을 하거나 인프라 관리자가 스토리지 모니터링을 통해서 하면 되는 것이지 데이터파일에 용량을 제한 걸어 놓고 테이블스페이스 하나하나 신경 쓸 필요는 없는 것 같네요.

유저 계정 생성 하기

# 문법
create user [사용자계정명] identified by [사용자계정패스워드]
default tablespace [테이블스페이스명]
temporary tablespace [임시테이블스페이스명];

# 예시
create user noye identified by 123
default tablespace tb_sample
temporary tablespace tb_sample_tmp;

유저 계정 권한 속성 수정 하기

테이블스페이스를 생성하고 사용자 계정에 테이블스페이스를 지정했습니다. 이제 사용 가능할까요? 아닙니다.

아무런 권한이 없기 때문에 사용에 필요한 적절한 권한을 부여해야 합니다.

Oracle Database에서 권한은 크게 시스템 권한과 객체 권한이 있습니다.

시스템 권한은 데이터베이스 시스템을 관리하고 조작하는 데 필요한 권한으로 다음과 같이 구분됩니다.

DBA 권한: 데이터베이스 시스템을 완전히 관리할 수 있는 권한입니다. 우리가 데이터베이스 관리자로 접속할 때 역할(ROLE) 선택을 "sysdba"로 선택 후 접속하는데 "sysdba"가 DBA 권한을 갖고 있습니다.
System 권한: 데이터베이스 시스템을 부분적으로 관리할 수 있는 권한입니다.
User 권한: 데이터베이스 사용자에게 부여되는 권한입니다.

객체 권한은 데이터베이스 객체에 대한 작업을 수행할 수 있는 권한으로 다음과 같이 구분됩니다.

Data Manipulation Language(DML) 권한: 테이블, 인덱스, 시퀀스 등의 데이터 객체에 대한 데이터 조작을 수행할 수 있는 권한입니다.
Data Definition Language(DDL) 권한: 테이블, 인덱스, 시퀀스 등의 데이터 객체를 생성, 수성, 삭제할 수 있는 권한입니다.
Data Control Language(DCL) 권한: 사용자, 역할, 권한 등을 관리할 수 있는 권한입니다.
System Privilege: 테이블, 인덱스, 시퀀스 등의 데이터 객체에 대한 데이터 조작을 수행할 수 있는 권한입니다.

User 계정에 부여할 수 있는 권한은 다음과 같습니다.

connect: 데이터베이스에 연결할 수 있는 권한으로 이 권한이 없으면 데이터베이스에 연결할 수 없습니다.
resource: 테이블, 인덱스, 시퀀스 등의 데이터 객체를 생성할 수 있느 권한입니다.
unlimited tablespace: 모든 테이블스페이스에 데이터를 저장할 수 있는 권한입니다. 이 권한이 없으면 지정된 테이블스페이스에만 저장할 수 있습니다.
create view: 뷰를 생성할 수 있는 권한입니다.
create sequence: 시퀀스는 자동으로 증가하는 숫자를 생성하는 객체로서 시퀀스를 생성할 수 있는 권한입니다.
create synonym: 다른 사용자의 객체에 대한 별칭을 생성할 수 있는 권한입니다.
procedure: 프로시저는 데이터베이스 작업을 자동화하는 객체로서 프로시저를 생성할 수 있는 권한입니다.
exp_full: exp 명령을 사용하여 데이터를 백업할 수 있는 권한입니다.
imp_full: imp 명령을 사용하여 데이터를 복원할 수 있는 권한입니다.
grant any: 다른 사용자에게 권한을 부여할 수 있는 권한입니다.
revoke: 다른 사용자에게 부여된 권한을 취소할 수 있는 권한입니다.

부여할 수 있는 권한은 이외에도 더 있지만 권한을 부여할 때는 필요한 만큼만 부여해야 보안 위험을 줄일 수 있습니다.

권한을 부여하는 명령어 문법은 다음과 같습니다.

# 문법
grant 권한 [, 권한] ... to 사용자;

# 예시. 사용자 noye에 connect, resource 권한 부여
grant connect, resource to noye;

권한을 회수하는 명령어 문법은 다음과 같습니다.

# 문법
revoke 권한 [, 권한] ... from 사용자;

# 예시. 사용자 noye에 connect, resource 권한 회수
revoke connect, resource from noye;

위 예시를 모두 모아 테이블스페이스 생성, 사용자 계정생성, 계정 권한부여까지 한 번에 진행하는 예제는 아래와 같습니다.

# 테이블스페이스 생성
create tablespace tb_sample datafile '/oradata/noyeora/tb_sample01.dbf' autoextend on;
create temporary tablespace tb_sample_tmp tempfile '/oradata/noyeora/tb_sample_tmp01.dbf' autoextend on;

# 사용자 계정 생성
create user noye identified by 123
default tablespace tb_sample
temporary tablespace tb_sample_tmp;

# 사용자 계정 권한 부여
grant connect, resource to noye;
grant create database link to noye;
grant create view to noye;
grant create procedure to noye;
grant create sequence to noye;
grant create synonym to noye;
grant unlimited tablespace to noye;
grant exp_full_database to noye;
grant imp_full_database to noye;

계정/테이블스페이스 조회 방법

계정을 제대로 사용할 수 있는지, 어떤 권한을 가지고 있는지, 테이블 스페이스는 어떤 것들이 있는지 등을 알아보는 방법입니다.

# 사용자 계정 목록 조회
show user

# 계정-기본 테이블스페이스 조회

col username format a30
select username, default_tablespace from dba_users

# 계정 권한 확인하기
select grantee, privilege from dba_sys_privs where grantee='[계정명]';

# 로컬에서 계정 접속 확인하기
conn [사용자계정명]/[계정패스워드]

# 원격에서 계정 접속 확인하기
conn [사용자계정명]/[계정패스워드]@[SID명]

# 테이블스페이스와 데이터파일 조회

set line 120
col tablespace_name format a20
col file_name format a40
select tablespace_name, file_name, bytes/1024/1024, autoextensible from dba_data_files order by 1,2;

# 전반적인 계정 상태 체크

col username for a20
col machine for a30
col program for a30
set line 200
set pagesize 200
select inst_id,username,machine,program,count(*) from gv$session where username not in ('SYS', 'SYSTEM')
group by inst_id,username,machine,program
order by 1,2,3;

# 파라미터 링크 체크
SQL> show parameter link;

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
allow_global_dblinks                 boolean     FALSE
open_links                           integer     4
open_links_per_instance              integer     4
outbound_dblink_protocols            string      ALL
standby_pdb_source_file_dblink       string

# 파라미터 오픈 체크
SQL> show parameter open;

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
open_cursors                         integer     300
open_links                           integer     4
open_links_per_instance              integer     4
read_only_open_delayed               boolean     FALSE
session_max_open_files               integer     10
SQL>

# database session 확인하기

col username for a20
col machine for a30
col program for a30
set line 200
set pagesize 200
select inst_id,username,machine,program,count(*) from gv$session
where username not in ('SYS', 'SYSTEM')
group by inst_id,username,machine,program
order by 1,2,3;

# dblink 제한 걸기
alter system set open_links=10 scope=spfile;
alter system set open_links_per_instance=10 scope=spfile;

계정/테이블스페이스 삭제 방법

사용자 계정 삭제는 다음 명령으로 가능합니다.

drop user [사용자계정명] [옵션];

테이블 삭제는 다음 명령으로 가능합니다.

drop tablespace [테이블스페이스명] including contents and datafiles;

사용자 계정을 삭제하면서 동시에 계정에 연결된 모든 테이블, 인덱스, 시퀀스 등의 데이터 객체를 삭제하는 방법은 "cascade" 옵션으로 가능합니다.

drop user [사용자계정명] cascade;

위 명령을 실행하면 다음과 같은 작업이 수행됩니다.

사용자 계정 및 사용자 암호 삭제
사용자 계정에 부여된 권한 취소
사용자 계정에 생성된 데이터 객체 삭제

테이블스페이스를 삭제하지 않으면서 "cascade" 옵션을 사용하지 않고 사용자 계정만 삭제하면 데이터 객체는 고아(orphaned) 상태로 남습니다.

참고로 Oracle 19c 설치 방법은 아래 링크의 포스팅을 참고해 주세요.

2023.12.06 - [Database/Oracle] - linux에 oracle 19c 설치

이 포스팅의 내용 정도만 숙지하시면 일반적인 범위 내에서 DB를 활용한 데이터 저장은 충분히 가능합니다.

이상으로 Oracle Database에서 테이블스페이스와 사용자 계정을 관리하는 방법을 알아보았습니다.

오라클 데이터베이스 시작 및 종료 방법

noyecube — Fri, 15 Dec 2023 08:01:13 +0900

Starting and Stopping Oracle Database: A Step-by-Step Guide.

Oracle Database의 인스턴스와 리스너 시작/종료 방법을 알아보겠습니다.

먼저 DB 인스턴스와 리스너의 시작/종료 순서는 상관없다는 점을 알아두세요.

1. Oracle Database의 State 정의

Oracle Database는 그 동작 상태를 네 가지 상태로 구분할 수 있습니다.

Shutdown: Database가 완전히 종료된 상태로 DB파일이 메모리에서 해제되고 DB 프로세스는 종료됨.
Nomount: DB파일이 메모리에 로드는 됐지만 마운트는 안된 상태. DB 프로세스 종료 상태.
Mount: DB파일이 마운트된 상태이지만 아직 열리지 않은 상태.
Open: Database 프로세스가 시작되고 사용자가 접속하여 데이터를 조회하거나 수정할 수 있는 상태.

2. 로컬에서의 DB 접속 방법 및 팁

아래는 가장 많이 사용하는 명령어 입니다. oracle 계정에서 이 명령을 입력하면 DB에 접속할 수 있습니다.

sqlplus / as sysdba

이 명령어를 oracle 계정의 환경변수 파일 "~/.bash_profile"에 alias 등록을 해두면 편리합니다.

# 두 글자 "ss"만 입력하여 DB 접속하기
alias ss='sqlplus / as sysdba'

alias ss='sqlplus / as sysdba'
[oracle@noyeora ~]$ ss
SQL*Plus: Release 19.0.0.0.0 - Production on Thu Dec 14 14:34:26 2023
Version 19.21.0.0.0
Copyright (c) 1982, 2022, Oracle.  All rights reserved.
Connected to an idle instance.
SQL>

접속에 성공했는데 "Connected to an idle instance" 메시지를 확인할 수 있습니다. 앞서 말씀드린 동작 상태 중 Shutdown 상태에 해당합니다.

3. Oracle Database 시작 방법

시작 명령어와 옵션은 아래와 같습니다.

startup [nomount | mount | open]

단계별로 시작해 보겠습니다.

SQL> startup nomount
ORACLE instance started.

Total System Global Area 3556767720 bytes
Fixed Size                  8931304 bytes
Variable Size             754974720 bytes
Database Buffers         2785017856 bytes
Redo Buffers                7843840 bytes

SQL> select status from v$instance;

STATUS
------------------------
STARTED

SQL>

"nomount" 옵션으로 시작 후 "status"를 확인하면 STARTED 상태가 확인됩니다.

SQL> alter database mount;
Database altered.
SQL>  select status from v$instance;
STATUS
------------
MOUNTED
SQL>

startup 상태이므로 다음 명령어는 alter를 사용하여 mount 단계로 바꿔봅니다. 관리자가 백업이나 기타 이유로 DB파일을 컨트롤해야 하는데 서비스는 하면 안 될 때 mount까지만 기동 합니다.

SQL> alter database open;
Database altered.
SQL> select status from v$instance;
STATUS
------------
OPEN
SQL>

Database 기동의 최종 단계인 OPEN까지 완료된 상태입니다.

기동의 모든 단계를 한번에 하려면 "startup"만 입력하면 됩니다.

startup force

번외로 "force" 옵션을 사용하면 재시작됩니다. "shutdown abort" 후 "startup"이 연속적으로 이루어집니다.

CPU 사용률이 100%이거나 무응답일 때 사용합니다.

3. Oracle Database 종료 방법

종료 명령어와 옵션은 아래와 같습니다. 옵션을 명시하지 않을 때 기본 적용되는 옵션은 "normal"입니다.

# option : immediate, abort, normal, transactional
# shutdown 축약어로 shu 도 가능합니다.
shutdown [option]

immediate: 접속중인 세션과 트랜잭션을 모두 강제 종료 합니다.
abort: DB자체를 강제 종료합니다. DB가 먹통일 때 주로 사용합니다.
normal: 접속중인 세션과 요청받은 트랜잭션이 모두 종료될 때까지 기다립니다.
transactional: 접속 중인 세션은 강제로 종료하고 트랜잭션은 모두 종료될 때까지 기다립니다.

4. 리스너 시작과 종료 방법

Oracle Database 리스너의 기본 서비스 포트는 1521입니다. 외부 인터넷 환경에서 운영시 기본 포트를 다른 포트로 변경 후 사용하는 것을 추천합니다. 리스너가 기동 되지 않으면 DB 인스턴스가 기동 중이어도 외부에서 접속이 불가능합니다.

리스너 실행파일명은 "lsnrctl" 입니다. "help"로 사용 가능한 명령어 옵션을 확인할 수 있습니다.

[oracle@noyeora dbs]$ lsnrctl help

LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 14-DEC-2023 15:28:58

Copyright (c) 1991, 2023, Oracle.  All rights reserved.

The following operations are available
An asterisk (*) denotes a modifier or extended command:

start           stop            status          services
servacls        version         reload          save_config
trace           spawn           quit            exit
set*            show*

[oracle@noyeora dbs]$

[oracle@noyeora admin]$ lsnrctl
LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 14-DEC-2023 15:33:36
Copyright (c) 1991, 2023, Oracle.  All rights reserved.
Welcome to LSNRCTL, type "help" for information.
LSNRCTL>

옵션 파라미터 없이 "lsnrctl"만 실행하면 리스너의 프롬프트로 진입하게 됩니다.

주로 사용하는 명령은 "start", "stop", "status"입니다.

[oracle@noyeora admin]$ lsnrctl status

LSNRCTL for Linux: Version 19.0.0.0.0 - Production on 14-DEC-2023 16:26:24

Copyright (c) 1991, 2023, Oracle.  All rights reserved.

Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=noyeora)(PORT=1521)))
STATUS of the LISTENER
------------------------
Alias                     LISTENER
Version                   TNSLSNR for Linux: Version 19.0.0.0.0 - Production
Start Date                14-DEC-2023 16:18:11
Uptime                    0 days 0 hr. 8 min. 13 sec
Trace Level               off
Security                  ON: Local OS Authentication
SNMP                      OFF
Listener Parameter File   /oracle/app/oracle/product/19c/network/admin/listener.ora
Listener Log File         /oracle/app/oracle/diag/tnslsnr/noyeora/listener/alert/log.xml
Listening Endpoints Summary...
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=noyeora)(PORT=1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521)))
Services Summary...
Service "noyeora" has 1 instance(s).
  Instance "noyeora", status READY, has 1 handler(s) for this service...
Service "noyeoraXDB" has 1 instance(s).
  Instance "noyeora", status READY, has 1 handler(s) for this service...
The command completed successfully
[oracle@noyeora admin]$

Listening Endpoints Summary에 HOST와 PORT값이 정상인지 확인합니다. HOST명 대신 IP를 적어도 되고 HOST명을 적으면 /etc/hosts 파일에 정확한 IP가 적혀있어야 합니다.

여기까지 하셨으면 아래와 같이 "SYSDBA" 롤 선택 후 정보 넣으시고 "테스트" 버튼 눌러서 "상태 : 성공" 확인되면 정상입니다.

IOCP 기반 다중 접속 및 데이터 처리-3

noyecube — Fri, 15 Dec 2023 00:11:19 +0900

이번 포스팅에서는 IOCP 서버에서 소켓 풀을 관리하는 방법에 대해 알아보겠습니다.

이전 포스팅에서 IOCP 뼈대 코드를 작성하고 초기화하는 과정을 알아보았습니다.

2023.12.13 - [프로그래밍/C | C++] - IOCP 기반 다중 접속 및 데이터 처리-1

IOCP 기반 다중 접속 및 데이터 처리-1

blog.noyecube.com

2023.12.14 - [프로그래밍/C | C++] - IOCP 기반 다중 접속 및 데이터 처리-2

1. 리슨소켓 Accept 이벤트 감지

Accept 이벤트 감지 처리

WSAEVENT hWSAEvent = WSACreateEvent()
상태 변경에 대한 통지를 받을 이벤트 커널 객체 생성(초기: 넌시그널) 코드입니다.
WSAEventSelect(hsoListen, hWSAEvent, FD_ACCEPT)
리슨소켓에 ACCEPT 이벤트가 발생하면 hWSAEvent가 Set 상태가 되도록 설정합니다.
WSAEnumNetworkEvents(hsoListen, hWSAEvent, &ne)
소켓 변경사항 체크 및 네트워크 이벤트 레코드 클리어, 이벤트 커널 객체 리셋을 수행합니다.

2. 소켓 풀 생성/재사용 및 비동기 접속 처리

IncreaseAcceptSockets

리슨소켓(hsoListen)으로부터 들어오는 접속을 수용할 신규 소켓(sock)을 미리 생성하고 OVERLAPPED 구조체 포인터 변수와 함께 AcceptEx()를 호출하여 비동기 접속을 수용합니다. 한 번에 nIncCnt 값만큼 소켓을 미리 생성해 둡니다.

AcceptEx 함수 호출 시 OVERLAPPED 구조체를 이용하면 접속이 들어왔을 때 리슨 소켓의 핸들 자체가 시그널 상태가 됩니다. 이때 미리 생성해 둔 소켓이 없으면 WSAEventSelect 함수로 전달된 이벤트가 시그널 상태가 되어 미리 생성해둔 소켓이 모두 소진되었음을 알립니다.

GetListenSocket

비동기 리슨 소켓을 생성 후 리슨 소켓 핸들로 IOCP 핸들을 생성합니다.

GetQueuedCompletionStatus

hsoListen이 IOKEY_LISTION 키값으로 IOCP 등록되어 있으므로 GetQueuedCompletionStatus에서 신규 접속 클라이언트 이벤트를 감지할 수 있습니다. 신규 접속이 감지되면 CreateIoCompletionPort 호출로 접속한 클라이언트의 소켓에 대해 데이터 수신 이벤트도 감지 등록합니다.

소켓 재사용 코드

클라이언트가 접속을 종료하면 Socket Close를 호출하는 대신 DisconnectEx를 호출합니다. 그럼 소켓이 버려지는 것이 아니고 연결만 닫히게 됩니다. 이를 통해 소켓을 생성/소멸하는데 필요한 오버헤드를 줄일 수 있습니다. Disconnect가 완료되면 다시 AcceptEx를 호출하여 소켓을 재사용합니다. 유의 사항으로는 소켓이 재사용되므로 상위 레벨에서 클라이언트의 변경을 알아차릴 수 있는 자료구조를 제공해야 합니다.

[Linux] 리눅스 절전 모드 방지 설정

noyecube — Thu, 14 Dec 2023 12:07:07 +0900

노트북에 리눅스를 설치하고 oracle database를 설치하고 전원을 켜뒀는데 다음날 확인하니 절전모드에 빠진 상태로 원격 접속이 안됩니다. 이번 포스팅에서는 리눅스 절전 모드 방지 설정을 알아보겠습니다.

1. 노트북 덮개 동작 무시

노트북을 서버로 사용하기 위해서는 24시간 전원을 켜두어야 하는데 설치 후 기본 상태로 두거나 덮개를 만지면 절전 모드로 진입하게 됩니다. 아래와 같이 설정 파일을 수정 후 데몬을 재기동합니다.

# logind.conf 파일을 오픈
vi /etc/systemd/logind.conf

# 아래 두 옵션의 주석을 해제하고 아래와 같이 ignore 설정
HandleLidSwitch=ignore
HandleLidSwitchDocked=ignore

#파일 저장 후 데몬 재시작
systemctl restart systemd-logind

/etc/systemd/logind.conf 파일은 systemd의 로그인 데몬인 systemd-logind의 설정을 관리하는 파일입니다.

이 파일에는 사용자 로그인, 세션 관리, 전원 관리와 관련된 다양한 옵션이 포함되어 있습니다.

HandleLidSwitch 옵션은 덮개를 닫을 때 시스템의 동작을 설정하며 다음과 같은 값을 사용할 수 있습니다.

suspend: 시스템 일시 정지
hybrid-sleep: 절전모드로 전환
poweroff: 시스템 종료
ignore: 무시
default: 시스템 기본 동작 사용
poweroff-after-timeout: 지정 시간 경과 후 시스템 종료
hybrid-sleep-after-timeout: 지정 시간 경과 후 절전 모드 전환
suspend-after-timeout: 지정 시간 경과 후 시스템 일시 정지

2. 절전 모드 비활성화 설정하기

명령 프롬프트에서 아래를 입력하세요. root권한으로 진행합니다.

systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target

#아래는 출력
Created symlink /etc/systemd/system/sleep.target → /dev/null.
Created symlink /etc/systemd/system/suspend.target → /dev/null.
Created symlink /etc/systemd/system/hibernate.target → /dev/null.
Created symlink /etc/systemd/system/hybrid-sleep.target → /dev/null.

#결과 확인하기
systemctl status sleep.target suspend.target hibernate.target hybrid-sleep.target

#아래는 출력
● sleep.target
   Loaded: masked (Reason: Unit sleep.target is masked.)
   Active: inactive (dead)

Dec 14 09:51:03 noyeora systemd[1]: Reached target Sleep.
Dec 14 11:11:10 noyeora systemd[1]: Stopped target Sleep.

● suspend.target
   Loaded: masked (Reason: Unit suspend.target is masked.)
   Active: inactive (dead)

Dec 14 11:11:10 noyeora systemd[1]: Reached target Suspend.
Dec 14 11:11:10 noyeora systemd[1]: Stopped target Suspend.

● hibernate.target
   Loaded: masked (Reason: Unit hibernate.target is masked.)
   Active: inactive (dead)

● hybrid-sleep.target
   Loaded: masked (Reason: Unit hybrid-sleep.target is masked.)
   Active: inactive (dead)

이상으로 리눅스에서 절전 모드 진입을 방지하는 방법을 알아보았습니다.

IOCP 기반 다중 접속 및 데이터 처리-2

noyecube — Thu, 14 Dec 2023 00:01:12 +0900

이전 포스팅에서 IOCP 서버 스켈레톤 코드를 작성해 보았습니다. 이번 포스팅에서는 IOCP 서버를 위한 스레드풀 초기화 코드를 살펴보겠습니다.

1. IOCP 서버 실행 결과

실행결과 먼저 살펴보겠습니다. 실행환경은 8 코어 16 스레드 CPU입니다.

IOCP Worker Thread 16개, IOCP RIL Thread 16개씩 생성하였고 동시실행 가능 스레드 수는 각 8개씩 설정하였습니다.

스레드는 실행중 I/O 나 기타 사유로 Pending 상태에 빠질 수 있기 때문에 동시 실행 가능한 숫자보다 많은 수의 스레드를 생성하여 스레드풀에 등록해 둡니다.

Start Server Debug Msg

2. 초기화 코드 호출 구조 및 예제 코드

RilInit 함수에서 서버를 초기화합니다.

작업 스레드풀을 생성하고 작업 스레드들을 대기시킵니다.
송신 스레드 RilTx를 생성하고 이벤트 대기상태로 만듭니다.
서버 매니저 스레드를 생성하고 IOCP 스레드풀을 생성하고 대기시킵니다.
클라이언트 접속/종료 처리는 서버 매니저 스레드에서 처리합니다.

Call Tree of RilInit

위 콜 트리에 대응되는 예제 코드입니다.

RIL Callback Init Call

Tx 스레드를 생성하는 코드입니다.

Creation of RilTX

서버 매니저 스레드를 생성하는 코드입니다.

Creation of RIL Server Manager

CPU 코어 수를 읽어서 IOCP 스레드 풀의 스레드 동시 실행 가능 숫자를 코어 수의 절반만큼 설정하는 코드입니다.

Creation of IOCP Worker Threads

CPU 코어 수만큼 스레드를 생성하는 코드입니다.

Dynamic allocation of Thread Handle

Tx 스레드 Loop 부분입니다. WaitForMultipleObjects 함수에서 Tx 이벤트와 스레드 종료 이벤트를 대기합니다.

RIL Tx Loop Code snippet

서버 매니저 스레드의 내부 초기화 순서입니다.

RIL Server Manager Init Sequence

위의 작업 스레드와 마찬가지로 CPU 코어 숫자의 절반만큼 동시 실행가능한 IOCP 스레드 설정을 하고 있습니다.

리슨 소켓으로 IOCP Handle 생성

서버 매니저 스레드에서는 MsgWaitForMultipleObjectEx로 Loop를 구현합니다. PeekMessage 함수로 메시지도 수신할 수 있고 RIL_SERVER_SOCKET_POOL_REFRESH_INTERVAL에 해당하는 시간이 경과하면 타임아웃 이벤트가 발생하여 별도 IDLE에서의 코드 처리를 할 수 있습니다.

이벤트 대기

이상으로 IOCP 서버를 위하여 IOCP 스레드 풀을 초기화하는 과정을 알아보았습니다.

IOCP 기반 다중 접속 및 데이터 처리-1

noyecube — Wed, 13 Dec 2023 17:28:12 +0900

윈도 환경에서 다중 클라이언트의 접속을 처리하는 네트워크 서버를 구현하기 위해서는 IOCP 사용이 필수라고 생각합니다. 에코 서버를 IOCP 기반으로 구현한 예제는 많지만 실제 현업에서 다중 클라이언트 접속을 처리하기 위한 아키텍처를 어떤 방식으로 접근하면 좋을지 고민해 보는 차원에서 IOCP 기반 다중 접속 처리 및 데이터 처리 프로토타입 구상을 위해 이번 포스팅을 작성합니다.

1. 리눅스 epoll 대비 IOCP(I/O Completion Port) 장점

대부분의 유명한 게임서버는 Windows Server 기반이라는 사실을 알고 계신가요?

그 이유는 리눅스에서 다중 접속을 처리하기 위해 사용가능한 epoll 보다 Windows의 IOCP가 더 나은 장점이 있기 때문입니다.

윈도 표준 API로 윈도 응용 프로그램과의 호환성
이벤트 큐 탐색 방식이 epoll에 비해 효율적이고 이벤트 큐 크기 제한이 없어 대규모 I/O 작업 처리에 적합
스레드 풀과 함께 사용하기 편리합니다.

2. IOCP 프로토타입 소스파일 구조

다음과 같이 프로그램의 프로토타입을 클래스별로 구조화 하여 스켈레톤 코드를 작성하였습니다.

프로토타입 소스코드 파일

DmssItem Class: 패킷버퍼를 사전 할당한 메모리풀로 관리하는 클래스
RilCbWorker Class: 다중 클라이언트가 전송한 패킷을 처리 후 콜백함수 호출하는 스레드 풀 구성
RilServer Class: 부모 클래스로서 매니저 스레드, Iocp 스레드, Tx 스레드를 생성
RilSession Class: 다중 접속 클라이언트의 소켓을 관리하고 세션을 관리
ril_protocol Header: 클라이언트와 서버가 서로 공유하는 프로토콜 정의 헤더 파일

2.1. RIL Server 설명

Radio Interface Layer(이하 RIL) 모듈의 부모 클래스로서 RIL을 구성하는 하위 모듈의 인스턴스를 갖고 자식 스레드를 관리합니다.

RIL Server Class

2.2. RIL Session 설명

다중 클라이언트를 관리하기 위한 클래스입니다.

링크드리스트로 관리합니다.

클라이언트가 접속을 끊으면 소켓을 종료하지 않고 재사용하여 오버헤드를 줄입니다.

클라이언트가 전송중인 패킷을 임시 저장할 공간을 가지고 있습니다. 일종의 링버퍼 역할인데 프로토콜에 특화된 자료구조를 적용하여 링버퍼의 탐색 단위 1바이트보다 더 큰 블록 단위로 처리합니다.

아래쪽의 CMap 클래스는 미리 생성해 둔 소켓을 관리하는 목적입니다. 클라이언트가 접속하는 순간에 소켓을 생성하는 것이 아니고 미리 생성해 둔 소켓 풀에서 소켓을 가져오고 접속이 종료되면 소켓을 닫는 것이 아니라 소켓풀에 다시 넣어둡니다. 소켓을 재사용하면 클라이언트의 빈번한 접속/종료에 대한 성능 오버헤드를 줄일 수 있는 장점이 있지만 재사용된 소켓을 같은 클라이언트로 인식하지 않도록 별도의 관리 기법 적용이 필요합니다.

RIL Session Data Structure

위 자료구조를 사용하여 아래의 세션 리스트를 구성합니다.

RIL Session List

세션 클래스 코드는 아래와 같이 작성하였습니다.

RIL Session Class

2.3. RIL Callback Worker

수신데이터를 처리하는 스레드로서 스레드 풀을 구성합니다. 스레드 풀의 규모는 동적으로 결정됩니다.

그래서 CWinThread** _m_pparrThread, HANDLE* _m_phThreads; 로 포인터 변수를 두고 CPU의 코어 수에 의해 스레드풀 규모가 결정되면 그때 동적으로 할당 후 스레드를 생성합니다.

RIL Callback Worker Class

2.4. DMSS Item Class

DMSS는 Data Management Services(DMSs)의 약자입니다.

패킷 데이터 송수신에 사용하는 자료구조 TST_DSM_ITEM을 정의하고 DSM_ITEM POOL을 관리합니다. 프로그램 시작시 정적 메모리 영역에 할당이 되었다가 동작 중 풀 용량이 부족하면 힙 메모리 영역에서 추가로 할당하여 사용합니다. IDLE 타임에는 남는 노드를 메모리 반환합니다.

TST_DSM_ITEM

TST_DSM_ITEM_POOL

TST_DSM_HEADER_ITEM

DMSS Item Class

2.5. RIL 프로토콜 헤더

네트워크 프로그래밍 서적 또는 게임 서버 개발 서적을 보면 서버와 클라이언트 통신을 위한 필수 과정으로 패킷의 직렬화/역직렬화 이야기가 나옵니다. 개발 공수는 더 들지만 아래와 같이 1바이트로 패딩 한 구조체를 사용하면 가장 빠릅니다.

RIL PROTOCOL 헤더

RIL PROTOCOL 헤더 2

2.6. 소켓 유틸리티

비동기 소켓을 IOCP와 연계 활용하기 위한 유틸 함수입니다. 아래 정의해둔 NTSTATUS 값을 참고하기 바랍니다.

SOCK_ITEM

GetListenSocket

비동기 소켓 API는 직접 호출이 아니라 API 함수에 대한 포인터 획득 후 함수포인터로 호출하는 방식입니다. 그래서 아래의 유틸 함수를 사용합니다. 윈도 시스템 프로그래밍 책에서 발췌하였습니다.

GetSockExtAPI

앞서 소켓풀을 사용한다고 말씀드렸습니다. 아래 함수는 소켓풀에 있는 소켓이 전부 소진되었을 때 추가로 소켓풀에 소켓을 할당하는 함수입니다.

IncreaseAcceptSockets

이상으로 IOCP기반 다중 접속 처리를 위한 프로토타입을 작성해 보았습니다.

[WINDOWS] 네트워크 어댑터 우선순위 변경하기

noyecube — Wed, 13 Dec 2023 14:18:44 +0900

윈도에서 네트워크 어댑터가 두 개 이상 활성화되어 있으면 우선순위가 자동으로 설정되는데요. 그 우선순위에 따라 인터넷이 잘 될 수도 있고 안될 수도 있습니다. 이번 포스팅에서는 그 우선순위를 점검하고 수정하는 방법을 알아보겠습니다.

제 컴퓨터의 네트워크 어댑터 현황을 예를 들어서 설명하겠습니다. 저는 무선랜을 사용하여 외부 인터넷을 사용하고 있는데 유선랜을 유선공유기와 연결하여 다른 장치와 사설망으로 통신을 하려고 합니다. 그런데 웹브라우저로 인터넷을 시도하면 무선랜으로 패킷이 나가는 게 아니라 인터넷이 불가능한 유선공유기 쪽으로 인터넷연결 시도가 먼저 이루어졌다가 타임아웃이 발생하면 무선랜으로 시도하여 답답함을 느껴서 네트워크 어댑터의 라우팅 테이블을 점검하고 우선순위를 변경하기로 하였습니다.

1. 두개 이상의 네트워크 어댑터 확인

네트워크 및 인터넷->고급 네트워크 설정에서 사용 중인 네트워크 어댑터 확인이 가능합니다.

저의 경우 아래와 같이 유선 이더넷 2개와 Wi-Fi 1개가 확인됩니다. 현재 이더넷 1번에 유선 공유기가 연결되어 있고 무선랜에 인터넷이 연결되어 있는 상태입니다.

네트워크 어댑터 목록

2. 라우팅 테이블 확인

라우팅 테이블

라우팅 테이블은 컴퓨터 네트워크에서 목적지 주소를 목적지에 도달하기 위한 네트워크 노선으로 변환시키는 목적으로 사용되는 테이블입니다. 라우팅 프로토콜의 가장 중요한 목적이 바로 이러한 라우팅 테이블의 구성입니다. 라우팅 테이블은 다음과 같은 세 가지 정보가 있습니다.

목적지 주소: 패킷을 전송할 목적지 네트워크의 주소입니다.
게이트웨이 주소: 목적지 네트워크에 도달하기 위한 다음 라우터의 주소입니다.
메트릭: 목적지 네트워크에 도달하기 위한 경로의 비용을 나타내는 숫자로서 이 값이 작을수록 우선순위가 높습니다.

바탕화면 작업표시줄의 검색창에 "cmd"를 입력하면 "명령 프롬프트"를 실행할 수 있습니다. 그냥 실행하지 마시고 마우스 우클릭 후 "관리자 권한으로 실행"을 눌러서 창을 띄워 줍니다.

어댑터별 MAC 주소 및 IP 주소 확인

명령 프롬프트에서 다음 명령어를 입력하여 IP와 MAC을 확인합니다.

> ipconfig /all

제 컴퓨터에서는 아래와 같이 나왔습니다.

이더넷 어댑터 2번은 연결이 안되어 있어서 미디어 연결 끊김으로 나타나 있고 살펴볼 부분은 이더넷 어댑터 이더넷과 무선 LAN 어댑터 Wi-Fi입니다. 여기에서 물리적 주소와 IPv4 주소를 기억하면 됩니다.

보안상 공인 IP부분은 삭제처리 하였음을 감안하고 봐주시면 됩니다.

ipconfig /all 실행 결과

물리적 주소는 MAC 주소라고도 하며 이더넷 어댑터 생산 공장에서 입력해 둔 자체 주소입니다.

응용프로그램에서는 IP 정보로 통신하지만 물리계층에서는 IP 주소와 MAC 주소 정보가 있는 ARP 테이블을 조회하여 실제 물리주소로 통신한다는 점을 참고하시면 됩니다. 위에서 알아낸 정보를 바탕으로 라우팅 테이블을 확인할 차례입니다.

라우팅 테이블 조회하기

라우팅 테이블 조회를 위해 명령 프롬프트에 "route print" 명령어를 입력해 봅니다.

네트워크 어댑터 목록과 네트워크 경로 테이블을 확인할 수 있습니다.

route print 실행 결과

경로 테이블에서 활성 경로와 영구 경로를 확인할 수 있습니다. 영구 경로는 고정 IP 설정의 어댑터 게이트웨이가 잡혀있습니다. 활성 경로는 윈도 부팅 시 결정되는 경로 테이블입니다. 다른 줄은 볼 필요 없이 서브넷 마스크 값 "255.255.255.0"을 가진 라인을 확인하면 됩니다. 무선 LAN으로 인터넷과 연결되어 있는 IP의 메트릭 값이 "301", 유선 LAN으로 공유기와 연결되어 있는(인터넷 연결이 없는) IP의 메트릭 값이 "281"로 확인됩니다. 앞서 메트릭 값이 작을수록 우선순위가 높다고 하였는데 인터넷 연결에 지연이 발생하는 원인은 인터넷 연결이 없는 메트릭 값 "281"이 우선순위가 더 높기 때문입니다. 그럼 무선 LAN 어댑터의 메트릭 값을 281보다 작은 값으로 설정하면 인터넷 지연이 해결될 것입니다.

3. 라우팅 우선순위 변경

라우팅 우선순위는 메트릭(Metric) 값의 변경으로 가능합니다.

우선 순위 조정이 필요한 인터페이스가 모두 고정 IP 설정이라면 영구 경로에 라우팅 설정을 하면 됩니다.

저와 같이 유동 IP를 사용하는 어댑터의 경우에는 IP가 변경되어도 라우팅 우선순위에 영향이 없도록 어댑터 자체의 메트릭 값을 바꿔주도록 하겠습니다. 그럼 부팅 시 어댑터에 부여된 메트릭 값에 따라 활성 경로의 메트릭이 적절하게 조정될 것입니다.

어댑터 설정에서 메트릭 변경하기

아래의 네트워크 어댑터 창을 띄웁니다.

윈도11에서는 "고급 네트워크 설정-관련 설정-기타 네트워크 어댑터 옵션"에서 가능합니다.

네트워크 어댑터 상세 목록

아래 그림을 참고하여 "이더넷 속성-인터넷 프로토콜 버전 속성-고급-인터페이스 메트릭"을 수동으로 설정합니다.

우선순위를 높일 어댑터의 메트릭 값을 낮게, 낮출 어댑터의 메트릭 값을 높게 설정합니다.

인터페이스 메트릭 설정

라우팅 테이블 우선순위 재 확인

위와 같이 어댑터의 인터페이스 메트릭 값을 조정했으면 "route print" 명령으로 라우팅 테이블을 재조회 합니다.

route print 결과

인터페이스 메트릭 조정 후 조회한 라우팅 테이블에서의 메트릭 값은 무선 LAN 우선순위가 더 높게 변경되었습니다.

실제로 인터넷 브라우저로 인터넷을 시도해 보니 이전과 다르게 지연 현상이 사라졌습니다.

[VBA] 날짜 중복 검출하기(DATE OVERLAP)

noyecube — Sun, 10 Dec 2023 17:01:16 +0900

회사에서 직원별 휴가 시작일과 종료일을 관리하는 엑셀을 작성했다고 가정합니다.

원본 데이터를 하나의 워크시트에 취합했는데 겹치는 날짜가 있는데 찾기가 어렵습니다.

VBA를 활용하여 간단하게 중복되는 날짜를 검출해 보겠습니다.

1. 예제 데이터 시트

아래의 예제 데이터 시트를 보면 소속사, 성명, 시작일, 종료일이 있습니다.

같은 배경색의 행끼리 날짜가 중복되고 있음을 확인할 수 있습니다.

이런 행이 수천 행이 존재한다면? 눈으로 검증할 생각을 하면 생각만 해도 퇴사 마렵습니다.

예제 데이터 시트-예제데이터.xlsx

2. VBA 매크로 파일 만들기

아래의 그림과 같이 매크로 파일을 하나 만들어 줍니다. 매크로 파일을 만드는 자세한 방법은 이전 포스팅을 참조하세요.

2023.12.01 - [프로그래밍/Excel VBA] - [VBA] 엑셀 VBA 사용법

파라미터를 4개 입력받도록 하였습니다.

Target File Path: 검증할 엑셀 파일이 존재하는 파일 경로를 입력합니다.
Target File Name: 검증할 엑셀 파일명을 입력합니다.
Target Worksheet: 검증할 엑셀 파일명 내의 워크시트명을 입력합니다.
Data Entry Row No: 데이터가 시작하는 행 번호를 입력합니다.

Summary Report에는 날짜 중복이 검출되었는지, 몇 개 검출되었는지 알려줍니다.

VBA-매크로 파일

3. 날짜 중복 여부 검출 알고리즘

예제 데이터 시트의 5행과 7행은 날짜가 겹치는 상황입니다. 5행을 원본데이터, 7행을 비교데이터라고 할 때 슈도코드는 아래와 같습니다. 원본데이터와 비교데이터가 서로 바뀌어도 상관없습니다.

' DATE OVERLAP 검출 슈도 코드
If 원본시작날짜 <= 비교종료날짜 And 비교시작날짜 <= 원본종료날짜 Then
	날짜겹칩(DATE OVERLAP) 발생!!
 End If

4. 실행결과 확인

아래 실행 결과를 예제 데이터와 비교해 보면 중복이 발생한 행 정보를 Row index에 표기해 주고 있음을 확인할 수 있습니다.

실행 결과

5. 검증매크로 소스코드

매크로파일의 소스코드 전체를 공개합니다. [START] Data Validation이 날짜 중복 여부 검출 부분입니다.

Public Function FileExists(ByVal path_ As String) As Boolean
    FileExists = (Dir(path_, vbDirectory) <> "")
End Function

Sub VacationDupCheck_Click()

    Dim shtThisVBA As Worksheet
    Set shtThisVBA = ThisWorkbook.Worksheets("vba")
    
    ' Define User-friendly Color Index variables
    Const COLORINDEX_WHITE As Integer = 0
    Const COLORINDEX_RED As Integer = 3
    Const COLORINDEX_GREEN As Integer = 4
    Const COLORINDEX_BLUE As Integer = 5
    Const COLORINDEX_YELLOW As Integer = 6
    Const COLORINDEX_PINK As Integer = 7
    Const COLORINDEX_ORANGE As Integer = 46
    
    
    ' Declare a string variable to store the path of the file to be validated
    Dim strTargetFilePath As String
    Dim strTargetFileName As String
    Dim strTargetWorksheetName As String
    Dim lEntryRowNo As Long
    Dim lLastRowNo As Long
    strTargetFilePath = shtThisVBA.Range("E4").Value
    strTargetFileName = shtThisVBA.Range("E5").Value
    strTargetWorksheetName = shtThisVBA.Range("E6").Value
    lEntryRowNo = shtThisVBA.Range("E7").Value
    
    
    ' Concatenate the file path and filename to complete the full path.
    Dim strTargetFullPath As String
    strTargetFullPath = strTargetFilePath + "\" + strTargetFileName
    
    Debug.Print "[INFO] strTargetFilePath: " & strTargetFilePath
    Debug.Print "[INFO] strTargetFileName: " & strTargetFileName
    Debug.Print "[INFO] strTargetWorksheetName: " & strTargetWorksheetName
    Debug.Print "[INFO] strTargetFullPath: " & strTargetFullPath
    Debug.Print "[INFO] lEntryRowNo: " & lEntryRowNo
    
    ' [START] Verify the existence of the target file. and target worksheet
    Dim wbTargetWorkBook As Workbook
    Dim wsTargetWorksheet As Worksheet
    
    If FileExists(strTargetFullPath) Then
        Set wbTargetWorkBook = Workbooks.Open(strTargetFullPath)
    Else
        MsgBox "[ERROR] No Such Target File Path" & vbNewLine & _
                strTargetFullPath, vbCritical
        Exit Sub
    End If
    
    ' Verify the existence of the target worksheet.
    Dim boVerified As Boolean
    boVerified = False
    For Each wsTargetWorksheet In wbTargetWorkBook.Worksheets
        If wsTargetWorksheet.Name = strTargetWorksheetName Then
            boVerified = True
            Exit For
        End If
    Next wsTargetWorksheet
    
    If boVerified Then
        Debug.Print "[INFO] Worksheet Lookup Success: " & strTargetWorksheetName
    Else
        MsgBox "[ERROR] No Such Target Worksheet Name" & vbNewLine & _
                strTargetWorksheetName, vbCritical
        Exit Sub
    End If
    ' [END] Verify the existence of the target file. and target worksheet

    lLastRowNo = wsTargetWorksheet.Cells(wsTargetWorksheet.Rows.Count, 1).End(xlUp).Row
    Debug.Print "[INFO] lLastRowNo: " & lLastRowNo
    
    Dim i As Long
    Dim j As Long
    Dim sDateRoot As Date
    Dim eDateRoot As Date
    Dim strIdNameRoot As String
    Dim sDateCmp As Date
    Dim eDateCmp As Date
    Dim strIdNameCmp As String
    Dim lCntError As Long
    Dim lReportIndex As Long: lReportIndex = 16
    
    Dim strTimeStampStart As String
    strTimeStampStart = Format(Now, "yyyy-MM-dd hh:mm:ss")
    Debug.Print "[INFO] strTimeStampStart: " & strTimeStampStart

    lCntError = 0
    ' [START] Data validation
    For i = lEntryRowNo To lLastRowNo - 1
        strIdNameRoot = wsTargetWorksheet.Cells(i, 3).Value
        strIdNameRoot = strIdNameRoot + "-" + wsTargetWorksheet.Cells(i, 4).Value
        sDateRoot = wsTargetWorksheet.Cells(i, 5).Value
        eDateRoot = wsTargetWorksheet.Cells(i, 7).Value
        ' Debug.Print "[INFO] strIdNameRoot: " & strIdNameRoot
        
        For j = i + 1 To lLastRowNo
            strIdNameCmp = wsTargetWorksheet.Cells(j, 3).Value
            strIdNameCmp = strIdNameCmp + "-" + wsTargetWorksheet.Cells(j, 4).Value
            sDateCmp = wsTargetWorksheet.Cells(j, 5).Value
            eDateCmp = wsTargetWorksheet.Cells(j, 7).Value
            
            If sDateRoot <= eDateCmp And sDateCmp <= eDateRoot Then
                lCntError = lCntError + 1
                shtThisVBA.Cells(lReportIndex, "D") = "Date Overlap"
                shtThisVBA.Cells(lReportIndex, "E") = strIdNameRoot
                shtThisVBA.Cells(lReportIndex, "F") = i & ", " & j
                lReportIndex = lReportIndex + 1
                Debug.Print "[HIT] strIdNameRoot: " & strIdNameRoot & ": overlap " & i & " with "; j
            End If
            
        Next
        
    Next
    ' [END] Data validation
    
    ' Write Summary Report
   
    shtThisVBA.Cells(11, "E") = strTimeStampStart
    shtThisVBA.Cells(12, "E") = lCntError
    If lCntError Then
        shtThisVBA.Cells(12, "E").Interior.ColorIndex = COLORINDEX_RED
    Else
        shtThisVBA.Cells(12, "E").Interior.ColorIndex = COLORINDEX_GREEN
    End If
    
End Sub

이상으로 엑셀 VBA 매크로를 활용하여 날짜(DATE) 속성 데이터의 시작일, 종료일 간 중복 여부를 검출하는 코드를 작성해 보았습니다.

Auto Lock/Unlock for Thread Syncronization

noyecube — Sun, 10 Dec 2023 15:21:48 +0900

스레드 간 동기화를 위해서는 락 메커니즘을 활용합니다. 락을 획득한 상태에서 예외가 발생하면 락을 반환해야 하는데

예외 케이스가 다양할 경우 각 예외 구문마다 락 반환코드를 넣는 것은 번거롭습니다.

이번 포스팅에서는 지역변수의 스코프 내 유효 특성을 이용하여 함수 종료 시 획득한 락도 자동으로 반환되는 일명 Autolock class에 대해 예제기반으로 설명합니다.

1. 커널모드, 유저모드

락은 크게 커널모드 동작방식, 유저모드 동작방식으로 구분되며 커널모드의 대표적인 락은 뮤텍스이며 중첩락을 허용하는 특징이 있습니다. 유저모드의 대표적인 락은 크리티컬섹션입니다. 현업에서 뮤텍스, 크리티컬섹션의 사용 사례를 다양하게 접했지만 뮤텍스의 중첩을 활용하는 경우는 거의 보지 못하였습니다. 또한 Lock/Unlock이 빈번할 경우 커널모드 동작방식의 락이 퍼포먼스 측면에서 많이 불리하므로 커널모드 방식은 필요할 때만 사용하는 것이 적절합니다.

2. CriticalSection과 Slim Reader/Writer (SRW) Locks

공유메모리 역할의 SharedArray가 있고 데이터를 기록하는 스레드를 WriterA, 데이터를 읽어가는 스레드가 ReaderB, ReaderC, ReaderD가 있다고 가정합니다. CriticalSection을 사용하면 ReaderB, ReaderC, ReaderD 간에도 경쟁이 발생하여 읽기 작업에서도 Serialized Section이 발생합니다. 이를 개선할 수 있는 방식이 Slim Reader/Writer Lock(이하 SRW 락)입니다. SRW 락은 유저모드로 동작하므로 스레드 간 공유자원에 사용할 수 있고 프로세스 간 공유자원에는 사용할 수 없습니다. 대신 속도가 빠르고 메모리 점유가 적은 장점이 있습니다.

SRW 락은 두 가지 모드를 제공합니다.

Shared mode : reader thread들이 shared mode로 접근하면 모든 스레드가 동시에 접근할 수 있어 citical section보다 퍼포먼스가 향상됩니다.
Exclusive mode : 이 모드에서는 읽기/쓰기를 동시에 수행합니다. Shared mode보다 우선이기 때문에 오직 한 스레드만 진입 가능합니다.

3. SRW Lock 함수

AcquireSRWLockExclusive, ReleaseSRWLockExclusive
AcquireSRWLockShared, ReleaseSRWLockShared
InitializeSRWLock
SleepConditionVariableSRW
TryAcquireSRWLockExclusive
TryAcquireSRWLockShared

4. SRW Lock 예제 코드

SRW Lock 사용을 위해서는 SRWLOCK 변수가 필요합니다. 공유 구조체의 경우 맨 보통 맨 위에 SRWLOCK 타입 변수를 선언하여 사용합니다. 구조체 생성자에서 InitializeSRWLock으로 SRWLOCK 변수를 초기화 합니다.

typedef struct _DS_CONF_SERVER {
	SRWLOCK srwlock;
	WORD wPortNo;	// service port number
	WORD wProtocolVersionMajor;
	WORD wProtocolVersionMinor;
	WORD wProtocolVersionPatch;
	_DS_CONF_SERVER() {
		ZeroMemory(this, sizeof(struct _DS_CONF_SERVER));
		InitializeSRWLock(&srwlock);
	}
} TST_DS_CONF_SERVER, *PTST_DS_CONF_SERVER;

SharedLock 사용 코드입니다.

LPVOID CDiagnostics::fpLookupDiagHandlerbyTrCode(LPCTSTR lpstrTrCode)
{
	LPVOID lp;
	BOOL boRet;

	AcquireSRWLockShared(&(_m_stTrHandlerMap.srwlock));
	boRet = _m_stTrHandlerMap.map.Lookup(lpstrTrCode, lp);
	ReleaseSRWLockShared(&(_m_stTrHandlerMap.srwlock));

	if (FALSE == boRet)
		lp = nullptr;

	return lp;
}

5. AutoScopeLock 필요성

함수 진입 후 특정 자료구조의 데이터가 정상인지 하나하나 체크한다고 가정할 때 각 if문에서 예외가 발생하면 예외문마다 ReleaseLock 함수를 호출해야 하는데 코딩 실수가 발생하여 버그를 생성할 수 있고 타이핑 노력이 많이 들어갑니다.

지역변수의 스코프 특성을 활용하여 아래와 같이 CAutoScopeSRWLOCKExclusive, CAutoScopeSRWLockShared를 만들어 쓰면 편리합니다. 함수 내 return 포인트가 여러 곳에 존재하지만 Lock 사용 코드는 함수 진입점에 한 번만 기술되어 있습니다. lock 변수가 지역변수로 생성될 때 생성자가 락을 획득하고, 지역변수가 해제될 때 소멸자가 호출되면서 소멸자에서 락을 릴리스합니다.

PTST_DSM_ITEM CDmssItem::pAlloc_PTST_DSM_ITEM_CHAIN(const WORD wQuantity)
{
...생략...

	CAutoScopeSRWLOCKExclusive lock(&(pPool->srwlock));

	if (pPool->wFreeItemsCnt < wQuantity) {	/* Dynamic allocation */
		DPRINTF("[WARN] pAlloc_PTST_DSM_ITEM_CHAIN wQuantity(%d), pPool->wFreeItemsCnt(%d)\n", wQuantity, pPool->wFreeItemsCnt);
		pHead = new TST_DSM_ITEM;
		pTail = pHead;
		if (nullptr == pTail) {
			return nullptr;
		}
		wAssigned = 1;

		while (wAssigned < wQuantity) {
			pTail->pNext = new TST_DSM_ITEM;
			if (nullptr == pTail->pNext) {
				break;
			}

			pTail = pTail->pNext;
			wAssigned++;
		};

		if (wQuantity == wAssigned) {
			return pHead;	/* return dynamic allocated memory */
		}
		else {	/* Cancel dynamic allocation */
			while (pHead) {
				pTail = pHead->pNext;
				delete pHead;
				pHead = pTail;
			}
		}

		return nullptr;
	}

...생략...
	return pHead;

}

6. CAutoScope class 코드

아래 헤더파일을 프로그램에 추가 후 사용하면 됩니다.

6.1 CAutolock.h

#pragma once

namespace
{
	const BYTE LOCKTYPE_NONE = 0;
	const BYTE LOCKTYPE_EXCLUSIVE = 1;
	const BYTE LOCKTYPE_SHARED = 2;
}

class CAutoScopeSRWLOCKShared
{
private:
	PSRWLOCK m_psrwlock;

protected:
	CAutoScopeSRWLOCKShared() { m_psrwlock = NULL; }

public:
	CAutoScopeSRWLOCKShared(PSRWLOCK psrwlock) { AcquireSRWLockShared(psrwlock); m_psrwlock = psrwlock; }
	~CAutoScopeSRWLOCKShared() { ReleaseSRWLockShared(m_psrwlock); m_psrwlock = NULL; }

	static void Init(PSRWLOCK psrwlock)	{ InitializeSRWLock(psrwlock); }

};

class CAutoScopeSRWLOCKExclusive
{
private:
	PSRWLOCK m_psrwlock;

protected:
	CAutoScopeSRWLOCKExclusive() { m_psrwlock = NULL; }

public:
	CAutoScopeSRWLOCKExclusive(PSRWLOCK psrwlock) { AcquireSRWLockExclusive(psrwlock); m_psrwlock = psrwlock; }
	~CAutoScopeSRWLOCKExclusive() { ReleaseSRWLockExclusive(m_psrwlock); m_psrwlock = NULL; }

	static void Init(PSRWLOCK psrwlock) { InitializeSRWLock(psrwlock); }

};

이상으로 지역변수의 스코프 특성을 활용하여 클래스 소멸자에서 자동으로 락을 해제할 수 있는 방법을 알아보았습니다.

[MFC] MFC 스레드 예제

noyecube — Sun, 10 Dec 2023 01:06:49 +0900

이번 포스팅에서는 윈도 MFC 환경에서 사용가능한 두 가지 타입의 스레드에 대해 알아보고 생성/동기화/종료 방법을 예제를 통해 알아보겠습니다.

리눅스 환경에서 thread를 사용해 보신 분들은 pthread_create와 같은 POSIX Thread 함수에 익숙하실 텐데요.

윈도 MFC 환경에서는 두 가지 타입의 스레드가 존재하며 사용 목적과 프로그램 성격에 따라 타입을

구분하여 사용할 수 있습니다.

1. 스레드를 사용하는 이유

프로그램 실행 시 프로그램의 진입점인 main 함수를 실행하는 한 개의 메인 스레드가 생성됩니다.

메인 스레드만 사용하여 프로그램을 개발하려고 하면 다음과 같은 문제점들이 있습니다.

특정 작업을 백그라운드화 하지 못해 작업 끝날 때까지 사용자와 상호작용 불가능(화면 멈춤)
싱글 코어 사용으로 인한 퍼포먼스 저하 및 컴퓨팅 자원 낭비
타이머 등 비동기 메커니즘 구현 불가

현실에 빗대어 키오스크가 고장 난 맥도널드로 간 상황을 설명해 보겠습니다.

카운터에서 캐셔(UI Thread)에게 햄버거 세트를 주문했는데 주문을 접수받은 캐셔가 주방으로 가서 햄버거도 만들고 감자도 튀기고 콜라도 따르는 상황을 가정해 봅시다. 그럼 내 뒤로 주문하러 방문한 사람은 캐셔가 주방에서 일하는 동안 대기하고 있어야 합니다. 주방에 별도로 일하는 조리사(Worker Thread)가 있다면 캐셔(UI Thread)는 카운터에서 주문을 받고 조리사(Worker Thread)가 완성하는 음식을 손님에게 내어주면 됩니다. 만약 주방에 조리가가 1명이 아니라 다수라면 음식이 나오는 속도는 더 빨라질 것입니다.

2. 스레드를 활용한 병렬 처리 유의점과 한계

스레드를 사용하면 필연적으로 스레드 간 동기화 기법을 사용해야 합니다.

스레드 동기화 메커니즘에는 세마포어, 뮤텍스, 스핀락, Reader-Writer Lock 등이 있으며 각 메커니즘에는 퍼포먼스 차이와 함께 장단점이 존재하므로 적절한 메커니즘을 선택하여 사용해야 합니다. 동기화 설계가 잘못되면 스레드 간 서로의 락을 획득하기 위해 무한정 대기하게 되는 교착상태(데드락)에 빠질 수 있음에 유의해야 합니다.

또한 암달의 법칙(Amdal's Law)도 참고하며 스레드 프로그램을 개발하길 권장합니다. 암달의 법칙은 코어 수를 2배로 늘려도 처리 성능은 2배가 되지 못하고 20~40% 정도의 성능 손실이 발생한다는 법칙입니다. 아무리 병렬화를 한다고 해도 결국에는 직렬화 구간이 존재할 수밖에 없으며 이 때문에 한계가 존재한다는 법칙입니다. 이를 프로그램 개발과 연관 지어 생각하면 스레드 프로그램 개발 시 직렬화 구간에서는 시간이 오래 걸리는 작업을 최소화하고 병렬로 처리할 수 있는 부분은 최대한 병렬화 하는 것이 좋습니다.

3. User-Interface thread, Worker thread 비교

MFC에는 두 가지 타입의 스레드, User-Interface thread(이하 UI thread)와 Worker thread, 를 사용할 수 있습니다.

UI thread는 주로 사용자와의 입출력을 처리하는데 많이 쓰입니다. Worker thread는 사용자와의 입출력이 필요 없이 백그라운드에서 계산작업과 같은 역할이 필요할 때 사용됩니다.

UI Thread는 CWinThread 클래스를 상속받아 구현하는데 Worker thread와의 차이점은 사용자로부터의 메시지 이벤트를 수신하는 메시지펌프가 기본적으로 구현되어 있습니다. 그래서 While문 등을 사용하여 별도의 메시지 처리 Loop를 구현하지 않고 이벤트 메시지와 이벤트 메시지 핸들러만 정의하여 메시지를 처리할 수 있습니다.

아래는 간략한 UI Thread 코드입니다. 메시지맵에 메시지와 핸들러를 등록해 두면 다른 스레드에서 PostThreadMessage() 호출을 통하여 UI Thread의 메시지핸들러를 호출할 수 있습니다.

이벤트와 달리 메시지는 메시지큐에 쌓여서 순차처리 되므로 대량의 패킷 데이터 처리에는 메시지 처리 오버헤드도 더 발생하여 퍼포먼스에 악영향을 미칠 수 있으므로 권장하지 않습니다. 예를 들어 천 개의 패킷이 도착했으면 메시지도 천 개가 발생하여 쌓이게 됩니다. 이벤트로 처리할 경우에는 패킷이 도착했음을 한 번만 이벤트 설정하면 수신 스레드에서 Queue가 Empty 상태일 때까지 알아서 동작합니다.

/* .h */
class CMiscEventLoop : public CWinThread
{
	DECLARE_DYNCREATE(CMiscEventLoop)

public:
	CMiscEventLoop();           // protected constructor used by dynamic creation
	virtual ~CMiscEventLoop();

public:
	virtual BOOL InitInstance();
	virtual int ExitInstance();

protected:
	DECLARE_MESSAGE_MAP()
public:
	void OnMsgLocalDiagConsole(WPARAM wParam, LPARAM lParam);
};

/* .cpp */
BEGIN_MESSAGE_MAP(CMiscEventLoop, CWinThread)
	ON_THREAD_MESSAGE(MSG_ID_MISCEVENT_LOCAL_DIAG_CONSOLE, OnMsgLocalDiagConsole)
END_MESSAGE_MAP()


// CMiscEventLoop message handlers
void CMiscEventLoop::OnMsgLocalDiagConsole(WPARAM wParam, LPARAM lParam)
{
	DPRINTF("ENTER\n");
	theApp.m_Diag.vExec_LocalDiagCommandLine(wParam, lParam);
	DPRINTF("LEAVE\n");
}

/* view.cpp */
theApp.m_pMiscEventLoop->PostThreadMessage(MSG_ID_MISCEVENT_LOCAL_DIAG_CONSOLE, (WPARAM)p, 0); /* WPARAM: TST_DIAG_REQUEST_ITEM, TODO: LPARAM:DESTINATION INFO STRUCTURE */

다음은 Worker thread 예제 코드입니다. Worker thread의 함수 원형은 static UINT 함수명(LPVOID)입니다.

클래스 내부에 정의해도 static 타입이므로 클래스 인스턴스에 포함되지 않습니다. 그래서 스레드 생성 시 파라미터로 theApp 등 필요한 객체 정보를 전달해 주어야 합니다.

Worker thread 구현을 보면 while (TRUE) 구문으로 Loop를 구성하고 있습니다.

이 예에서는 Worker thread도 PeekMessage 사용을 통해 UI thread처럼 메시지를 수신받고 처리할 수 있음을 보여줍니다.

이벤트 대기를 위해 사용할 수 있는 동기화 함수는 WaitForSingleObject(), WaitForMultipleObjects(), MsgWaitForMultipleObjectsEx(), GetQueuedCompletionStatus() 등이 있으며 목적에 따라 적절하게 선택하여 사용하면 됩니다.

/* .h */
class CRilServer
{
public:
	static UINT ThdRilServerMgr(LPVOID pParam);
};

/* .cpp */
UINT CRilServer::ThdRilServerMgr(LPVOID pParam)
{
	PTST_LPVOID_PARAMS pParams = (PTST_LPVOID_PARAMS)pParam;

	SetEvent((HANDLE)(pParams->lpOpaque_3));	// send parameter copy completed signal to thread creator

	DWORD dwWaitRet;
	MSG msg;
	while (TRUE) {
		dwWaitRet = MsgWaitForMultipleObjectsEx(1, &hWSAEvent, RIL_SERVER_SOCKET_POOL_REFRESH_INTERVAL, QS_POSTMESSAGE, MWMO_INPUTAVAILABLE);

		if ((WAIT_OBJECT_0 + 0) == dwWaitRet) {	/* FD_ACCEPT event at hWSAEvent by hsoListen */
			WSANETWORKEVENTS ne;
			WSAEnumNetworkEvents(hsoListen, hWSAEvent, &ne);
			if (ne.lNetworkEvents & FD_ACCEPT) {

				int iRet;
				iRet = pthis->m_RilSession.IncreaseAcceptSockets(hsoListen);
				DPRINTF("hsoListen event signaled, iRet(%d) PoolCnt(%Iu), SessionCnt(%Iu)\n", iRet, pthis->m_RilSession.iGetCount_AcceptExPOOL(), pthis->m_RilSession.iGetCount_ConnectedSessions());
			}
		} else if ((WAIT_OBJECT_0 + dwNCOUNT) == dwWaitRet) {	/* Thread Msg Event via PostThreadMessage Call */

			if (!PeekMessage(&msg, NULL, 0, 0, PM_REMOVE)) {
				continue;
			}

			if (MSG_ID_CRILSERVER_QUIT == msg.message) {
				RIL_LOG_INFO("MSG_ID_CRILSERVER_QUIT, ThdRilServerMgr Exit.");
				break;
			}

			PTST_RIL_SESSION_NODE prsn = (PTST_RIL_SESSION_NODE)msg.lParam;
			if (MSG_ID_CRILSEREVR_SOCK_CONNECTED == msg.message) {
				pthis->m_RilSession.vRegisterSocketToSessionObj(prsn);
			}
			else if (MSG_ID_CRILSERVER_SOCK_DISCONNECTED == msg.message) {
				pthis->m_RilSession.vUnregisterSocketFromSessionObj(hsoListen, prsn);
			}
		}
		else if (WAIT_TIMEOUT == dwWaitRet) {
			/* FIXME: Pool Optimization at Server System Idle, not user defined time interval fixed periodically */
			pthis->m_RilSession.vOptimizeAcceptExSocketPool();
			continue;
		}
		else if (WAIT_FAILED == dwWaitRet) {
			RIL_LOG_INFO("MsgWaitForMultipleObjectsEx WAIT_FAILED(%d). Exit Thread Loop.", GetLastError());
			break;
		}
		else {
			RIL_LOG_ERROR("MsgWaitForMultipleObjectsEx return not expected value (%d)", dwWaitRet);
		}
	}

4. UI thread 사용 방법

4.1 클래스마법사로 UI thread 코드 생성

클래스마법사에서 Add MFC Class 창을 띄워서 Base class를 CWinThread로 지정하여 생성하면 UI thread 코드를 작성할 수 있습니다. 메서드를 정의하고 해당 메서드와 메시지를 메시지 맵에 등록하면 됩니다.

UI Thread 생성

4.2 UI thread 인스턴스 생성 및 종료

App.cpp의 InitInstance()에서 생성한다고 가정한 예제 코드입니다.

헤더파일에 UI thread 헤더파일을 참조 후 UI thread 포인터 변수를 선언합니다.

그리고 cpp에서 객체 생성 후 CreateThread() 메서드를 호출하면 됩니다.

UI thread 종료는 DestoryWindow()를 호출합니다. 종료 처리는 ExitInstance() 메서드에 구현합니다.

/* App.h */
#include "CUiThread.h"

class App : public CWinApp
{
public:
	App() noexcept;

	CUiThread* m_pCUiThread;
}

/* App.cpp */
BOOL App::InitInstance()
{
	/* Create UI thread */
	m_pCUiThread = new CUiThread();
	m_pCUiThread->CreateThread();
}

UI Thread Context에서는 Sleep(), WaitForSingleObject() 호출하지 않도록 합니다. 다른 UI Thread도 함께 더 상위 레벨에서 윈도우 메시지 처리가 블로킹되어 UI Thread간 병렬처리가 되지 않고 순차처리 됩니다.

5. Worker thread 사용 방법

worker thread 함수를 작성하고 생성과 종료 방법을 알아보겠습니다.

5.1 Worker thread 코드 작성 및 스레드 생성/종료

static UINT 함수명(LPVOID) 형식의 함수를 작성합니다.

LPVOID 타입의 파라미터로 넘길 정보가 여러개일 경우를 대비하여 별도의 구조체 타입을 아래와 같이 정의하여 사용하고 있습니다.

typedef struct _LPVOID_PARAMS {
	LPVOID lpOpaque_1;
	LPVOID lpOpaque_2;
	LPVOID lpOpaque_3;
	LPVOID lpOpaque_4;
	LPVOID lpOpaque_5;
	_LPVOID_PARAMS() {
		ZeroMemory(this, sizeof(struct _LPVOID_PARAMS));
	}
} TST_LPVOID_PARAMS, * PTST_LPVOID_PARAMS;	// LPVOID PARAMS TYPE for THREAD Creation

부모 스레드는 자식 스레드 생성코드 호출 후 바로 다음 작업을 하는 것이 아니라 자식 스레드로부터 생성완료 이벤트를 기다렸다가 다시 자식 스레드에게 시작 이벤트를 전송 후 다음 작업으로 넘어가는 것이 정석적인 방법입니다.

다음의 Worker thread 생성 코드를 참조하세요. 예제 스레드 원형은 staic UINT ThdRilTx(LPVOID)입니다.

부모와 자식 간 동기화를 위해서 임시 이벤트 핸들 Start, Created를 사용합니다.

부모와 자식간 동기화는 다음과 같습니다.

부모: AfxBeginThread 호출->WaitForSingleObject(Created)->SetEvent(Start)
자식: SetEvent(Created)->WaitForSingleObject(Start)

CWinThread* _m_pThdRilTx;
noyecube_errno_t CRilServer::RilInit(unsigned short shPortNo)
{
....생략...
	/* Create TX Thread */
	HANDLE hEvent_Thread_Start;
	HANDLE hEvent_Thread_Created;

	hEvent_Thread_Start = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, _T("hEvent_Thread_Start_Ril"));
	if (NULL == hEvent_Thread_Start) {
		AfxMessageBox(_T("Fail:NoyeCube:RilInit.hEvent_Thread_Start"));
		this->RilDeInit();
		return (-NOYECUBE_ECREATIONFAIL);
	}

	hEvent_Thread_Created = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, _T("hEvent_Thread_Created_Ril"));
	if (NULL == hEvent_Thread_Created) {
		AfxMessageBox(_T("Fail:NoyeCube:RilInit.hEvent_Thread_Created"));
		this->RilDeInit();
		return (-NOYECUBE_ECREATIONFAIL);
	}

	this->m_hEvent_Wakeup_Tx = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, _T("hEvent_Wakeup_Tx_Ril"));
	if (NULL == (this->m_hEvent_Wakeup_Tx)) {
		AfxMessageBox(_T("Fail:NoyeCube:ThdRilServerMgr.m_hEvent_Wakeup_Tx."));
		this->RilDeInit();
		return (-NOYECUBE_ECREATIONFAIL);
	}

	this->m_hEvent_Thread_Exit_Tx = CreateEvent(NULL, CREATE_EVENT_MANUAL_RESET, FALSE, _T("m_hEvent_Thread_Exit_Tx_Ril"));
	if (NULL == (this->m_hEvent_Thread_Exit_Tx)) {
		AfxMessageBox(_T("Fail:NoyeCube:ThdRilServerMgr.m_hEvent_Thread_Exit."));
		this->RilDeInit();
		return (-NOYECUBE_ECREATIONFAIL);
	}

	TST_LPVOID_PARAMS st_lpParams;
	st_lpParams.lpOpaque_1 = (LPVOID)(&theApp);
	st_lpParams.lpOpaque_2 = (LPVOID)(&(theApp.m_RilSever));
	st_lpParams.lpOpaque_3 = (LPVOID)hEvent_Thread_Created;
	st_lpParams.lpOpaque_4 = (LPVOID)hEvent_Thread_Start;

	_m_pThdRilTx = AfxBeginThread(theApp.m_RilSever.ThdRilTx, (LPVOID)&st_lpParams);
	if (nullptr == _m_pThdRilTx) {
		AfxMessageBox(_T("AfxBeginThread ThdRilTx Error.\nQuit Program."));
		RIL_LOG_ERROR("AfxBeginThread ThdRilTx Error.");
		this->RilDeInit();
		return (-NOYECUBE_ECREATIONFAIL);
	}
    
	if (NULL != hEvent_Thread_Created) {
		DPRINTF("WAITING ThdRilTx ...");
		WaitForSingleObject(hEvent_Thread_Created, INFINITE);
		ResetEvent(hEvent_Thread_Created);
		DPRINTF("Completed ThdRilTx.\n");
	}

	SetEvent(hEvent_Thread_Start);	/* Signal to Entering TX Thread Loop*/
	if (NULL != hEvent_Thread_Start)
		CloseHandle(hEvent_Thread_Start);

	if (NULL != hEvent_Thread_Created)
		CloseHandle(hEvent_Thread_Created);
...생략...
     return NOYECUBE_ESUCCESS;
}

Worker thread에서 SetEvent((HANDLE)(pParams->lpOpaque_3)) 코드가 생성완료 이벤트를 부모에 전달하는 코드입니다. WaitForSingleObject((HANDLE) pParams->lpOpaque_4)) 코드가 부모로부터 시작 명령을 대기하는 코드입니다.

while loop에서 WaitForMultipleObjects()로 이벤트 두 개를 사용하는데 그중 m_hEvent_Thread_Exit_Tx 이벤트가 발생하면 loop를 빠져나가고 스레드를 종료하도록 되어 있습니다.

즉 이 Worker thread를 종료하려면 SetEvent( m_hEvent_Thread_Exit_Tx)를 호출하면 됩니다.

UINT CRilServer::ThdRilTx(LPVOID pParam)	// tx thread
{
	PTST_LPVOID_PARAMS pParams = (PTST_LPVOID_PARAMS)pParam;
	PTST_DSM_HEADER_ITEM p;
	CHAR pktBuf[RIL_MSS_SIZE];
	UINT16 pktBufUsedLen = 0;

	const CNoyecubeApp* ptheApp = (CNoyecubeApp*)(pParams->lpOpaque_1);
	CRilServer* pRilObj = (CRilServer*)(pParams->lpOpaque_2);
	Concurrency::concurrent_queue<PTST_DSM_HEADER_ITEM>* pqDataTx = &(pRilObj->m_qDataTx);

	BOOL boTryPopResult;
	HANDLE arrhEvents[2];
	DWORD dwEvent;
	int iRet;

	arrhEvents[0] = pRilObj->m_hEvent_Wakeup_Tx;
	arrhEvents[1] = pRilObj->m_hEvent_Thread_Exit_Tx;

	DPRINTF("Thread (TX TID:%d) created successfully.\n", GetCurrentThreadId());
	SetEvent((HANDLE)(pParams->lpOpaque_3));	// send parameter copy completed signal to thread creator

	WaitForSingleObject((HANDLE)(pParams->lpOpaque_4), INFINITE);
	DPRINTF("hEvent_Thread_Start triggered. Enter Loop.(TX TID:%d)\n", GetCurrentThreadId());

	ZeroMemory(pktBuf, sizeof(pktBuf));
	pktBufUsedLen = 0;

	while (TRUE) {
		ResetEvent(arrhEvents[0]);	/* m_hEvent_Wakeup_Tx */

		p = nullptr;
		boTryPopResult = pqDataTx->try_pop(p);
		if (FALSE == boTryPopResult) {
			dwEvent = WaitForMultipleObjects(2, arrhEvents, FALSE, INFINITE);

			if ((WAIT_OBJECT_0 + 0) == dwEvent) {	// m_hEvent_Wakeup_Tx
				continue;
			}
			else if ((WAIT_OBJECT_0 + 1) == dwEvent) {	// m_hEvent_Thread_Exit
				DPRINTF("m_hEvent_Thread_Exit_Tx triggered. Exit Loop.(TX TID:%d)\n", GetCurrentThreadId());
				break;	// thread exit
			}
			else if (WAIT_FAILED == dwEvent) {
				RIL_LOG_ERROR("WaitForMultipleObjects WAIT_FAILED(%d) but Ignored.", GetLastError());
				continue;
			}
			else if (WAIT_TIMEOUT == dwEvent) {
				RIL_LOG_ERROR("WaitForMultipleObjects WAIT_TIMEOUT but not defined any action Ignored.");
				continue;
			}
			else {
				RIL_LOG_ERROR("WaitForMultipleObjects return (%d). not defined return value.", dwEvent);
				continue;
			}
		}
		else {	// TRUE == boTryPopResult
 ...생략...
 }

다음은 Worker thread에게 종료이벤트를 전송하고 종료처리를 하는 예제코드입니다.

CWinThread 타입의 _m_pThdRilTx가 nullptr이 아니면 현재 생성된 Worker thread를 가리키고 있는 것입니다.

앞서 언급했듯이 SetEvent(m_hEvent_Thread_Exit_Tx)를 호출하면 Worker thread로 종료이벤트가 전달되고 loop를 탈출하며 thread가 종료됩니다. 스레드가 완전히 종료되었음은 WaitForSingleObject()로 스레드핸들에 발생하는 이벤트를 대기하고 있으면 됩니다. 사용한 이벤트 핸들 변수를 닫아주면 마무리됩니다.

	if (nullptr != _m_pThdRilTx) {
		DPRINTF("[DBG]  ==> _m_pThdRilTx->SetEvent(m_hEvent_Thread_Exit_Tx)\n");
		SetEvent(m_hEvent_Thread_Exit_Tx);
		DPRINTF("[DBG]  ==> Before WaitForSingleObject(_m_pThdRilTx->m_hThread, INFINITE)...\n");
		WaitForSingleObject(_m_pThdRilTx->m_hThread, INFINITE);
		DPRINTF("[DBG]  ==> After WaitForSingleObject(_m_pThdRilTx->m_hThread, INFINITE)...\n");
		_m_pThdRilTx = nullptr;
		if (INVALID_HANDLE_VALUE != m_hEvent_Thread_Exit_Tx) {
			CloseHandle(m_hEvent_Thread_Exit_Tx);
			m_hEvent_Thread_Exit_Tx = INVALID_HANDLE_VALUE;
		}
		if (INVALID_HANDLE_VALUE != m_hEvent_Wakeup_Tx) {
			CloseHandle(m_hEvent_Wakeup_Tx);
			m_hEvent_Wakeup_Tx = INVALID_HANDLE_VALUE;
		}
	}

여기까지 윈도 MFC 환경에서 User Interface Thread와 Worker Thread의 차이점과 각 스레드 타입을

실제 생성하고 종료하는 방법을 예제코드를 통해 알아보았습니다.

SQL Developer 설치 및 기본 설정

noyecube — Fri, 8 Dec 2023 02:01:19 +0900

Oracle SQL Developer는 Oracle Database에서 SQL 작업을 위한

무료 통합 개발환경(IDE)입니다.

Oracle SQL Developer는 다음과 같은 기능을 제공합니다.

SQL 쿼리 작성, 실행, 디버깅
데이터베이스 개체 탐색 및 관리
데이터베이스 모델링
데이터 시각화
PL/SQL, JAVA, Python 등과 같은 프로그래밍 언어 지원

1. SQL Developer 다운로드 및 설치

아래 경로에서 실행환경에 맞는 버전을 다운로드합니다.

압축파일을 다운로드하면 압축을 풉니다.

https://www.oracle.com/database/sqldeveloper/technologies/download/

Oracle SQL Developer Downloads

This archive. will work on a 32 or 64 bit Windows OS. The bit level of the JDK you install will determine if it runs as a 32 or 64 bit application. This download does not include the required Oracle Java JDK. You will need to install it if it's not already

www.oracle.com

압축을 풀면 최상위 폴더 이름이 "sqldevelper"입니다. 설치형이 아닌 Portable이라고 보면 됩니다.

그러므로 압축 푼 폴더를 통째로 C:\Program Files 경로에 복사합니다.

Program Files 밑에 복사

2. 접속 포트 설정 확인 및 Oracle 서비스 확인

Oracle DBMS의 리스너 기본 포트는 1521입니다. VirtualBox에서 NAT 네트워크 사용 시, 또는 기타 방화벽이 존재할 경우 1521번 포트를 허용합니다.

VirtualBox에서의 1521 포트 포워딩 설정

리스너 서비스가 정상인지 확인합니다. db 인스턴스에 대한 서비스가 확인되어야 합니다. SID로 지정한 db 명이 안 보이면 서비스 기동이 안된 것입니다.

db 리스너 확인

서비스 기동이 필요하면 SQLPLUS 콘솔에서 startup을 실행합니다.

startup 실행

3. SQL Developer 설정

접속 설정

사용자 이름에 "sys"와 패스워드를 입력하고 SID를 정확하게 입력 후 "테스트" 버튼을 눌러서 상태:성공을 확인합니다.

ORA-12505 에러 발생 시 SID 문제이므로 Oracle 서비스 확인 절차를 다시 수행하기 바랍니다.

접속을 눌러 DB 서버에 접속합니다.

접속에 성공하면 화면 최적화를 합니다. 좌측의 접속, 보고서 창을 접어서 작게 만들어 줍니다.

빨간 박스 클릭

SQL 쿼리를 작성하여 현재 접속 중인 계정을 확인해 봅니다.

쿼리를 작성 후 해당 쿼리 라인에 커서를 두고 F5를 누르면 스크립트 출력창에 결과가 표기되고

F9를 누르면 질의 결과창에 엑셀 양식으로 결과가 표기됩니다.

SELECT USER FROM DUAL

날짜형식을 바꿔줍니다. 기본설정은 아래와 같이 RR/MM/DD입니다.

도구-환경설정-데이터베이스-NLS-날짜형식에 가서

기존값 RR/MM/DD를 변경값 YYYY/MM/DD HH24:MI:SS로 적용해 줍니다.

날짜형식 RR/MM/DD

날짜형식 YYYY/MM/DD HH24:MI:SS

화면을 다크모드로 변경합니다.

도구-환경설정-코드 편집기-PL/SQL 구문 색상-구성표-Twilight

행번호를 표시합니다.

도구-환경설정-코드 편집기-행 여백-행 번호 표시에 체크

인출행 50을 200으로 변경

SQL 쿼리시 한 번에 50줄까지만 출력이 기본값인데 최대 가능값 200으로 바꿔줍니다.

도구-환경설정-데이터베이스-고급-SQL 배열 인출 크기를 200으로 설정

DBA창을 띄우고 인스턴스 뷰어를 띄우면 DB 성능 모니터링이 가능합니다.

인스턴스 뷰어 화면 일부

이상입니다.

oracle OPatch Release Update(RU) Patch 적용

noyecube — Thu, 7 Dec 2023 00:28:01 +0900

아래의 이전 포스팅에서 oracle 19c를 설치해 보았습니다.

2023.12.06 - [Database/Oracle] - linux에 oracle 19c 설치

linux에 oracle 19c 설치

Oracle 19c는 Oracle에서 출시한 관계형 데이터베이스 관리 시스템(RDBMS)으로 2018년 12월 18일에 출시되었습니다. 이 글을 작성하는 현재(2023.12.) Oracle 19c 상세 버전은 아래와 같습니다. 구분 설치파일

blog.noyecube.com

이때 설치된 oracle 19c 버전은 19.3.0.0입니다. 현시점(2023.12.)의 oracle 19c 버전은 19.21.0.0입니다.

따라서 단순 학습목적이 아닌 실 사용을 위해서는 각종 버그 및 취약점이 존재 하는 19.3을 19.21로 버전 업데이트 할 필요가 있습니다.

이번 포스팅에서는 oracle19c 19.3 버전을 19.21로 업데이트하는 방법을 알아봅니다.

기본 설치 파일은 LINUX.X64_193000_db_home.zip 입니다.

필요한 Release Update 파일은 현시점 기준으로 p35643107_190000_Linux-x86-64.zip입니다.

이 파일을 적용하기 위해서는 OPatch 유틸리티도 12.2.0.1.37 이상의 버전으로 업데이트해야 합니다.(기본 설치 시 OPatch 버전은 12.2.0.1.17입니다.)

필요한 OPatch 설치 파일명은 p6880880_190000_Linux-x86-64.zip입니다.

그럼 OPatch (p6880880_190000_Linux-x86-64.zip) 적용 후 Release Update(p35643107_190000_Linux-x86-64.zip)를 진행하겠습니다.

1. OPatch

다음 명령어로 기존 OPatch 버전을 확인해 봅니다. 12.2.0.1.17로 나옵니다. 버전 업데이트가 필요합니다.

$ $ORACLE_HOME/OPatch/opatch version
OPatch Version: 12.2.0.1.17
OPatch succeeded.

기존 OPatch를 백업합니다. 단순히 폴더명을 변경해 주면 됩니다. OPatch 폴더가 존재하는 경로에서 아래 명령어를 실행.

$ mv ./OPatch ./OPatch_231206

새로운 OPatch를 기존 OPatch 폴더 위치에 압축을 풀어 줍니다.

저의 경우 VirtualBox 환경에서 호스트와의 공유폴더가 /media/sf_VmShare 경로에 마운트 되어 있음을 참고해 주세요.

$ unzip /media/sf_VmShare/p6880880_190000_Linux-x86-64.zip -d $ORACLE_HOME/

이것으로 OPatch 업데이트가 끝났습니다. 변경된 OPatch 버전을 조회해 봅니다.

기존 12.2.0.1.17에서 12.2.0.1.40으로 변경되었습니다.

$ORACLE_HOME/OPatch/opatch version
OPatch Version: 12.2.0.1.40

2. Release Update Patch

먼저 Oracle 엔진 백업을 합니다. 경로는 $ORACLE_HOME/../입니다. 저의 경우 tar.gz으로 압축하였습니다.

tar cvfz oracle_home_20231207.tar.gz ./19.3.0/

패치 충돌검사를 수행합니다.

p35643107_190000_Linux-x86-64.zip 파일 압축을 풀면 35643107 폴더가 있고 그 안에 패치 파일들이 존재합니다.

$ORACLE_HOME/OPatch/opatch prereq CheckConflictAgainstOHWithDetail -oh $ORACLE_HOME -phBaseDir /media/sf_VmShare/p35643107_190000_Linux-x86-64/35643107/

passed 메시지를 확인하면 충돌이 없다는 뜻입니다. 정상적인 충돌검사 완료 메시지를 참고하십시오.

Oracle Interim Patch Installer version 12.2.0.1.40
Copyright (c) 2023, Oracle Corporation.  All rights reserved.

PREREQ session

Oracle Home       : /oracle/app/oracle/product/19.3.0
Central Inventory : /oracle/app/oraInventory
   from           : /oracle/app/oracle/product/19.3.0/oraInst.loc
OPatch version    : 12.2.0.1.40
OUI version       : 12.2.0.7.0
Log file location : /oracle/app/oracle/product/19.3.0/cfgtoollogs/opatch/opatch2023-12-06_13-58-20PM_1.log

Invoking prereq "checkconflictagainstohwithdetail"

Prereq "checkConflictAgainstOHWithDetail" passed.

OPatch succeeded.

DB 업데이트 필요 공간을 확인합니다.

/tmp 경로에 txt 파일을 생성하고 거기에 패치파일 경로를 작성해 둡니다.

cat /tmp/patch_list_db.txt
/media/sf_VmShare/p35643107_190000_Linux-x86-64/35643107/

그리고 OPatch CheckSystemSpace 명령을 수행합니다.

$ORACLE_HOME/OPatch/opatch prereq CheckSystemSpace -oh $ORACLE_HOME -phBaseFile /tmp/patch_list_db.txt
Oracle Interim Patch Installer version 12.2.0.1.40
Copyright (c) 2023, Oracle Corporation.  All rights reserved.

PREREQ session

Oracle Home       : /oracle/app/oracle/product/19.3.0
Central Inventory : /oracle/app/oraInventory
   from           : /oracle/app/oracle/product/19.3.0/oraInst.loc
OPatch version    : 12.2.0.1.40
OUI version       : 12.2.0.7.0
Log file location : /oracle/app/oracle/product/19.3.0/cfgtoollogs/opatch/opatch2023-12-06_14-03-29PM_1.log

Invoking prereq "checksystemspace"

Prereq "checkSystemSpace" passed.

OPatch succeeded.

이제 패치 파일경로로 이동하며 opatch apply 명령을 수행합니다.

그전에 리스너와 DB 인스턴스를 stop, shutdown 해두어야 합니다.

[oracle@noyeora p35643107_190000_Linux-x86-64]$ cd 35643107/
[oracle@noyeora 35643107]$ pwd
/media/sf_VmShare/p35643107_190000_Linux-x86-64/35643107
[oracle@noyeora 35643107]$ $ORACLE_HOME/OPatch/opatch apply
Oracle Interim Patch Installer version 12.2.0.1.40
Copyright (c) 2023, Oracle Corporation.  All rights reserved.


Oracle Home       : /oracle/app/oracle/product/19.3.0
Central Inventory : /oracle/app/oraInventory
   from           : /oracle/app/oracle/product/19.3.0/oraInst.loc
OPatch version    : 12.2.0.1.40
OUI version       : 12.2.0.7.0
Log file location : /oracle/app/oracle/product/19.3.0/cfgtoollogs/opatch/opatch2023-12-06_14-21-50PM_1.log

Verifying environment and performing prerequisite checks...
OPatch continues with these patches:   35643107

Do you want to proceed? [y|n]

Please shutdown Oracle instances running out of this ORACLE_HOME on the local system.
(Oracle Home = '/oracle/app/oracle/product/19.3.0')


Is the local system ready for patching? [y|n]

Release Update Patch가 정상적으로 완료되면 아래 메시지 확인 가능합니다.

Patch 35643107 successfully applied.
Sub-set patch [29517242] has become inactive due to the application of a super-set patch [35643107].
Please refer to Doc ID 2161861.1 for any possible further required actions.
Log file location: /oracle/app/oracle/product/19.3.0/cfgtoollogs/opatch/opatch2023-12-06_14-21-50PM_1.log

OPatch succeeded.

3. Patch 결과 확인

다음 명령어로 패치 버전을 확인할 수 있습니다. 패치 전 버전 19.3에서 패치 후 버전 19.21을 확인할 수 있습니다. OCW의 경우 싱글 인스턴스 DB 구성에서는 사용하지 않기 때문에 패치하지 않았습니다.

$ORACLE_HOME/OPatch/opatch lspatches -oh $ORACLE_HOME
35643107;Database Release Update : 19.21.0.0.231017 (35643107)
29585399;OCW RELEASE UPDATE 19.3.0.0.0 (29585399)

OPatch succeeded.

이상으로 Oracle 19c에 OPatch, Release Update를 진행해 보았습니다.

linux에 oracle 19c 설치

noyecube — Wed, 6 Dec 2023 20:19:30 +0900

Oracle 19c는 Oracle에서 출시한 관계형 데이터베이스 관리 시스템(RDBMS)으로 2018년 12월 18일에 출시되었습니다.

이 글을 작성하는 현재(2023.12.) Oracle 19c 상세 버전은 아래와 같습니다.

구분	설치파일명	버전
기본 설치 파일	LINUX.X64_193000_db_home.zip	19.3.0.0.0
OPatch 파일	p6880880_190000_Linux-x86-64.zip	12.2.0.1.40
Release Update 파일	p35643107_190000_Linux-x86-64.zip	19.21.0.0.0

기본 설치 파일의 버전과 현재 Release Update 파일의 버전 차이가 많이 납니다.

초기 릴리즈 버전 19.3은 상당한 양의 버그, 취약점 등을 포함하고 있으므로 단순 학습목적이 아니면

Release Update까지 진행 후 사용하시기 바랍니다.

본 설치에서는 oracle linux 버전 8.9를 기준으로 합니다.

OPatch는 오라클 패치 관리 유틸리티로서 기본 설치 파일 19.3에 포함되어 있는 OPatch의 버전은 12.2.0.1.17입니다.

그런데 Release Update 19.21 적용을 위해서는 OPatch version 12.2.0.1.37 이상의 버전이 필요하다고 되어 있으므로

OPatch 업데이트 진행 후 RU(Release Update) Patch를 진행합니다.

oracle 19c 설치에 앞서 이전 포스팅의 환경설정 적용이 필요하므로 환경설정이 안 되어 있으면 아래 글의 내용을 먼저 적용하시기 바랍니다.

2023.11.29 - [Database/Oracle] - oracle linux oracle 19c 설치환경 설정

1. LINUX.X64_193000_db_home.zip 압축 해제 및 실행

LINUX.X64_193000_db_home.zip 파일은 구글에 " LINUX.X64_193000_db_home.zip" 문구로 검색하면 오라클 다운로드 링크를 확인할 수 있습니다.

"oracle" 계정으로 전환 후 $ORACLE_HOME 위치에 LINUX.X64_193000_db_home.zip 파일 압축을 풀어 줍니다.

$ORACLE_HOME에 압축 해제

그리고 아래 명령어로 Oracle Installer를 실행합니다.

export CV_ASSUME_DISTID=OEL7
./runInstaller

CV_ASSUME_DISTID는 oracle linux 버전을 7로 가정하는 환경변수입니다. 이 변수를 설정하지 않으면 Installer에서 다음과 같은 경고 메시지가 발생합니다.

[INS-08101] Unexpected error while executing the action at state: 'supportedOSCheck'

그리고 xdisplay 설정 문제로 GUI 창 안 뜨면 아래 명령어 다시 진행해 보세요.

#  root 계정으로 진행
echo $DISPLAY
:0
# :0 이 아니면 :0 으로 바꾸세요.
xhost +
# access control disabled, clients can connect from any host
su - oracle
$export DISPLAY=:0.0 # 버추얼박스와 같은 NAT 환경일 경우
$export DISPLAY=192.168.x.x:0.0 # HOST PC를 통해서 oracle 설치 서버 접속이면 호스트IP
# oracle 계정에서 xhost 같은 명령어 실행하지 마세요.
$./runInstaller

참고로 Oracle Directory 구조 잠깐 보고 갈게요.

$ORACLE_BASE = /oracle/app/oracle입니다.

/oracle/app/oracle --- /admin
                       /audit
                       /cfgtoollogs
                       /diag
                       /oradata
                       /product/19.3.0($ORACLE_HOME)

2. Configuration Option

Oracle 19c Installer의 설치 옵션 항목은 총 18개입니다. 하나씩 살펴보겠습니다.

글씨체 Bold 적용이 이번 설치 진행 시 선택된 옵션입니다.

Select any of the following install options (Step 1 of 18) : 싱글 인스턴스로 설치 선택
- Create and configure a single instance database. This option create a start database.
- Set Up Software Only
Select System Class (Step 2 of 18) : 서버 클래스 선택
- Desktop class
  Choose this option if you are installing on a laptop or desktop class system.
  This option includes a starter database and allows minimal configuration.
- Server class
  Choose this option if you are installing on a server class system, which Oracle defines as a system used in a production data center. This option allows for more advanced configuration options.
Select Database Edition (Step 3 of 18) : 엔터프라이즈 에디션 선택
- Enterprise Edition
  Oracle Database 19c Enterprise Edition is a self-managing database that has the scalability, performance, high availability, and security features required to run the most demanding, mission-critical applications.
- Standard Edition 2
  Oracle Database 19c Standard Edition 2 is a full-featured data management solution ideally suited to the needs of medium-sized businesses.
Specify Installation Location(Step 4 of 18) : $ORACLE_BASE, $ORACLE_HOME 경로 설정 확인
- Specify a path to place all Oracle software and configuration-related files installed by this installation owner. This location is the Oracle base directory for the installation owner.
  Oracle base: /oracle/app/oracle
- This software directory is the Oracle Database home directory.
  Software location: /oracle/app/oracle/product/19.3.0
Create Inventory(Step 5 of 18) : 로그 저장 경로 설정 확인 및 접근 계정 그룹 "dba" 설정
- You are starting your first installation on this host. Specify a directory for installation metadata files (for example, install log files). This directory is called the “inventory directory”. The installer automatically sets up subdirectories for each product contain inventory data. The subdirectory for each product typically requires 150 kilobytes of disk space.
  Inventory Directory: /oracle/app/oraInventory
- Specify on operating system group whose members have write permission to the inventory directory (oraInventory)
  oraInventory Group Name: dba
Select Configuration Type (Step 6 of 18) : 데이터 분석 목적이라 Data Warehousing 선택. 일반목적은 General
Select the type of database that you want to create
Note:The preconfigured database types differ only in the values specified for some initialization parameters. The same data files are created and used for each type, and their disk space requirements are the same.
- General Purpose / Transaction Processing
  A starter database designed for general purpose use, or for transaction-heavy applications.
- Data Warehousing
  A starter database optimized for data warehousing applications.
Specify Database Identifiers (Step 7 of 18)
Provide the identifier information required to access the database uniquely. An Oracle database is uniquely identified by a Global database name, typically of the form “name.domain”. A database is referenced by at least one Oracle instance which is uniquely identified from any other instance on this computer by an Oracle system identifier(SID).
- Global database name:
- Oracle system identifier (SID):
- Create as Container database : no (멀티태넌트 필요 없음)
Specify Configuration Options (Step 8 of 18)
- Enable Automatic Memory Management : yes
- Character sets : KO16MSWIN949 – MS Windows Code Page 949 Korean
- Sample schemas : no
Specify Database Storage Options(Step 9 of 18)
- File system
  Specify database file location: /oracle/app/oracle/oradata
Specify Recovery Options(Step 11 of 18)
Enable or disable recovery for your database. If you choose to enable recovery, then the location specified will be used as recovery area storage.
- Enable Recovery : no
Specify Schema Passwords(Step 12 of 18)
The starter database contains pre-loaded schemas, most of which have passwords that are expired and locked at the end of installation. After installation is complete, you must unlock and set new passwords for those accounts you want to use. Schemas used for database management and postinstallation functions are left unlocked, and passwords for these accounts will not expire. Specify the passwords for these accounts.
- Use the same password for all accounts : yes
Privileged Operating System groups(step 13 of 18) : 모든 그룹권한을 "dba"로 설
SYS privileges are required to create a database using operating system(OS) authentication. Membership in OS Groups grants the corresponding SYS privilege, eg. membership in OSDBA grants the SYSDBA privilege.
- Database Administrator group: dba
- Database Operator group: dba
  Database Backup and Recovery Group: dba
  Data Guard administrative group: dba
  Encryption Key management administrative group: dba
  Real Application Cluster administrative group: dba
Root script execution configuration(Step 14 of 18) : root 계정 패스워드를 입력하거나 별도 콘솔창에서 root로 안내되는 명령어를 수행
During the software configuration, certain operations have to be performed as “root” user. You can choose to have the installer perform these operations automatically by specifying inputs for one of the options below. The input specified will also be used by the installer to perform additional prerequisite checks.
설치가 완료된 화면 확인

설치 완료 화면

설치 상세버전은 아래 명령어로 확인합니다.

$ORACLE_HOME/OPatch/opatch lspatches

리스너 상태 확인은 아래 명령어로 확인합니다.

netstat -plnt | grep tns

모니터링 서비스가 5500 포트에서 제공되고 있는데 해당 서비스를 비활성화합니다.

Oracle SQL에서 DUAL 테이블은 단 하나의 행과 단 하나의 칼럼을 가진 가상의 테이블로서 DUAL 테이블은 데이터베이스에 저장되지 않고 오직 SELECT 문에서만 사용됩니다.

SQL> select dbms_xdb_config.gethttpsport() from dual;

DBMS_XDB_CONFIG.GETHTTPSPORT()
------------------------------
                          5500

SQL> exec dbms_xdb_config.sethttpsport(0);

PL/SQL procedure successfully completed.

SQL>  select dbms_xdb_config.gethttpsport() from dual;

DBMS_XDB_CONFIG.GETHTTPSPORT()
------------------------------
                             0

SQL> exit

리스너 컨트롤 옵션입니다. 문법과 옵션은 다음과 같습니다.

$lsnrctl [옵션]

start: 리스너를 시작합니다.
stop: 리스너를 중지합니다.
status: 리스너의 상태를 표시합니다.
config: 리스너의 구성을 표시합니다.
log: 리스너의 로그를 표시합니다.
trace: 리스너의 트레이스를 생성합니다.

database 시작은 sqlplus에서 "startup"을 입력합니다.

반대로 database 종료는 "shutdown"이며 옵션이 존재합니다.

$ shutdown [옵션]

normal: 모든 세션을 종료하기 전에 모든 트랜잭션을 완료할 수 있도록 시간을 줍니다.
immediate: 모든 세션을 즉시 종료합니다.
transactional: 모든 트랜잭션을 완료하기 전에 모든 새 세션을 차단합니다.
abort: 모든 세션을 강제로 종료합니다.

리스너와 DB엔진 start/stop 순서는 상관없습니다.

Oracle DB 설정 파라미터 값은 아래 파일에서 확인할 수 있습니다.

/etc/sysctl.d/99-sysctl.conf
/etc/security/limits.d/oracle-database-preinstall-19c.conf

이상으로 oracle 19c 설치과정을 알아보았습니다.

다음 글에서는 OPatch, Release Update 적용 방법을 알아보겠습니다.

[VBA] 엑셀 VBA 사용법

noyecube — Fri, 1 Dec 2023 23:01:52 +0900

엑셀 VBA?

엑셀 VBA는 엑셀 매크로를 작성하기 위한 프로그래밍 언어입니다. VBA를 사용하면 매크로에 더 복잡한 기능을 추가할 수 있습니다. 엑셀의 기본 기능으로는 구현하기 어려운 작업을 수행하고자 할 때, 반복적인 작업을 자동화하여 시간을 절약하고 업무 효율을 높이고자 할 때 엑셀 VBA 추천합니다.

엑셀 개발도구 활성화

엑셀에서 VBA를 사용하기 위해서는 개발도구 메뉴를 활성화해야 아래 그림처럼 해당 기능 버튼이 활성화 됩니다.

그럼 엑셀에서 VBA를 사용하기 위한 개발도구 메뉴를 활성화 하는 방법을 알아보겠습니다.

엑셀 개발도구 메뉴

1단계. VBA 기능 추가하기

아래 경로의 메뉴에 진입하여 "분석 도구", "분석 도구 - VBA"를 체크하고 확인을 누릅니다.

파일->옵션->추가기능->이동 버튼 클릭 후 추가 기능 팝업창에서 추가 기능 추가

Excel Option

추가기능 선택

2단계. 메뉴에 개발 도구 추가하기

아래 경로의 메뉴에 진입하여 "개발 도구"를 체크하고 확인을 누릅니다.

파일->옵션->리본 사용자 지정->개발 도구에 체크 후 확인

리본 사용자 지정-개발 도구

3단계. 편집창 설정

편집창 옵션에서 "자동 구문 검사" 옵션을 해제해야 합니다. 그렇지 않으면 오타가 발생할 때마다 경고 팝업이 발생해서 정상적인 타이핑이 불가능 합니다.

또한 디버깅 메시지를 확인할 수 있는 "직접 실행"창과 디버깅시 각 변수 저장값을 확인할 수 있는 "지역"창을 띄웁니다.

개발도구->Visual Basic 버튼을 눌러 편집기를 띄웁니다.

개발도구-Visual Basic

편집기의 도구-옵션 창에서 "자동 구문 검사" 체크 해제

보기-직접실행창, 지역창 클릭

위 내용까지 따라했으면 편집창은 아래와 같은 모습입니다.

편집창 설정 모습

4단계. xlsx 파일 포맷을 .xlsm 파일 포맷으로 변경 저장

파일 확장자가 .xlsx인 Excel 통합 문서 양식에서는 VBA 매크로를 작성할 수 없습니다. 다른 이름으로 저장하기 창을 띄워서 파일 확장자가 .xlsm인 Excel 매크로 사용 통합 문서로 변경 저장합니다.

5단계. 테스트 매크로 작성 및 확인

테스트 매크로 코드를 작성하고 결과를 확인해 봅니다. 매크로 동작 버튼을 만들고 버튼을 클릭하면 Debug.Print와 MsgBox를 활용하여 메시지 출력을 해보겠습니다.

엑셀 메뉴 삽입-도형에서 원하는 도형을 워크시트에 삽입하여 아래와 같이 클릭할 수 있게 만들어 둡니다.

삽입-도형에서 삽입한 도형

그리고 그 옆에 대충 아래와 유사하게 샘플 데이터를 입력합니다. 이번 예제에서는 Option Value를 변수로 읽어와서 Debug.Print와 MsgBox를 활용하여 출력해 보겠습니다.

아 그리고 워크시트명은 "vba"로 해둡니다.

테스트 샘플 페이지

버튼역할을 할 도형을 우클릭하여 "매크로 지정" 창을 띄웁니다.

매크로 지정창의 매크로 이름란에 "test"라고 입력 후 "새로 만들기"를 클릭합니다.

test 매크로 새로 만들기

그럼 아래와 같이 VBA 창이 뜰겁니다. Sub test() ~ End Sub 사이에 테스크 코드를 작성할 겁니다. 테스트코드를 복사해서 붙여 넣어 보세요.

참고로 들여쓰기는 Tab 버튼으로 합니다.

Sub test() 코드 작성 창

    Dim shtThisVBA As Worksheet
    Set shtThisVBA = ThisWorkbook.Worksheets("vba")
    
    Dim strTargetFilePath As String
    Dim strTargetFileName As String
    Dim strTargetWorksheetName As String
    Dim lEntryRowNo As Long

    strTargetFilePath = shtThisVBA.Range("E4").Value
    strTargetFileName = shtThisVBA.Range("E5").Value
    strTargetWorksheetName = shtThisVBA.Range("E6").Value
    lEntryRowNo = shtThisVBA.Range("E7").Value
    
    Dim strTargetFullPath As String
    strTargetFullPath = strTargetFilePath + "\" + strTargetFileName
    
    Debug.Print "[INFO] strTargetFilePath: " & strTargetFilePath
    Debug.Print "[INFO] strTargetFileName: " & strTargetFileName
    Debug.Print "[INFO] strTargetWorksheetName: " & strTargetWorksheetName
    Debug.Print "[INFO] strTargetFullPath: " & strTargetFullPath
    
    MsgBox "[INFO] lEntryRowNo: " & vbNewLine & _
            lEntryRowNo, vbCritical

위 코드 입력 후 실행-Sub/사용자 정의 폼 실행 또는 F5를 누르시면 매크로가 실행되고 결과는 아래와 같습니다.

실행 결과

테스트코드의 기본적인 내용 간략히 설명드리고 마무리 하겠습니다.

    Dim shtThisVBA As Worksheet
    Set shtThisVBA = ThisWorkbook.Worksheets("vba")

Dim 은 변수선언을 뜻합니다. 문법은 Dim <변수명> As <변수타입> 입니다.

Worksheet 변수타입의 shtThisVBA 변수를 선언하였습니다.

그리고 ThisWorkbook.Worksheets("vba")로 현재 열려있는 엑셀문서에서 vba 워크시트의 객체를 shtThisVBA에 저장하였습니다. ThisWorkbook 객체는 현재 엑셀 문서를 가리킵니다. ThisWorkbook.Worksheets는 현재 엑셀문서내의 워크시트를 반환하는 메서드인데 그 파라미터로 워크시트명을 전달해주면 그 워크시트의 워크시트 타입 객체변수를 반환해줍니다.

변수타입에는 객체타입변수와 일반변수가 있습니다. 일반변수는 그 값을 문자 또는 숫자로 표기 가능한 숫자나 문자 타입이고 엑셀문서, 워크시트와 같이 어떤 것을 가리키는 역할의 변수를 객체변수라고 합니다. 객체변수의 값을 바꿀 때는 객체변수 앞에 Set 을 붙여줘야 합니다.

이제 shtThisVBA 워크시트 객체변수를 통하여 vba 워크시트에 접근할 수 있게 되었습니다. 그 다음으로는 vba 워크시트에 입력해둔 옵션값을 읽어와 보겠습니다.

    Dim strTargetFilePath As String
    Dim strTargetFileName As String
    Dim strTargetWorksheetName As String
    Dim lEntryRowNo As Long

    strTargetFilePath = shtThisVBA.Range("E4").Value
    strTargetFileName = shtThisVBA.Range("E5").Value
    strTargetWorksheetName = shtThisVBA.Range("E6").Value
    lEntryRowNo = shtThisVBA.Range("E7").Value

먼저 읽어올 값을 저장할 변수를 선언합니다. 테스트 샘플 페이지에서 Option Value를 4개 써놨는데 3개는 문자열(텍스트)이고 1개는 숫자입니다. 그러므로 문자열 변수를 3개 선언하고 양의정수 타입 변수를 1개 선언합니다.

변수선언은 Dim으로 한다고 말씀드렸습니다. 그리고 문자타입변수는 String 이고 양의정수 타입은 Long 입니다.

이로서 상단 4줄은 설명이 완료 되었습니다.

Range 메서드는 셀범위를 지정하는 메서드입니다. Range("E4")는 E4셀을 지정하는데 그뒤에 .Value를 붙이면 E4셀에 저장된 값을 읽게 됩니다.

strTargetFilePath = shtThisVBA.Range("E4").Value 는 결국 shtThisVBA 워크시트 객체 변수가 가리키는 vba 워크시트의 E4 셀에 저장된 값을 읽어서 strTatgetFilePath 변수에 저장하는 코드입니다.

마찬가지로 E5, E6의 문자열을 읽어서 해당 변수에 저장하였습니다.

그리고 lEntryRowNo는 Long 타입 변수입니다. 이 변수에는 셀 E7에 들어있는 숫자를 읽어서 저장하였습니다.

E4와 E5는 경로와 파일명을 의미하는 문자열인데 이 두 문자열을 더해 하나의 문자열로 만들어 보겠습니다.

Dim strTargetFullPath As String
strTargetFullPath = strTargetFilePath + "\" + strTargetFileName

이렇게 작성하면 두 문자열이 합쳐지고 중간에 역슬래시('\')가 추가되어 파일명을 포함한 전체 경로를 만들 수 있습니다.

이제 변수에 값이 제대로 들어갔는지 디버깅 메시지로 확인할 차례입니다.

    Debug.Print "[INFO] strTargetFilePath: " & strTargetFilePath
    Debug.Print "[INFO] strTargetFileName: " & strTargetFileName
    Debug.Print "[INFO] strTargetWorksheetName: " & strTargetWorksheetName
    Debug.Print "[INFO] strTargetFullPath: " & strTargetFullPath
    
    MsgBox "[INFO] lEntryRowNo: " & vbNewLine & _
            lEntryRowNo, vbCritical

Debug.Print 를 사용하면 코드 편집기의 "직접 실행" 창에 메시지를 출력할 수 있습니다.

변수는 변수명을 그대로 쓰고, 문자열은 쌍따옴표 사이에 기입하면 됩니다. 문자열과 변수를 같이 출력하려면 그 중간에 & 문자를 두면 됩니다.

MsgBox를 사용하면 팝업 메시지창을 발생시킵니다. Debug.Print와 마찬가지로 문자열은 쌍따옴표 사이에 쓰고, 변수는 & 문자로 연결합니다.

여기까지 엑셀에서 VBA를 활용하여 엑셀 매크로를 작성하는 방법을 알아보았습니다.

oracle linux oracle 19c 설치환경 설정

noyecube — Wed, 29 Nov 2023 17:40:50 +0900

이전 글에서는 oracle 19c를 위한 오라클리눅스를 설치하였습니다.

2023.12.06 - [Database/Oracle] - linux에 oracle 19c 설치

virtualbox 오라클리눅스 설치 oracle linux Server

virtualbox 오라클리눅스 설치 oracle linux Server Oracle Linux는 Oracle Corporation에서 배포하는 무료 오픈소스 Linux 배포판입니다. Oracle Linux는 다음과 같은 특징을 가지고 있습니다. 안정성: Oracle Linux는 Red H

blog.noyecube.com

이번 글에서는 oracle 19c를 위한 설치환경 설정을 해봅니다.

X Window 프로그램 설치 및 설정

아래 소스포지 경로에서 Xming을 다운로드하고 옵션 변경 없이 설치까지 완료합니다.

https://sourceforge.net/projects/xming/

Xming X Server for Windows

Download Xming X Server for Windows for free. X Window System Server for Windows. Xming is the leading X Window System Server for Microsoft Windows 8/7/Vista/XP (+ server 2012/2008/2003). It is fully featured, small and fast, simple to install and because

sourceforge.net

그리고 서버 접속 클라이언트 Putty에 아래와 같이 X11 포워딩 설정을 합니다.

putty X11 설정

서버에 root로 접속하여 "xhost" 명령을 쳐봅니다. xhost 실행 시 xhost: command not found"로 뜨면 아래 명령어로 x11 관련 패키지를 설치합니다. 그 뒤 "xhost +" 명령을 입력하면 "client can connect from any host" 메시지를 확인할 수 있습니다.

dnf install xorg*

ssh 설정에 다음 옵션 주석처리 되어 있으면 주석을 풀어주고 변경한 설정을 재적용 해줍니다.

파일명은 /etc/ssh/sshd_config입니다.

X11Forwarding yes
X11DisplayOffset 10
X11UseLocalhost no

아래 명령어로 ssh 설정 재적용

systemctl reload sshd

HOSTS FILE 수정

hosts 파일은 로컬환경에서 DNS 역할을 하는 설정파일입니다. 이 파일에 hostname과 IP 정보를 추가합니다.

hostname 과 IP 확인 후 /etc/hosts 파일 맨 아래에 추가 합니다.

SELINUX 설정 변경

Oracle 설치를 위한 SELINUX 권장 설정은 기본값 enforcing이 아닌 permissive입니다.

/etc/selinux/config 파일에서 아래와 같이 설정을 변경합니다.

SELINUX 설정

유틸리티 패키지 설치

Oracle 설치에 필요한 유틸리티 패키지를 설치합니다. LINUX 설치 옵션에 따라 이미 설치되어 있을 수도 있습니다.

패키지 누락이 없도록 몇 군데 레퍼런스 사이트를 참조한 정보이므로 중복이 있을 수 있으나 상관없습니다.

dnf install make perl xorg-x11-xauth xterm libGL libEGL nmap

dnf install bc binutils compat-openssl11 elfutils-libelf fontconfig glibc glibc-devel ksh libaio libasan libX11 libXau libXi libXrender libXtst libxcrypt-compat libgcc libibverbs libnsl librdmacm libstdc++ libxcb libvirt-libs make policycoreutilspolicycoreutils-python-utilssmartmontoolssysstat glibc-headers ipmiutil libnsl2 libnsl2-devel net-tools nfs-utils unixODBC

dnf install bc binutils compat-libcap1 compat-libstdc++-33 dtrace-modules dtrace-modules-headers dtrace-modules-provider-headers dtrace-utils elfutils-libelf elfutils-libelf-devel fontconfig-devel glibc glibc-devel ksh libaio libaio-devel libdtrace-ctf-devel libXrender libXrender-devel libX11 libXau libXi libXtst libgcc librdmacm-devel libstdc++ libstdc++-devel libxcb make net-tools nfs-utils python python-configshell python-rtslib python-six targetcli smartmontools sysstat unixODBC libnsl libnsl.i686 libnsl2 libnsl2.i686

Automatic Setup 진행

Oracle Database Preinstallation RPM을 활용하여 기본 설정을 진행합니다.

dnf search preinstall을 통해 현재 리눅스버전에서 지원하는 Preinstall RPM 목록을 확인가능 합니다.

19c를 설치할 것이므로 oracle-database-preinstall-19c.x86_64를 설치합니다.

dnf install oracle-database-preinstall-19c.x86_64

위 RPM 설치 후 RPM 패키지 업데이트 진행합니다.(안 해도 됨)

dnf update -y

이제 oracle 계정이 생성되었는지 확인합니다.

그리고 root권한으로 oracle 계정의 그룹을 "oinstall"에서 "dba"로 변경해 주고 패스워드도 변경해 줍니다.

oracle 계정 생성 확인

usermod -g dba -G dba oracle

oracle 패스워드 변경

$ORACLE_HOME(오라클 엔진 디렉터리)을 생성합니다.(기본 버전 19.3을 설치할 예정임을 참고)

oracle 계정에 접근권한을 줍니다.

mkdir -p /oracle/app/oracle/product/19.3.0

엔진 디렉토리 생성 후 oracle 계정에 접근권한 부여

불필요 서비스를 확인하여 있으면 정리합니다. (블루투스 등)

서비스 확인: systemctl list-units --type=service --state=running
서비스 정지: systemctl stop <서비스명>.service
서비스 비활성화: systemctl disable <서비스명>.service

oracle 계정 설정

root에서 su - oracle로 oracle 계정으로 전환합니다.

cd /home/oracle로 이동합니다.

mkdir scripts로 /home/oracle/scripts 폴더를 생성합니다.

/home/oracle/scripts 경로에서 아래 구문을 복사하여 입력합니다.

cat > /home/oracle/scripts/setEnv.sh <<EOF
# Oracle Settings

export ORACLE_BASE=/oracle/app/oracle
export ORACLE_HOME=\$ORACLE_BASE/product/19.3.0
export TNS_ADMIN=\$ORACLE_HOME/network/admin
export DATA_DIR=/oracle/app/oradata

export ORACLE_HOSTNAME=noyeora
export ORACLE_UNQNAME=noyedb
export ORACLE_SID=noyedb

export NLS_LANG=American_America.KO16MSWIN949
export DISPLAY=\$ORACLE_HOSTNAME:0.0
export ORA_NLS=\$ORACLE_HOME/admin/data

export PATH=\$ORACLE_HOME/bin:/bin:/usr/bin:/usr/sbin:.:\$PATH
export LD_LIBRARY_PATH=\$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=\$ORACLE_HOME/jlib:\$ORACLE_HOME/rdbms/jlib

alias ss='sqlplus / as sysdba'
EOF

/home/oracle/scripts/setEnv.sh 파일 내용을 확인해 봅니다.

bash_profile for oracle database

아래 명령어로 ~/. bash_profile에 위 환경변수를 적용합니다.

echo ". /home/oracle/scripts/setEnv.sh" >> /home/oracle/.bash_profile

bash_profile

oracle 계정에 환경변수를 적용하고 확인해 봅니다.

. ~/.bash_profile
echo $ORACLE_SID
echo $ORACLE_BASE
echo $ORACLE_HOME

환경변수 확인

startup/shutdown 스크립트 작성

startup/shutdown 시 호출할 스크립트를 작성합니다. 작성 후 ownership과 실행권한 확인하고 수정합니다.

cat > /home/oracle/scripts/start_all.sh <<EOF
#!/bin/bash
. /home/oracle/scripts/setEnv.sh

export ORAENV_ASK=NO
. oraenv
export ORAENV_ASK=YES

dbstart \$ORACLE_HOME
EOF

cat > /home/oracle/scripts/stop_all.sh <<EOF
#!/bin/bash
. /home/oracle/scripts/setEnv.sh

export ORAENV_ASK=NO
. oraenv
export ORAENV_ASK=YES

dbshut \$ORACLE_HOME
EOF

chmod 755 로 실행권한을 부여하고 결과를 확인합니다.

root 계정에서 oracle 계정에 virtualbox 공유폴더 접근권한을 부여 후 $ORACLE_HOME에 19c 설치파일을 복사합니다.

usermod -aG vboxsf oracle

설치파일 복사

이상으로 Oracle Linux(오라클리눅스)에 19c 설치준비를 마쳤습니다.

virtualbox 오라클리눅스 설치 oracle linux Server

noyecube — Tue, 28 Nov 2023 18:45:50 +0900

virtualbox 오라클리눅스 설치 oracle linux Server

Oracle Linux는 Oracle Corporation에서 배포하는 무료 오픈소스 Linux 배포판입니다.

Oracle Linux는 다음과 같은 특징을 가지고 있습니다.

안정성: Oracle Linux는 Red Hat Enterprise Linux와 동일한 코드베이스를 기반으로 하기 때문에 동일한 수준의 안정성을 제공합니다.
성능: Oracle Linux는 Oracle의 기술지원을 통해 최적화된 성능을 제공합니다.
보안: Oracle Linux는 Oracle의 보안 지원을 통해 최신 보안 패치를 제공합니다.
확장성: Oraclie Linux는 다양한 하드웨어 및 소프트웨어 환경을 지원합니다.

Oracle Linux는 Oracle 19c 설치에 권장되는 Linux 배포판입니다. Oracle Linux의 최신버전은 9.3이지만

이 글에서는 Oracle 19c에 대한 certi는 버전 8까지 되어 있기 때문에 버전 8.9로 설치를 진행합니다.

또한, 성능상의 이점을 위하여 Desktop GUI 버전 대신 Command-Line 기반 Server로 설치합니다.

VirtualBox 다운로드 및 설치

https://www.virtualbox.org/wiki/Downloads

Downloads – Oracle VM VirtualBox

Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By downloading, you agree to the terms and conditions of the respective license. If you're looking for the latest VirtualBox 6.1 packages, see Virt

www.virtualbox.org

위 링크에서 Windows hosts용 설치파일을 다운로드하고 설치합니다.

이때 Add-On으로 제공되는 VM VirtualBox Extension Pack은 PUEL 라이선스를 따르므로 사업체에서 설치하면 오라클에서 저작권 현황관련 연락오므로 조심하시기 바랍니다.

Oracle 라이선스 연락

Oracle Linux 다운로드

https://yum.oracle.com/oracle-linux-isos.html

Oracle Linux ISOs | Oracle, Software. Hardware. Complete.

Oracle Linux Installation Media Download Oracle Linux ISOs

yum.oracle.com

위 링크에서 UEK boot ISO 타입의 Oracle Linux 8.9를 다운로드 받습니다. 최신버전을 받아서 oracle 19c 설치를 시도했는데 별의별 오류가 발생하여 8.9로 합니다.

현재 최신 버전은 9.3이지만 oracle 19c 의 안정적인 설치를 위해 8.9를 다운받습니다.

VirtualBox Network 어댑터 설정 확인

테스트목적의 설치이므로 게스트OS에 고정 IP를 할당하는 대신 DHCP로 IP를 할당받도록 합니다.

VirtualBox NAT 네트워크 설정을 확인합니다.

파일-도구-네트워크 관리자

NAT 네트워크의 DHCP 활성화 체크

NAT 네트워크 탭에 네트워크 어댑터가 없으면 "만들기"로 새로운 NAT 어댑터를 생성하고 "DHCP 활성화"를 체크합니다. 그렇지 않으면 게스트 OS 내부에서 네트워크 설정을 해봤자 외부와 인터넷 연결이 불가능합니다.

가상 머신 만들기

무인 설치 건너 뛰기 체크

VirtualBox에서 가상머신 만들기를 위와 같이 진행합니다. "무인 설치 건너뛰기"에 체크합니다.

하드웨어와 하드디스크 설정이 필요합니다. 아래를 참고하여 하드웨어 사양에 맞게 설정 후 저장해 줍니다.

하드웨어 설정

하드디스크 설정

가상머신 시작

가상머신이 생성되었으면 "시작"을 눌러서 부팅시킵니다.

Install Oracle Linux 8.9.0 선택 후 엔터키 입력

게스트OS에 마우스커서가 갇혀있을 때는 모든 입력이 게스트 OS로만 전달됩니다. Escape Key 설정을 VMware와 동일하게 Ctrl+Alt 조합으로 변경하면 편리합니다.

화면 탈출 단축키 변경

What language would you like to use during the installation process? 질문에는 English로 선택합니다.

그럼 다음과 같은 INSTALLATION SUMMARY 화면이 뜹니다.

INSTALLATION SUMMARY

LOCALIZATION - Language Support: English(United States). (한글로 설정 시 트러블슈팅 시 구글링 어렵습니다.)
LOCALIZATION - Time & Date: Seoul.
USER SETTINGS - Root Password: 설정
USER SETTINGS - User Creation: 생성

User Creation Option

SOFTWARE - Software Selection: Minimal Install with Standard Additional software.

Minimal Install

SYSTEM - Installation Destination

Custom으로 설정

Click here to create them automatically 로 우선 기본 파티션 생성

ol-home, ol-root 삭제

루트에 max로 남은용량 전부 할당

swap 영역은 Oracle 19c 최대 권장인 16GB로 설정하고 ol-root를 max로 설정하여 남은 용량을 전부 몰아 줍니다.

SYSTEM - Network & Host Name

이더넷 ON

Host Name 설정 후 Apply

Ethernet을 "ON"으로 해주고 Host Name을 변경해 줍니다. "Connected"로 뜨지 않으면 VirtualBox NAT 설정에서 케이블연결상태 재확인합니다.

Begin Installation Start

설치요약 화면에서 설정을 마쳤으면 설치시작 버튼으로 설치를 진행합니다.

VirtualBox Guest Additions 설치

VirtualBox Guest Additions는 VirtualBox에서 실행되는 가상 머신에 설치되는 소프트웨어 패키지이며 가상 머신의 성능, 기능, 사용성을 향상시킵니다. 그러므로 모든 가상머신에 설치하여 사용하는 것이 좋습니다.

root로 전환하여 Guest Additions 설치에 필요한 기본 패키지를 설치해 줍니다.

$ su - root
# dnf install kernel-uek-devel-$(uname -r) gcc binutils automake make perl bzip2 elfutils-libelf-devel

위와 같이 Progress 진행이 안되면 네트워크 문제 입니다.

"Is this ok?"와 같은 물음에는 항상 y로 진행합니다.

위 과정이 완료되면 VirtualBox 장치-게스트 확장 CD 이미지 삽입을 누릅니다.

게스트 확장 CD 이미지 삽입

./VBoxLinuxAdditions.run 실행

삽입된 CD 이미지는 /dev/cdrom 경로에 삽입되며 사용을 위해서는 다른 경로에 mount가 필요하므로 /media/cdrom 경로를 생성하고 다음 명령어로 마운트 합니다. 그리고 VBoxLinuxAdditions.run을 실행시킵니다. 설치가 완료되면 재부팅합니다.

# mount /dev/cdrom /media/cdrom
# ./VBoxLinuxAdditions.run
# reboot

lsmod 로 vboxguest 프로세스 확인

VirtualBox 공유폴더 설정

이제 호스트 PC와 가상 머신 간 공유폴더를 설정합니다. 장치-공유폴더-공유폴더설에서 공유할 호스트 PC의 폴더경로를 지정하고 가상 머신에서 사용할 폴더이름을 입력합니다. "자동마운트", "항상 사용"으로 설정합니다.

공유 폴더 설정

위와 같이 설정 후 가상 머신에서 /media 경로로 이동하면 "sf_VmShare" 폴더가 새로 보입니다.

하지만 권한이 root:vboxsf로 되어 있어 일반 계정으로 접근이 불가능합니다.

vboxsf permission denied

다음 명령어로 vboxsf 그룹에 공유폴더 접근할 사용자 계정($USER)을 입력 후 재부팅합니다.

$ sudo usermod -aG vboxsf $USER
$ sudo reboot

호스트 공유폴더에 가상 머신과 공유할 파일을 가져다 둡니다.

호스트에서 공유한 파일을 가상머신에서 바로 접근 가능

SSH 설정 변경

SSH의 기본 Port는 22번입니다. 하지만 해킹시도가 기본 포트로 많이 시도하므로 이 포트를 변경하고 "root"계정으로의 ssh 접속도 막을 필요가 있습니다. 더 나아가 ssh로 접속가능한 계정명을 설정파일에 명시할 수도 있습니다.

여기서는 ssh 기본 포트를 변경하고 root 계정의 ssh 접속을 차단하겠습니다.

$ sudo vi /etc/ssh/sshd_config

SSH 기본 포트번호 변경

root 로그인 no

그리고 다음과 같이 x11 설정을 찾아서 변경해 줍니다.

X11Forwarding yes
X11DisplayOffset 10

위와 같이 설정 후 ssh 데몬을 재기동하려고 하면 오류가 발생합니다.

그 이유는 SELINUX(시큐어리눅스) 설정에서 변경한 SSH 포트를 열어주지 않았기 때문입니다. 다음 명령으로 SELINUX에 변경포트를 허용할 수 있습니다.

$ sudo semanage port -a -t ssh_port_t -p tcp 2222

하지만 oracle 19c 설치 권장사항에서 SELINUX를 ENFORCE 모드에서 PERMISSIVE(경고만 발생시키고 모두 통과) 모드로 변경하라고 되어 있으므로 위 명령어 적용 대신 SELINUX를 PERMISSIVE 모드로 변경합니다.

$ sudo vi /etc/selinux/config

SELINUX=permissive

위와 같이 selinux config 파일을 변경하였으면 아래 명령어를 적용하여 ssh 포트 변경을 확인합니다.

$ su - root
# setenforce Permissive
# systemctl stop firewalld
# systemctl disable firewalld
# systemctl restart sshd.service
# netstat -an | grep LISTEN

ssh 포트가 22에서 2222로 변경되었다.

이제 가상 머신으로 SSH 접속을 하기 위해서는 NAT의 포트포워딩 설정이 필요합니다.

호스트 IP는 127.0.0.1이고 게스트 IP는 "ip addr" 또는 "ifconfig" 명령으로 IP를 확인하여 입력합니다.

호스트 TCP_2222로의 접속은 게스트 TCP_2222로 포워딩됩니다.

포트포워딩 설정 화면

Putty 설정

localhost:2222 로 접속 설정

서버 접속에 성공하였습니다. 이제 원격에서 서버에 접속할 수 있습니다.

하지만, Oracle 19c를 설치하려면 X Server 설정이 필요합니다. Putty로 콘솔기반 서버에 접속하여도 GUI 기반의 화면을

띄워줄 수 있게 됩니다. Oracle 19c 설치 시 설치프로그램이 GUI기반이기 때문에 필요합니다.
(물론 사일런트 모드로 설치가능하신 전문가분들은 필요 없습니다만 저는 필요합니다.)

https://sourceforge.net/projects/xming/

Xming X Server for Windows

sourceforge.net

위 링크에서 설치파일 다운로드 후 설정변경 없이 계속 진행하여 설치를 완료합니다.

그리고 Putty에서 아래와 같이 SSH-X11 설정을 해줍니다.

"Enable X11 forwarding" 체크해 주시고 x display location에 ":0.0" 입력합니다. 공백 없이 입력합니다.

x11 설정

그리고 다시 Session 설정창에 돌아와서 아래와 같이 입력 후 "Save"를 눌러서 설정을 저장합니다.

putty 설정 저장

다음 시간에는 Oracle 19c를 설치해 보겠습니다.

Linux 스왑 공간 증가(Increase Swap Space)

noyecube — Sat, 18 Nov 2023 00:45:15 +0900

리눅스에서의 스왑 공간(swap space)

리눅스에서 스왑 공간(swap space)은 물리적 메모리(RAM)의 용량이 가득 차게 될 경우 사용되는 여유 공간을 말합니다. 즉, 시스템이 처리하고 있는 데이터를 저장할 RAM이 충분하지 않을 때 스왑 공간에 이 데이터를 기록합니다. Ubuntu, Oracle Linux 설치 시 설치프로그램이 제안하는 기본 파티션으로 설치하면 스왑 공간 없이 OS 설치가 완료됩니다.

요즘같이 대용량 메모리를 사용하는 시대에 스왑 공간은 필요없을 수 있지만 DBMS와 같은 일부 응용프로그램에서는 설치단계에서 스왑 공간이 없으면 설치를 진행할 수 없습니다. 이럴 경우 스왑 파일을 직접 생성하고, 초기화 및 사용으로 설정하여 스왑 공간의 양을 늘릴 수 있습니다.

스왑 공간이 없어서 설치를 못한다고 합니다.

1. root 계정으로 전환하여 스왑 공간의 양을 확인

(sudoers group에 포함되어 있는 계정에서) sudo -i 또는 sudo - root 실행 후 아래 명령어들로 스왑 공간을 확인합니다.

grep -i swap /proc/meminfo
free -h
swapon -s

free 로 확인한 swap 공간 크기가 0

2. dd 명령을 사용하여 스왑 파일을 만들고 스왑파일 초기화 후 사용으로 설정

dd if=/dev/zero of=/.swapfile bs=4096 count=2097152
mkswap /.swapfile
chmod 600 /.swapfile
swapon /.swapfile

if: 입력파일입니다. /dev/zero는 0바이트 스트림을 제공합니다.

of: 출력파일입니다. 루트 디렉터리에 숨김파일로 swapfile을 생성합니다.

bs: 블록 크기(바이트 단위)입니다. 한 번에 입력 파일에서 읽고 출력 파일에 쓸 바이트 수입니다.

count: 읽고 쓸 블록 수입니다. 이 숫자에 bs 값을 곱해 파일 크기를 구하게 됩니다. 4k 쓰기 단위에서 1GB 스왑 파일을 만들려면 count가 262144인데 8GB 크기를 만들 것이므로 262144 x 8 = 2097152로 정했습니다.

mkswap으로 dd로 생성한 파일을 스왑파일 포맷으로 변경합니다.

dd로 파일 생성 시 644 권한으로 생성되는데 insecure permissions 경고가 발생하므로 root만 swapfile을 읽고 쓸 수 있도록 600으로 권한을 변경합니다.

swapon으로 새 스왑 파일이 있음을 Linux에 알려줍니다. 그럼 swap 파일이 활성화됩니다.

dd 실행 결과

실제 생성된 swapfile 확인

swapon 까지 실행 후 free 로 확인하면 Swap 영역이 보입니다

3. fstab에 스왑 파일(Swap file) 추가

(2)까지 진행 후 재부팅하고 보면 Swap Space가 비활성화되어 있습니다. 재부팅 후에도 스왑 영역이 유지되도록 /etc/fstab에 추가해야 합니다. "vi /etc/fstab"으로 파일을 열어 편집하세요.

"/.swapfile none swap sw 0 0" 을 맨 아랫줄에 추가하고 "wq" 명령으로 저장 후 종료합니다.

/etc/fstab 맨 아랫줄 확인

fstab 필드는 다음과 같습니다.

파일 시스템: /.swapfile
마운트 지점: 파일시스템처럼 마운트 하지 않았으므로 none
유형: swap
옵션: 기본값 sw
덤프: 0 해당 없음
통과: 0 해당 없음

4. 스왑 사용량 확인

swapon --show로 확인가능합니다.

swapon --show

systemctl reboot 명령으로 재부팅 후에도 정상여부 확인합니다.

이상으로 스왑 공간 증가 방법에 대해 알아보았습니다.

Windows환경 INI 설정 파일 활용

noyecube — Wed, 11 Oct 2023 21:58:36 +0900

INI(Initialization) 파일 포맷은 설정 파일에 대한 사실상 표준이다.

다른 포맷으로 xml, json, yaml도 있지만 windows 환경에서는 ini에 대한 WIN API가 제공되므로 간단한 내용이면 ini를 사용하면 된다.

1. 요구사항

설정 파일 경로에 설정파일이 없으면 프로그램에 내장된 기본값으로 설정파일을 생성할 것(손상시 복구기능 포함)
프로그램 구동중에도 동적으로 변경된 설정파일의 내용을 적용할 수 있을 것
설정값의 추가/삭제에도 관련 코드 수정이 최소화 되도록 인터페이스화 할 것

샘플 설정 파일 내용

2. ini 파일 포맷 및 관련 WIN API

ini 파일은 SECTION, KEY NAME, KEY VALUE로 구분된다. 샘플 파일에서 [SERVER], [PATH], [TASK_OHLCV]는 SECTION이고

'=' 문자가 포함된 줄은 KEY이다.

'=' 문자를 중심으로 KEY NAME과 KEY VALUE가 구분된다.

WIN API는 아래 세개를 사용한다.

AppName: SECTION

KeyName: '=' 문자 앞 문자열

Default: KEY가 존재하지 않을 경우의 기본 값

FileName: 설정파일 경로(드라이브명부터 전체 경로)

BOOL WritePrivateProfileString

UINT GetPrivateProfileInt

DWORD GetPrivateProfileString

3. 구현전략

In-Memory DB역할을 하는 DataStore 클래스에 DataStoreConfig 클래스를 추가한다.
DataStoreConfig 클래스에 설정파일의 각 SECTION에 대응하는 Structure를 정의한다.
설정값 읽기/쓰기시 Structure Field를 하드코딩하지 않고 별도 Mapping Table 활용하여 Pointer로 접근하는 인터페이스 생성

4. 예제코드

DataStoreConfig.h

설정파일의 경로는 실행파일기준으로 ./config/setting.ini로 정했다.

서비스포트 기본값을 상수로 선언했다.

SECTION [SERVER], [PATH]에 대응하는 구조체를 정의했다. 구조체의 필드는 KEY에 대응한다.

Mapping Table 생성을 위한 enum class와 struct를 정의했다.

enum은 설정파일에 기술될 KEY와 1:1 대응되어야 한다.

_DS_PROFILE의 필드 속성은 다음과 같다.

const BOOL boIsInt; : 숫자인지 문자인지
BOOL boNeedToSaveChanges; : 동적으로 변경된 KEY VALUE를 프로그램 종료 전 설정파일에 update 할지 여부
BOOL boFromConfigFile; : 설정파일로부터 읽힌 값인지 프로그램 내장 기본 값인지 여부
const TCHAR tchAppName[32]; : SECTION NAME
const TCHAR tchKeyName[32]; : KEY NAME
const TCHAR tchDefault[64]; : Default KEY VALUE(문자열일 경우 사용)
const INT iDefault; : Default KEY VALUE(숫자일 경우 사용)
TCHAR tchReturnedString[64]; : 설정파일에서 읽은 문자열(GetPrivateProfileString 사용시)
INT iReturnedInt; : 설정파일에서 읽은 숫자(GetPrivateProfileInt 사용시)
LPVOID lpVar; : 설정값에 대응하는 구조체 인스턴스 필드의 주소 포인터
size_t sizeof_lpVar; : 구조체 인스턴스 필드의 메모리 할당 사이즈

void vInitDefaultConfig(void); : 설정파일 접근 전 Static Default 값을 Structure에 쓰기 작업
void vCreateDefaultConfigFile(void); : 설정파일이 없으면 Default 값으로 설정파일 생성
void vLoadConfigFromFile(void); : 설정파일이 있으면 설정값 메모리 로딩
void vDumpDsConfStructures(void); : Structure 각 필드값 출력(디버깅용)

Mapping Table에 각 SECTION:KEY, Default VALUE, 등 초기화

DataStoreConfig.cpp

생성자. 기본값 메모리 로딩 후 GetModuleFileName()으로 현재 경로를 얻고 \config\setting.ini 존재여부 체크 후 존재하지 않으면 기본 설정파일 생성 후 리턴, 존재하면 설정파일에서 설정값 로딩.

Mapping Table 사용으로 SECTION 및 KEY 추가/삭제 여부와 관계없이 아래 구현부 코드는 변경할 필요 없음.

settings.ini 미 존재(초기 실행)

settings.ini 존재시

Multiplexing Client Connections-1

noyecube — Fri, 30 Jun 2023 18:57:17 +0900

이번 포스팅에서는 서버에 다수의 클라이언트가 접속했을 때의 패킷 처리 고려사항에 대해 알아보겠습니다.

다중 클라이언트 패킷 처리는 어떻게 해야 하나?

Multiplexing으로 검색하면 TCP/IP Transport Layer의 내용이 나오거나

다중 클라이언트 접속처리 예제 코드만 나오고. 응용프로그램 레벨에서의

다중 클라이언트 패킷 처리 관련 내용을 못 찾겠네요.

그래서 직접 설계해 보려고 합니다.

1:1 연결

서버와 클라이언트 관계가 1:1이면 앞선 글의 제목처럼 bridged 그 자체이므로 multiplexing에 대해 별다른 고려가 필요 없이 서버는 마치 내가 클라이언트인 것처럼 패킷을 주고받으면 그만입니다.

1:N 연결

그런데 위 그림처럼 다수의 클라이언트가 접속하게 되면 추가적인 고려사항은 무엇있까요?

일상 속의 휴대폰 먼저 생각해 보겠습니다.

콜, SMS, 이더넷 어플들은 프로토콜별로 각각의 채널을 할당받게 되고 이를 Channel MUX에서 Multiplexing 과정을 거쳐 단일구간을 통해 모뎀으로 전송하고, 모뎀으로부터의 응답은 다시 Channel MUX에서 Demultiplexing 과정을 거쳐 각각의 채널을 통해 상위 어플 레벨로 올려 보냅니다. 타임아웃도 고려해야 하고 채널별 ID를 관리해야 하고 메시지 타입별 ID도 관리해야 하고 Request에 대한 응답인지, Notification, Indication에 대한 응답인지도 고려해야 하고(전자는 송신자가 먼저 요청한 패킷으로서 Solicitated response라고 하고 후자는 송신자가 요청하지 않은 패킷으로 Unsolicitated Response라고 합니다. 보통 송신 패킷은 Request ID가 있어서 응답이 올 때까지 RequestID를 들고 있다가 관리를 하는데 Unsol이면 Request ID가 없죠. ) 클라이언트 모두에게 멀티캐스팅을 할 것인지 특정 클라이언트에게만 보낼 것인지 특정 정보를 C1에 구독신청 해놨는데 접속이 끊겼으면 C2로 전환해야 하는데 이를 요청자에게 노티를 보낼 건지 안 보내고 프레임워크레벨에서 처리할 건지 공유 자원에 대해 Lock으로 잠기는 구간이 최소화되도록 해야 하고 머리가 아픕니다.

Network Bridged 자동매매 프로그램에서 접속가능 클라이언트 수가 N이 된다고 가정하면, 서버는 각 클라이언트의 계좌 상황을 알고 있어야 하고 매매 체결신호 수신 시 클라이언트를 구분할 수 있어야 합니다. 장 운영정보 같은 패킷은 클라이언트에 특정되지 않으니 이건 공통으로 빼고요. 그림에서는 서버 스레드를 하나로 표현했지만 매매로직당 Worker thread를 할당할 것이므로 각각의 Thread가 각각의 Request를 보낼 건데 그 응답에 대한 Notificaion을 송신 thread에게 callback 해줘야 하므로 이 또한 고려해야 하고 차트데이터를 수신할 때 T1, T2, T3가 같은 종목을 요청했으면 이걸 각각의 Thread가 메모리 할당해서 들고 있을 필요는 없잖아요, 그래서 공용 데이터를 관리할 Database 객체도 만들어줘야 합니다. 각 클라이언트별로 소켓객체를 담고 있는 세션관리노드가 있는데 여기에 패킷 ack 관리까지 하는 정보를 넣으면 한 객체에 너무 많은 정보가 담겨 접근하는 스레드가 늘어나고 그로 인해 단순 데이터 송수신하는 속도가 생명인 스레드가 lock 진입 전 대기시간이 길어질 수 있어서 이 또한 고려해야 합니다.

TR 데이터 흐름

위 그림은 대략적인 TR 송수신 흐름의 스케치입니다.

서버의 매매전략 스레드 T1이 TR요청을 한다고 가정하면 송신부터 수신까지 대략 9단계의 단계로 이루어집니다.

1단계. TR Request 패킷 생성: TR의 Inblock을 생성하여 패킷 파라미터를 설정합니다.

2단계. 목적지 Client 선택: 가능한 클라이언트를 선택합니다. 클라이언트 모두에게 보낼 것인지, 특정 클라이언트에게 보낼 건지 정합니다. 매매신호는 모두에게 멀티캐스팅 해야 할 것이고 특정 종목의 차트는 가장 신뢰도가 높은 클라이언트를 선택하여 TR 패킷의 소켓정보를 설정합니다. 이 작업을 RIL_Tx 스레드에서 담당해도 되지만 다수의 매매 스레드에서 패킷을 요청할 때 RIL_Tx에 부하가 걸리므로 Caller가 목적지까지 정하여 패킷에 세팅합니다. 그리고 콜백을 받기 위해 자신의 TID와 MSG_ID, 그리고 LPARAM, RPARAM을 추가 셋팅합니다.

3단계: Tx 스레드의 Tx Queue에 패킷을 Enqeue 합니다. 그리고 Tx 스레드에 Wakeup 이벤트를 발생시킵니다. 그럼 Tx 스레드가 깨어나서 Queue에서 패킷을 꺼냅니다.

4단계: 패킷을 보내기 전, 패킷에게 ID를 할당하고 이를 패킷 헤더에 붙입니다. 그리고 패킷 자체를 Tx/Rx 관리테이블에 붙여둡니다. 클라이언트는 응답을 보낼 때 서버가 전송한 RequestID를 그대로 회신해야 합니다.

8단계:RX 스레드가 응답 패킷의 RequestID를 통해 송신 패킷 객체를 조회하고 그로부터 T1의 TID와 콜백 메시지 정보를 얻습니다.

9단계: 수신 데이터를 DataBase 객체에 저장합니다.

10단계: 8단계에서 조회한 T1의 정보로 T1에 콜백메시지와 파라미터를 전송합니다.

11단계: T1은 DabaBase를 조회하여 데이터를 획득합니다.

별의별 예외상황이 있겠지만 송신단계에서 클라이언트 Disconnect는 송신 패킷을 Discard 하고 발신 스레드에는 콜백이벤트로 알립니다. 발신 스레드의 설정에 따라 Tx 스레드가 다른 클라이언트를 선택하게 할 수도 있습니다.

Network bridge 방식으로 증권사 API 활용하기-2

noyecube — Wed, 21 Jun 2023 12:48:11 +0900

Network bridge 방식으로 증권사 API 활용하기-2-Memory Pool Implemantation

이전 글에서 언급한 내용은 아래와 같습니다.

증권사 API 가 32비트로 제공되는데 따른 프로그램 개발 제약사항
Network bridge 방식으로 트레이딩프로그램과 API커넥터 두 개의 프로그램 개발 필요성
두 프로그램 간 데이터 통신용 패킷관리를 위한 메모리풀 구조 스케치

이번 글에서는 이전 글에서 언급한 메모리풀을 실제 코드로 구현하고 동작까지 확인하겠습니다.

In the previous article, we mentioned the following:

Program development constraints due to the 32-bit provision of the stock API
The need to develop two programs, a trading program and an API connector, in a network bridge manner
Sketch of the memory pool structure for packet management for data communication between the two programs

In this article, we will implement the memory pool mentioned in the previous article with actual code and verify its operation.

1. 데이터 타입 정의 및 Member Function(Init, Alloc, Free) 작성

앞서 DMSS는 Data Management Services System의 약자라고 하였습니다. 그래서 관련 클래스파일 이름을 CDmssItem으로 하고 정의하는 데이터타입 명은 prefix DSM을 붙였습니다.

CDmssItem.h

CDmssItem

#define DMSS_DSM_ITEM_POOL_SIZE	(512)
#define DMSS_DSM_ITEM_PAYLOAD_SIZE	(1450)

typedef struct _dsm_item {
	_dsm_item* pNext;	다음 객체를 가리킬 포인터
	WORD wItemNo;			Array에서의 자기 자신 IndexNo, 진단, 디버깅 용도
	UINT16 uSizeAllocated;	lpPayload가 가리키고 있는 Chunk의 할당 사이즈
	UINT16 uUsedLenth;		lpPayload에 기록된 유효 데이터 Length
	PCHAR lpPayload;		Memory Chunk를 가리키는 포인터
	UINT8 uRefCnt;			이 객체를 참조하고 있는 레퍼런스 카운트(아직은 미사용)
	UINT8 uProtocol;		이 객체가 담고있는 데이터(패킷) 타입
	UINT8 uPriority;		이 객체의 전송큐 우선순위(아직은 미사용)

	_dsm_item() {
		ZeroMemory(this, sizeof(_dsm_item));
	}
} TST_DSM_ITEM, * PTST_DSM_ITEM;

typedef struct _dsm_item_pool {
	SRWLOCK srwlock;		Reader-Writer 락
	WORD wFreeItemsCnt;		메모리풀 가용량
	PTST_DSM_ITEM pFreeItems;	메모리 객체 head 포인터
	TST_DSM_ITEM arPool[DMSS_DSM_ITEM_POOL_SIZE];	메모리 객체 배열 512개
	CHAR arPayloadPool[DMSS_DSM_ITEM_POOL_SIZE][DMSS_DSM_ITEM_PAYLOAD_SIZE]; 메모리청크 512개
} TST_DSM_ITEM_POOL, *PTST_DSM_ITEM_POOL;

CDmssItem.cpp

생성자 호출되면 메모리풀 초기화 실행

메모리풀 초기화

void CDmssItem::_vInit_TST_DSM_ITEM_POOL(PTST_DSM_ITEM_POOL pPool)
{
	PTST_DSM_ITEM p;

	if (nullptr == pPool)
		return;

	InitializeSRWLock(&(pPool->srwlock)); 락 초기화
    CAutoScopeSRWLOCKExclusive lock(&(pPool->srwlock)); 쓰기락 걸고 초기화 시작
    p = nullptr; 단방향 linked list이므로 head가 아닌 tail부터 초기화 
    for (int i = DMSS_DSM_ITEM_POOL_SIZE - 1; i >= 0; i--) {
    pPool->arPool[i].pNext = p;		첫 진입시 tail의 pNext는 nullptr로 초기화 됨
    p = &(pPool->arPool[i]); 이후 N-1 노드가 N 노드를 가리키며 0노드까지 순환함				
		p->wItemNo = i;		메모리풀에서의 ARRAY INDEX 저장(디버깅, 진단 목적)		
        p->uSizeAllocated = DMSS_DSM_ITEM_PAYLOAD_SIZE;	할당 사이즈 1450 저장		
        p->uUsedLenth = 0;													
        p->lpPayload = pPool->arPayloadPool[i];								
        p->uRefCnt = 0;														
		p->uProtocol = 0; /* 0 - UNKNOWN */									
        p->uPriority = 0;													
	}
    pPool->pFreeItems = p;
    pPool->wFreeItemsCnt = DMSS_DSM_ITEM_POOL_SIZE;

	return;
   }

pAlloc_PTST_DSM_ITEM_CHAIN

alloc 함수의 인자는 할당할 메모리 사이즈를 의미하는 게 아닌 사전 할당된 규격의 chunk가 몇 개 연결된 Chain의 Head 포인터를 반환받을지를 의미한다.

PTST_DSM_ITEM CDmssItem::pAlloc_PTST_DSM_ITEM_CHAIN(const WORD wQuantity)
{
	PTST_DSM_ITEM pHead = nullptr;
	PTST_DSM_ITEM pTail = nullptr;
	PTST_DSM_ITEM_POOL pPool = &_m_poolDSMITEM;
	WORD wAssigned;

	CAutoScopeSRWLOCKExclusive lock(&(pPool->srwlock));

	if ((wQuantity <= 0) || (pPool->wFreeItemsCnt < wQuantity)) {
		DPRINTF("[ERROR] pAlloc_PTST_DSM_ITEM_CHAIN wQuantity(%d), pPool->wFreeItemsCnt(%d)\n", 
        wQuantity, pPool->wFreeItemsCnt);
		return nullptr;
	}

	pHead = pPool->pFreeItems;	후입선출로 반환이므로 얘는 Chain의 Head가 됨
	pTail = pPool->pFreeItems;	얘는 wQuantity만큼 다음 객체로 넘어가서
    마지막에 도달하면 pNext를 nullptr 로 마무리함

	wAssigned = 0;
	while (pTail) {
		DPRINTF("DBG] Allocated PTST_DSM_ITEM::wItemNo(%d)\n", pTail->wItemNo);
		wAssigned++; 루프 진입전 풀에서 헤드 할당 했으므로 1개 할당
		if (wQuantity == wAssigned) { 요청받은 수만큼 할당 됐나 확인
			break;
		}

		pTail = pTail->pNext; 다음 메모리풀 객체로 이동
	};

	if (wAssigned < wQuantity) {	/* Should never reach here */ 
		DPRINTF("[ERROR] pAlloc_PTST_DSM_ITEM_CHAIN wQuantity(%d), wAssigned(%d), 
        pPool->wFreeItemsCnt(%d)\n", wQuantity, wAssigned, pPool->wFreeItemsCnt);
		return nullptr;
	}

	pPool->pFreeItems = pTail->pNext; 할당 체인의 다음 객체가 메모리풀의 헤드가 됨
	pPool->wFreeItemsCnt -= wAssigned;할당한 만큼 빈 객체 수 차감
	pTail->pNext = nullptr; Tail의 Next를 nullptr로 봉인함

	DPRINTF("DBG] Head ItemNo(%d) PTST_DSM_ITEM::wFreeItemsCnt(%d)\n", 
    pPool->pFreeItems->wItemNo, pPool->wFreeItemsCnt);

	return pHead;

}

vFree_PTST_DSM_ITEM_CHAIN

Free는 할당때 처럼 Linked List 순환 시 메모리풀에 락을 걸지 않고 먼저 파라미터로 입력받은 노드 체인의 Tail을 찾아낸 다음에 메모리풀에 락을 걸고 순식간에 반환하고 끝냅니다. 노드 1개씩 메모리풀에 반환하지 않고 사용했던 노드 체인의 맨 끝을 찾아내서 그걸 메모리풀 맨 앞에 붙이고 끝낸다는.

void CDmssItem::vFree_PTST_DSM_ITEM_CHAIN(PTST_DSM_ITEM p)
{
	PTST_DSM_ITEM_POOL pPool = &_m_poolDSMITEM;
	PTST_DSM_ITEM pTail;
	WORD wFreeCnt = 0;

	if (nullptr == p)
		return;

	pTail = p;
	pTail->uUsedLenth = 0;
	wFreeCnt++;
	DPRINTF("DBG] Being Free PTST_DSM_ITEM::wItemNo(%d)\n", pTail->wItemNo);
	while (pTail->pNext) {
		pTail = pTail->pNext; 실제 메모리풀 건드리지 않고 일단 체인의 끝을 찾음
		pTail->uUsedLenth = 0;
		wFreeCnt++;
		DPRINTF("DBG] Being Free PTST_DSM_ITEM::wItemNo(%d)\n", pTail->wItemNo);
	};

	AcquireSRWLockExclusive(&(pPool->srwlock)); 실제 메모리풀 건드릴것이므로 락검

	pTail->pNext = pPool->pFreeItems; 반환 체인의 다음을 FreeItem 연결함
	pPool->pFreeItems = p; 메모리풀의 head를 반환체인의 head로 바꿈
	pPool->wFreeItemsCnt += wFreeCnt; 체인에 포함된 객체 수 만큼 프리카운트 증가시킴

	ReleaseSRWLockExclusive(&(pPool->srwlock)); 락 해제

	DPRINTF("DBG] Head ItemNo(%d) PTST_DSM_ITEM::wFreeItemsCnt(%d)\n", pPool->pFreeItems->wItemNo, pPool->wFreeItemsCnt);

	return;
}

2. 메모리 풀 사용한 트레이딩프로그램 Login 테스트

API 커넥터가 서버(트레이딩 프로그램)로 접속시 가장 먼저 전송해야 할 Initial Packet은 로그인정보로 결정했습니다.

API 커넥터가 트레이딩 프로그램으로 접속할 수 있는 조건은 증권사에 접속한 상태에서 증권사 서버에 조회한 사용자 닉네임과 계정명(그러므로 API 커넥터 실행자가 임의 조작 불가)과 트레이딩프로그램에서 별도 생성해 준 트레이딩프로그램의 계정과 비밀번호입니다. 트레이딩프로그램의 계정은 이메일주소 형식을 따를 예정이고 계정생성 시 이메일 인증할 예정입니다. 앞서 정의한 메모리풀과 별개로 로그인프로토콜을 정의해야 합니다. 로그인프로토콜 패킷이 메모리풀에 담겨 전송큐에 들어가면 전송스레드가 소켓을 통해 전송할 것입니다.

아래 프로토콜 내용은 말그대로 프로토콜이므로 서버와 클라이언트 양측이 똑같은 내용을 가지고 있어야 합니다.

프로토콜 패킷 정의 부분은 메모리 최적화를 못하도록 컴파일러지시자 #pragma를 사용하여 메모리패킹값 1로 지정합니다.(#pragma pack(1))

RIL Protocol, RIL_AUTH_REQUEST_PARAMS_TYPE

RIL은 Radio Interface Layer의 약자입니다.

API커넥터가 서버 연결에 성공 후 가장 먼저 전송하는 패킷은 _auth_request_params_type이고

서버 측에서 프로토콜 파악을 할 수 있도록 패킷 가장 앞에 TEN_RIL_RQ_CAT을 두고 그 값은

ESTABLISH_CLIENT_CONNECTION으로 정했습니다. 서버 입장에서는 지금 접속한 API커넥터가 어느 증권사를 지원하는지 알아야 하므로 TEN_STOCK_API_CAT에 값 XING을 넘기기로 하였습니다. 그리고 증권사 계정별로 API에서 거래 가능한 마켓이 다르므로 거래가능 마켓은 MASK에 표기하여 서버측에 전달하기로 하였습니다. 그리고 네 개의 TCHAR 문자열은 계정명과 패스워드, 증권사 계정명과 닉네임입니다.

테스트코드 작성에 앞서 테스트 시나리오를 적어봅니다.

클라이언트가 지정된 서버 IP, 포트로 TCP 연결 체결, Connect함수 성공값 반환받으면
Initial Packet(로그인 패킷, _auth_request_params_type) 작성하여 전송
서버 측에서 클라이언트가 전송한 파라미터 그대로 알아들었는지 수신 패킷 디버그 메시지 출력

테스트코드를 작성해 봅니다.

API 커넥터 로그인 창

API커넥터에 로그인창을 만들었습니다. 로그인 버튼을 누르면 위 테스트 코드가 실행됩니다.

OnBnClickedNcBtnLogin()

	errRet = theApp.m_RilClient.RilInit(_T("127.0.0.1"), 65500);
	if (NOYECUBE_ESUCCESS == errRet) {
		cstrTemp.Append(_T("Established. Account authentication in progress"));

		PTST_DSM_ITEM pItem = theApp.m_RilClient.m_DMSS.pAlloc_PTST_DSM_ITEM_CHAIN(1);
		if (pItem != nullptr) {
			PTST_RIL_AUTH_REQUEST_PARAMS_TYPE p = reinterpret_cast<PTST_RIL_AUTH_REQUEST_PARAMS_TYPE>(pItem->lpPayload + pItem->uUsedLenth);

			p->enRilRequest = TEN_RIL_RQ_CAT::ESTABLISH_CLIENT_CONNECTION;
			p->enApiCat = TEN_STOCK_API_CAT::XING;
			p->u8TradeSupportMask |= API_TRADE_SUPPORT_STOCK;

			_tcsncpy_s(p->tchNoyeNetId, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchNoyeNetId), _T("TEST_NAME"), 10);
			_tcsncpy_s(p->tchNoyeNetPasswd, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchNoyeNetPasswd), _T("TEST_PASS"), 10);
			_tcsncpy_s(p->tchStockId, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchStockId), _T("TEST_IDID"), 10);
			_tcsncpy_s(p->tchUserName, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchUserName), _T("TEST_NICK"), 10);

			pItem->uUsedLenth += sizeof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE);
			pItem->uProtocol = static_cast<UINT8>(TEN_PROTO_CAT::TST_RIL_AUTH_REQUEST_PARAMS_TYPE);

			theApp.m_RilClient.m_qDataTx.push(pItem);
			SetEvent(theApp.m_RilClient.m_hEvent_Wakeup_Tx);
		}

	}

서버 연결에 성공하면 메모리풀에서 메모리객체 한 개를 할당받습니다.

PTST_DSM_ITEM pItem = theApp.m_RilClient.m_DMSS.pAlloc_PTST_DSM_ITEM_CHAIN(1);

Chunk에 로그인패킷을 기록할 거니까 CHAR* 타입의 Chunk를 아래와 같이 타입 캐스팅 합니다.

캐스팅할 때 포인터 시작점이 lpPayload가 아니라 lpPayload+uUsedLength 인 점 유의 바랍니다.

메모리풀의 객체는 패킷을 1개만 담는 용도가 아니라 가용가능한 1450 바이트의 사이즈까지 최대한 채우기 위한

용도로 정의되었으므로 새로운 데이터를 기록할 위치는 Chunk의 시작점이 아니라 Chunk의 시작점 + 유효데이터길이만큼 지난 그다음지점부터입니다.

PTST_RIL_AUTH_REQUEST_PARAMS_TYPE p = reinterpret_cast<PTST_RIL_AUTH_REQUEST_PARAMS_TYPE>(pItem->lpPayload + pItem->uUsedLenth);

로그인 패킷 셋업 부분입니다. RIL Request는 ESTABLISH_CLIENT_CONNECTINON으로 지정했고

API 카테고리는 xingAPI, 지원하는 마켓은 주식 현물을 의미하는 API_TRADE_SUPPORT_STOCK으로 지정했습니다.

나머지 네 줄은 계정정보인데 테스트값을 입력하였습니다.

			p->enRilRequest = TEN_RIL_RQ_CAT::ESTABLISH_CLIENT_CONNECTION;
			p->enApiCat = TEN_STOCK_API_CAT::XING;
			p->u8TradeSupportMask |= API_TRADE_SUPPORT_STOCK;

			_tcsncpy_s(p->tchNoyeNetId, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchNoyeNetId), _T("TEST_NAME"), 10);
			_tcsncpy_s(p->tchNoyeNetPasswd, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchNoyeNetPasswd), _T("TEST_PASS"), 10);
			_tcsncpy_s(p->tchStockId, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchStockId), _T("TEST_IDID"), 10);
			_tcsncpy_s(p->tchUserName, _countof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE::tchUserName), _T("TEST_NICK"), 10);

프로토콜 패킷(RIL Packet)이 아닌 메모리풀 관리 정보를 마지막에 메모리 객체에 입력해 줍니다. 현재 메모리 객체에 어떤 정보가 담겨있는지에 대한 정보입니다. 사용한만큼 uUsedLength 값을 증가시켜주고 프로토콜에 어떤 프로토콜인지 입력해줍니다.

			pItem->uUsedLenth += sizeof(TST_RIL_AUTH_REQUEST_PARAMS_TYPE);
			pItem->uProtocol = static_cast<UINT8>(TEN_PROTO_CAT::TST_RIL_AUTH_REQUEST_PARAMS_TYPE);

패킷 작성이 완료되었으면 아래와 같이 패킷 Chain의 head를 전송큐에 push 합니다.

			theApp.m_RilClient.m_qDataTx.push(pItem);
			SetEvent(theApp.m_RilClient.m_hEvent_Wakeup_Tx);

전송큐에 데이터 삽입 후 전송스레드에 wakeup 이벤트를 발생시켜 깨우면 전송스레드가 깨어나서 패킷을 서버로 전송합니다. 아래와 같이 패킷 Chain head 포인터 p가 유효하면 uUsedLength 만큼씩 send를 호출하고 데이터 전송이 완료되면 루프를 탈출 후 vFree_PTST_DSM_ITEM_CHAIN을 호출하여 메모리 객체 노드를 다시 반환합니다.

Tx Thread 패킷 send 호출 부분

진짜 테스트, 메모리풀 제대로 동작하는지 보려고 데이터 Chunk 요청수를 1이 아닌 3으로 해보겠습니다. 그럼 Chunk 두 개는 데이터가 없이 0이므로 빈 패킷이 전송될 것입니다.

서버 대기 화면

서버 측 대기 화면

클라이언트 접속 요청 화면

디버깅 메시지를 확인하면 vAllock_PTST_DSM_ITEM_CHAIN(3)이 호출되어 실제로 메모리 객체 0번, 1번, 2번 총 3개를 할당했고 1번 객체에 로그인패킷이 기록되어 서버로 전송되었습니다. 그 뒤에 다시 vFree_PTST_DSM_ITEM_CHAIN이 호출되어 0, 1, 2번 객체가 제대로 반환되어 wFreeItemCnt값이 전체 메모리 풀 객체 수 512를 표시하는 것을 볼 수 있습니다.

네트워크 로그

다시 서버 화면을 보면 클라이언트에서 전송한 로그인패킷을 제대로 전송받은 것을 확인할 수 있습니다.

클라이언트 접속 로그

서버 측 테스트 코드입니다.

서버 테스트 코드

				DPRINTF("[DBG][%d] *** Client sent data.(%s)\n", GetCurrentThreadId(), psi->_buff);
				{
					PTST_RIL_AUTH_REQUEST_PARAMS_TYPE p = reinterpret_cast<PTST_RIL_AUTH_REQUEST_PARAMS_TYPE>(psi->_buff);
					if (p->enRilRequest == TEN_RIL_RQ_CAT::ESTABLISH_CLIENT_CONNECTION) {
						DPRINTF("TEN_RIL_RQ_CAT: (%d)\nTEN_STOCK_API_CAT: (%d)\nTradeSupportMask : (%d)\ntchNoyeNetId : (%s)\ntchNoyeNetPasswd: (%s)\ntchStockId: (%s)\ntchUserName: (%s)\n",
							static_cast<UINT>(p->enRilRequest), static_cast<UINT>(p->enApiCat), static_cast<UINT>(p->u8TradeSupportMask),
							p->tchNoyeNetId, p->tchNoyeNetPasswd, p->tchStockId, p->tchUserName);
					}

				}

이상으로 메모리 풀을 구현해 보았습니다.

Network bridge 방식으로 증권사 API 활용하기-1

noyecube — Wed, 21 Jun 2023 00:12:46 +0900

증권사에서 제공하는 COM, OCX, DLL 포맷의 API 라이브러리는 32비트로 개발되어 있습니다.

그래서 개발 프로그램에는 가상 메모리 공간 4GB 크기의 제약이 있고 64비트 기반의 최신 라이브러리와 연동하기 어려운 점이 있습니다. 그래서 API 라이브러리는 증권사 서버와의 커넥터 역할만 하도록 하고 별도의 로직 프로그램을 64비트로 개발하여 커넥터와 로직 프로그램을 연결하고 있습니다.

PC에 설치되어 있는 HTS의 OCX 모듈과 연계하는 방식이 아닌 DLL 연계 방식의 API는 커넥터를 여러 개 실행하여 다계정으로 API를 사용할 수 있게 되어 보다 고도화된 프로그램 로직 구현이 가능합니다.

Network bridge 방식으로 증권사 API 활용하기-1-Overview

증권사에서 제공하는 API는 32 비트 기반이기 때문에 트레이딩 프로그램을 64 비트로 개발하려면

프로그램을 API커넥터와 트레이딩프로그램 두 개로 분리하여 개발해야 합니다. 두 프로그램간의 데이터 교환을 위한 socket 기반 통신 프로토콜을 정의해 보고 실제 API커넥터가 트레이딩프로그램으로 접속패킷을 전송하는 과정을 살펴보겠습니다. API커넥터 분리를 통해 증권사 API별 커넥터가 트레이딩 프로그램에 접속하여 다양한 증권사의 데이터를 제공할 수 있고 API커넥터의 다계정 접속을 통하여 트레이딩 프로그램은 TR 전송수 제한의 제약으로부터 벗어날 수 있습니다. 또한 역으로 트레이딩 프로그램은 분산되어 있는 다수의 커넥터에게 카피트레이딩을 위한 매매신호를 제공할 수 있습니다.

The API provided by the stock company is based on 32-bit, so to develop the trading program in 64-bit, you must develop the program in two parts: API connector and trading program. Let's define a socket-based communication protocol for data exchange between the two programs, and look at the process of the actual API connector sending a connection packet to the trading program. By separating the API connector, a connector for each stock company API can connect to the trading program and provide data from various stock companies, and the trading program can escape from the constraints of the TR transmission limit through the multi-account access of the API connector. In addition, in reverse, the trading program can provide trading signals for copy trading to a large number of connectors that are distributed."

1. 증권사 API 제약사항

OCX, COM, DLL 방식으로 제공: Python, Go 등 다양한 언어에서 Native로 개발 어려움
32 비트 API만 제공: 64 비트로 개발 불가, 64 비트 외부 라이브러리 사용 불가, 개발 프로그램 메모리 한계로 무한 상상력을 동원한 개발 불가

2. Network bridge 방식의 증권사 API 활용(이베스트투자증권 xingAPI 기준으로 설명)

32 비트 API 커넥터 프로그램 개발 : xingAPI의 DLL 활용하여 증권사 서버와 TR 직접 송수신
64 비트 트레이딩 프로그램 개발 : 증권사 서버로 TR 요청은 32 비트 API 커넥터 프로그램을 통해 요청

3. 서버-클라이언트 구조

서버: 트레이딩프로그램이 IOCP 방식 서버 역할
클라이언트: API커넥터가 클라이언트 역할

4. 패킷(프로토콜) 설계 고려사항(주식 전종목조회 T8430 기준으로)

t8430 패킷 구조

t8430OutBlock의 사이즈는 77바이트. 전종목 요청을 하면 상장종목이 2600개 이상이니까 77바이트 x 2600개의 OutBlock이 API커넥터(클라이언트)로 도착하게 되는데 이걸 그대로 트레이딩프로그램(서버)으로 전송하려면 어떻게 해야 할까요.

77바이트 OutBlock 1개씩 2600번 send 호출
77바이트 X 2600개 담긴 메모리 포인터 Send에 한 번에 담기
TCP/IP MTU 사이즈 1500 고려하여 마진 50바이트 잡고 1450 바이트씩 나눠서 전송

3번 방식으로 하겠습니다.

OutBlock은 별도 패킷 구분 헤더가 없는데? API커넥터는 TR 요청당시 받아둔 RequestID를 갖고 있다가 도착한 OutBlock의 RequestID를 비교하여 어떤 TR의 OutBlock인지 구분 가능. API커넥터가 서버로 OutBlock을 전송할 때는 OutBlock을 한번 Wrapping 하여 추가 헤더를 붙이기로 결정합니다.

패킷 메모리관리는 동적할당? 정적할당? 대부분의 경우 패킷별로 동적할당 하여 송수신 후 메모리를 해제하지만 비슷한 데이터를 연속으로 수천 개씩 주고받으므로 메모리풀 관리방식을 사용하기로 결정합니다. 돌아다니는 테스트 결과에 따르면 new/malloc을 그냥 사용하면 메모리풀을 사용하는 것보다 20배 정도 느립니다. 또한 Outblock별로 사이즈가 다르므로 Heap영역의 메모리 단편화도 피할 수 없습니다. 절대적인 관점(사람이 느끼는)에서 프로그램은 그래도 충분히 빠르지만 프로그램을 분리하면서 데이터 송수신 퍼포먼스에 조금이라도 핸디캡을 갖게 되었으므로 패킷은 메모리풀방식으로 관리하고 캐시 hit rate 향상을 위해 LIFO로 관리하기로 합니다. Consumer는 각각 송/수신 스레드 1개이고 Producer도 현재는 1개일 건데 생산자:소비자=N:1로 할 것이므로 LIFO에서 ABA Problem은 발생하지 않는 구조. 서버/클라이언트에 빠른 디버깅을 위해 Diagnostics 모듈을 붙일 건데 이로 인한 메모리상태 열람에 따른 오버헤드를 최소화하기 위하여 메모리락은 Critical Section 대신 Reader-Writer 락을 사용하기로 결정합니다.

5. 패킷 메모리풀 구조 설계

다수의 패킷을 체인(Packet Chain) 방식으로 관리할 것입니다. 단, 서로 다른 패킷의 혼합(Packet Aggregation)은 나중에 최적화 구현 때 하기로 하고 일단은 하나의 체인은 공간이 남아있어도 한 종류의 데이터 타입만 담고 뒤의 다른 타입 데이터는 안 담기로 합니다.

코드로 구현할 메모리풀은 Data Management Services System(이하 DMSS)이라고 하고 구조는 아래 그림과 같습니다. PAYLOAD는 1450바이트로 할 것이고 512개를 정적으로 할당하여 관리하겠습니다. 512개의 기준은 T8430 OutBlock 사이즈 77바이트 곱하기 2600개 했을 때 적당한 선인 것 같아서 그렇게 정했습니다. 향후 기능개선을 하려면 메모리풀에 high water mark, low water mark 플래그를 두고 메모리풀이 동적으로 관리될 수 있도록 하면 됩니다만 저는 귀찮아서 그냥 이렇게 하는 대신 실제 구동할 때는 64GB 메모리 서버에서 엄청 여유있게 할당하려고 합니다.

동작 방식은 다음과 같습니다.

DSM_ITEM 타입을 정의하고 Linked List로 관리할 수 있도록 Next 포인터를 둔다.
실제 데이터를 담을 Payload Chunk를 가리키는 포인터를 둔다. DSM_ITEM안에 정적으로 할당해도 되지만 Chunk끼리 연속된 메모리 공간을 갖도록 별도로 할당하고 포인팅 하기로 함. 향후 TR 응답 패킷의 메모리는 Release 호출하기 전까지는 반환이 안되니까(Real과 서비스 TR T1857은 해당 없음) lpPayload 포인터가 TR 응답 패킷을 직접 가리키도록 해도 되는데 이건 나중에 더 최적화 필요성을 느낄 때.
메모리풀 초기화 때 각 DSM_ITEM을 List로 연결하고 Head를 메모리풀에 연결해 둠.
DSM_ITEM x개를 할당요청받으면 head부터 x개만큼 빼서 할당해 주고 반납 시 역으로 chain의 tail을 head에 붙이고 chain의 head를 메모리풀의 head로 한다.

여기까지 읽고 아래 그림을 봤는데 동작방식이 이해가 안 되면 뒤로 가기 누르시고 그냥 new/malloc 사용하시면 됩니다.

Data Management Services System

[MFC] Modeless Dialog 생성하기

noyecube — Mon, 12 Sep 2022 02:23:57 +0900

이번 포스팅에서는 MFC 환경에서 Modeless Dialog를 생성하고 사용하는 법을 알아보겠습니다.

Dialog에는 Modal과 Modeless가 있는데 Modal은 부모 윈도를 제어할 수 없지만 Modeless는 각각 독립적으로 동작하는 특징이 있어서 저는 Modeless를 선호합니다.

Modeless Dialog의 Base Class는 CDialog입니다.

1. Dialog 비교

Modeless Dialog는 CDialog 기본 생성자를 호출하여 Dialg object를 생성하지만 DoModal() 대신 CDialog:Create 멤버 함수 호출이 필요합니다. Create()는 리소스 ID를 매개 변수로 사용하고 Dialog가 화면에 계속 표시된 상태로 즉시 반환됩니다.

	Modal Dialog	Modeless Dialog
생성자 호출방식	생성자 + RESOURCE ID	기본 생성자 호출
윈도우 생성 함수	DoModal()	Create() + RESOURCE ID

2. 사용자 정의 메시지 사용

Dialog에서 Windows 메시지를 View로 보내서 이벤트 처리. SendMessage() 또는 PostMessage() 사용합니다.

3. Modeless Dialog 생성 예제 코드

실제 동작하는 예제 코드를 처음부터 작성해 보겠습니다.

MFC SDI 프로젝트 기준입니다.

3.1. Dialog Resouce 생성

- 리소스 편집기에 가서 IDD_EBEST_SETTINGS라는 Dialog를 하나 생성하고 아래와 같이 컨트롤을 배치했습니다.

Dialog Properties의 Behavior-Visible 기본값이 False인데 True로 해주세요. 안 그러면 Create() 호출해도 안보입니다.

다이얼로그 컨트롤 배치

각 컨트롤 아이디는 아래와 같이 정했습니다.

Resource.h

3.2. Dialog Class 생성 및 Member Variable 추가

위 리소스편집기에서 IDD_EBEST_SETTINGS Dialog를 우클릭 후 "Add Class" 메뉴를 클릭하여 클래스를 생성합니다.

"CDlgEbestSettings" 이름으로 클래스를 생성했습니다.

그리고 Class Wizard를 열어서 아래와 같이 위에서 만든 각 컨트롤에 대응되는 멤버변수를 CDlgEbestSettings 클래스에 만들어줍니다. 저는 Control 타입의 변수를 선호해서 아래와 같이 추가했습니다.

Class Wizard

3.3. 코드 작성

Dialog 클래스에서는 Dialog UI 관련 처리만 하고 로직은 View 클래스를 통해서 다른 클래스와 상호작용하는 방식으로 합니다.

CDlgEbestSettings Dialog는 프로그램 메뉴에서 버튼을 클릭하면 그 이벤트 핸들러를 CView클래스에 두고 거기서 CDlgEbestSettings Dialog를 생성할 겁니다.

그래서 아래와 같이 CDlgEbestSettings.h에 CView* 를 파라미터로 받는 생성자를 하나 선언해 주고, Create() 함수도 선언해 줍니다.

Private 변수로 CView* _m_pNoyecubeView; 도 하나 정의했습니다.

헤더파일 내 컨트롤 변수

cpp파일에는 기본 생성자에 _m_pNoyecubeView를 NULL로 초기화 해주고

선언한 두 개의 함수를 작성하는데 생성자에는 넘겨받은 CView 포인터를 멤버변수에 저장하고 Create함수에서는 Dialog Resouce ID를 넘겨서 Dialog를 생성합니다. 여기에서의 Create()가 호출되려면 선행조건으로 기본생성자가 호출되어 이 Dialog의 객체가 생성되어 있어야 합니다. 그건 CView 클래스에서 합니다. CView 클래스는 SDI프로젝트 생성 시 <프로젝트명>+"View"로 자동 생성됩니다.

포인터 변수 초기화 코드

프로젝트명이 Noyecube라서 NoyecubeView.cpp가 있습니다.

추가 작성한 부분은 OnMenuFuncEbestSettings()와 OnInitialUpdate()입니다.

OnMenuFuncEbestSettings()는 메뉴에서 Dialog 생성버튼을 눌렀을 때 호출되는 핸들러입니다.

OnInitialUpdate()는 CView 클래스가 생성되고 나서 호출되는 버추얼함수입니다. 여기에서 CDlgEbestSettings Dialog의 객체를 생성하면서 자기 자신(CView)의 객체 포인터를 인자로 넘겨줍니다. 그럼 나중에 CDlgEbestSettings Dialog 객체에서 이 포인터를 갖고 있다가 이벤트 메시지와 파라미터를 View로 전달하여 View에서 처리할 수 있습니다.

OnInitialUpdate() 함수 추가는 Class View에 가서 View클래스를 선택한 상태로 Properties-Overrides 목록에서 OnInitialUpdate를 클릭하면 생성됩니다.

생성 코드

생성자, 소멸자에서는 아래와 같이 m_pDlgEbestSettings 변수를 초기화 및 메모리 해제 해줍니다.

생성자 및 소멸자 코드

3.4. Menu 바 Resource

위에서 만든 Dialog를 열 수 있게 프로그램 메뉴에 버튼을 추가합니다. "Ebest Settings"를 우 클릭 후 "Add Event Handler"를 클릭하여 CView 클래스에 핸들러를 추가해 줍니다. 그럼 위 3.3. 과 같이 OnMenuFuncEbestSettings()가 생깁니다.

메뉴바에 버튼 추가

여기까지 하고 빌드 후 실행 해보면 위에서 만든 Dialog가 열립니다.

실행된 Modeless 다이얼로그

여기에서 "닫기" 버튼을 눌러도 안 닫히고 우측상단 "X"를 눌러서 창을 닫으면 다시 안 열립니다. DestroyWindow()가 호출되지 않았기 때문입니다. 각 버튼에 대한 이벤트핸들러를 추가하고, "X"에 대한 핸들러도 추가하여 Dialog가 닫혔을 때 DestroyWindow() 호출하여 다시 열리도록 합니다. "X"를 누르면 호출되는 OnClose() 함수를 Override 하여 "닫기" 버튼을 눌렀을 때와 동일하게 처리하겠습니다.

3.5. Close 처리

3.5.1. 핸들러 추가

- "닫기" 버튼의 이벤트 핸들러를 CDlgEbestSettings 클래스에 아래와 같이 추가합니다.

- CDlgEbestSettings Class 속성의 Messages 메뉴에서 WM_CLOSE 메시지에 대한 핸들러 OnClose()를 추가합니다.

Close 핸들러 등록

OnClose 등록

3.5.2. Dialog 핸들러에서 View Class에 이벤트 전달할 Message 정의

App.h 파일에 CDlgEbestSettings Dialog에서 CView로 던질 버튼클릭이벤트 윈도 메시지를 정의합니다.

WM_USER 또는 WM_APP을 윈도메시지 Offset으로 잡으면 되는데 WM_USER는 다른 DLL에서 하드코딩값으로 사용하고 있어서 WM_APP을 기준으로 잡았습니다.

메시지 등록

MSG_ID_CDLGEBESTSETTINGS_EVENT 메시지를 던질 때 파라미터로 이벤트값을 넘겨줘야 하는데 Resource.h에 정의되어 있는 ID값으로 어떤 컨트롤에 이벤트가 발생했는지 알려줘도 되지만 저는 switch문의 점프테이블이 0번부터 깔끔하게 다시 정렬되는 것을 원하므로 아래와 같이 Resource.h의 ID에 대응되는 이벤트를 별도 정의하였습니다.

이벤트 정의

3.5.3. View Class에 3.5.1. 에서 정의한 user-defined message 핸들러 작성

3.5.1. 에서 정의한 MSG_ID_CDLGEBESTSETTINGS_EVENT 메시지는 Class Wizard에서 지원하지 않기 때문에 직접 작성합니다.

View.h에 핸들러원형 선언,

핸들러 원형

View.cpp의 MESSAGE_MAP에 message ID와 핸들러 맵핑, 핸들러 코드 작성합니다.

메시지맵 등록

분기 코드

다시 Dialog.cpp의 핸들러로 가서 아래와 같이 코드 작성합니다. View로 사용자정의 메시지와 이벤트 파라미터를 PostMessage로 보냅니다.

PostMessage 호출

여기까지 하면 "닫기", "x" 버튼으로 다이얼로그 종료 시 DestoryWindow()가 호출되어 다시 Create 호출이 됩니다.

추가로 Esc, Enter 키에 대한 예외처리도 해둬야 합니다. Esc는 OnCancel(), Enter는 OnOK() 함수를 오버라이딩 후 코드내용을 삭제하면 됩니다. 또는 PreTranslateMessage에서 VK_ESCAPE, VK_RETURN을 무시해도 됩니다.

이벤트 핸들러 오버라이드

이벤트 핸들러에서 해당 이벤트 무시 처리

이상으로 MFC 환경에서 Modeless Dialog 생성방법을 실제 예제코드 기반으로 알아보았습니다.

[MFC] Build Openssl Statically Linked Against Windows

noyecube — Sat, 27 Aug 2022 15:37:00 +0900

openssl 소스코드를 static library로 빌드하여 MFC 프로젝트에 통합하는 내용입니다. 그럼 따라와요 출발~

(참고로 실패한 글입니다.)

프로젝트에 어떤 crypto library를 적용할지 각 라이브러리 비교 후 crypto++과 많은 고민 하다가 openssl로 결정.

각 라이브러리 비교페이지는 아래 위키를 참조해주세요.

https://en.wikipedia.org/wiki/Comparison_of_cryptography_libraries

Comparison of cryptography libraries - Wikipedia

From Wikipedia, the free encyclopedia Jump to navigation Jump to search The tables below compare cryptography libraries that deal with cryptography algorithms and have API function calls to each of the supported features. Cryptography libraries[edit] Name

en.wikipedia.org

1. openssl 소스코드 다운로드

For Production Use: https://www.openssl.org/source/ 에서 .tar.gz 을 받습니다.

최신소스: git://git.openssl.org 에서 다운로드합니다. git소스 빌드 해봤는데, 빌드에러가 나서 tar.gz으로 받았습니다.

2. 빌드환경

윈도우 플랫폼 적용 가이드를 보고 따라 합니다. 얼마 전 프로젝트에 추가했던 simdjson이나 ta-lib 같은 라이브러리와 다르게 perl이랑 어셈블러도 설치해야 하고 이것저것 유의사항도 많고 현기증이 나려고 하지만 그렇다고 crypto 알고리즘을 직접 개발해서 사용할 능력은 전혀 안되고 시간은 금이므로 눈물을 머금고 침착하게 한 단계 한 단계 진행해 봅니다.

https://github.com/openssl/openssl/blob/master/NOTES-WINDOWS.md

GitHub - openssl/openssl: TLS/SSL and crypto library

TLS/SSL and crypto library. Contribute to openssl/openssl development by creating an account on GitHub.

github.com

2.1. Perl 설치

We recommend Strawberry Perl, available from http://strawberryperl.com/
Please read NOTES.PERL for more information, including the use of CPAN. An alternative is ActiveState Perl,
https://www.activestate.com/ActivePerl for which you may need to explicitly build the Perl module Win32/Console.pm via https://platform.activestate.com/ActiveState and then download it.

라고 합니다.

딸기펄을 권장한다고 해서 딸기펄 홈페이지에 가보니 정말 먹음직스러운 딸기사진이 있네요. 10년전만 해도 파이썬보다는 펄이 유명했고 저 역시 회사에서 서버 관리 스크립트는 전부 펄을 사용했는데 정말 오랜만에 반가운 펄입니다. 금요일밤에 펄 스크립트 코딩하다가 날밤 새고 토요일 이른 아침이 되었는데 집에 가려고 보니 복도가 온통 물왁스칠이 되어 있고 여사님들이 안 마른 왁스 밟으면 안 된다고 도대체 어디서 튀어 나온 녀석인가 했던 기억이 납니다.

"strawberry-perl" 64bit 버전을 받아서 설치 했습니다.

Perl for MS Windows

2.2. Microsoft Visual C Compiler 설치

Visual Studio를 설치했으면 같이 설치되어 있습니다.

2.3. Netwide Assembler (NASM) 설치

NASM is the only supported assembler. It is available from https://www.nasm.us

라고 합니다. Perl은 딸기를 권장했지만 어셈블러는 NASM만 지원한다고 되어 있네요. 어셈블러도 참 오랜만에 받아 봅니다. 대학입학 전에 프로그램 crack버전이 너무 신기하여 알아보니 리버싱이라는 걸 해야 하고 그걸 하려면 어셈블리어를 알아야 한다고 하여 IBM 어셈블리어 책을 사서 공부하고 하필 그때 또 게임도사?라는 분이 크랙블로그를 운영하고 있어서 올리디버거랑 뭐랑 뭐랑 잡다한 툴 나름 따라 해보다가 배경지식이 없으니 때려치웠다가 다시 학부 2학년때 어셈블리어 강의 듣고 재밌어서 임베디드로 방향 잡고 대학원 프로젝트로 에뮬레이터 만들 때도 어셈블리어 공부 해뒀던 덕을 많이 봤었네요.

nasm-2.15.05-installer-x64.exe를 받아서 설치했습니다.

2.4. PATH 환경변수 등록

Make sure both Perl and NASM are on your %PATH%

라고 합니다.

"perl -v"와 "nasm -v"를 쳐보니 nasm이 PATH 등록이 안되어 있네요.

x64 Native Tools Command Prompt

시스템 속성 창의 "환경 변수"에 가서 NASM 설치경로를 시스템 PATH에 추가해 줍니다. 그리고 prompt를 다시 열어서 "nasm -v" 입력하면 제대로 실행된 것을 확인할 수 있습니다.

System Properties

NASM 등록

nasm -v 실행 확인

3. Native builds using Visual C++

아래는 윈도우 환경 빌드방법에 대한 가이드입니다.

Build Guide

even if you are impatient!! 성질 급하신 분들도(저 포함) 꼭꼭 주의 깊게 읽어달라는 문구가 있네요.

요약: 위 과정까지는 유저권한, 아래 "nmake install"은 prompt를 꼭꼭 관리자권한으로 상승시켜서 진행해 달라고 하네요.

어차피 하다가 권한오류 나서 실패하면 엥? 모지 하면서 다시 관리자권한으로 재시도할 테니 큰 의미는 없어 보입니다.

Installing OpenSSL ------------------ The following commands will install OpenSSL to a default system location. **Danger Zone:** even if you are impatient, please read the following two paragraphs carefully before you install OpenSSL. For security reasons the default system location is by default not writable for unprivileged users. So for the final installation step administrative privileges are required. The default system location and the procedure to obtain administrative privileges depends on the operating system. It is recommended to compile and test OpenSSL with normal user privileges and use administrative privileges only for the final installation step. On some platforms OpenSSL is preinstalled as part of the Operating System. In this case it is highly recommended not to overwrite the system versions, because other applications or libraries might depend on it. To avoid breaking other applications, install your copy of OpenSSL to a [different location](#installing-to-a-different-location) which is not in the global search path for system libraries. Finally, if you plan on using the FIPS module, you need to read the [Post-installation Notes](#post-installation-notes) further down.

아래는 윈도 환경에서의 Make 가이드입니다.

Make Guide

3.1. Native Tools Command Prompt for Visual Studio를 실행

Visual Studio 설치 경로에 보시면 Command Prompt가 있습니다. x86과 x64가 있습니다.

Visual studio 설치경로에 있습니다.

3.2. 패키지 설정

1. 에서 다운로드한 OpenSSL 소스패키지 압축을 풀어둔 경로로 이동합니다.

"perl Configure"를 실행할 건데 저는 64bit와 32bit용이 각각 필요하여 target option으로 "VC-WIN64 A"와 "VC-WIN32"를 입력할 겁니다. 그리고 "--prefix" 옵션으로 현재 openssl 소스패키지 경로를 입력하여 생성 라이브러리도 같은 경로에 생성되도록 하겠습니다. 다른 옵션에 대한 정보는 소스패키지 경로의 INSTALL.md 파일에 나와있는 것 같습니다.

Default Build Type은 "Debug"라고 합니다. Release는 "--release" 추가해야 합니다.

그리고 "/MTd", "/MT" 옵션 추가해줘야 하고 이 옵션으로 생성된 makefile 열어서 보면 flag에 "/MD" 라고 되어 있는 것 삭제해주면 됩니다.

패키지 경로는 최대한 짧게 해 주시고(구글에 관련 에러 사례 많음) 처음부터 관리자권한으로 실행해 주세요.

3.2.1. 유의사항

- Native Tools Command Prompt를 처음부터 관리자권한으로 실행하세요. 유저모드에서 컴파일 에러 발생하네요.

- 소스코드 경로를 너무 길게 하지 마세요.

- --prefix 경로 지정 시 소스코드 경로와 다른 곳을 지정해야 합니다. 안 그러면 install시 에러 발생함.

openssl perl Configure

3.3. OpenSSL 라이브러리 빌드

"nmake" 명령으로 OpenSSL 라이브러리를 빌드합니다. 컴파일 타임이 상당히 오래 걸리네요. 4가지 버전 만들어야 하는데 한번 할 때마다 30분 걸리네요.

nmake

중간중간 fatal error u1077이랑 app.pdb파일을 열 수 없다 등이 발생하며 멈췄는데 이게 구문 오류가 아닌 윈도 환경과 병행성문제 등 Race Condition으로 밖에는 달리 설명이 안 되는 환경을 타는 것 같아, 오류발생시마다 그냥 계속 nmake 재 실행해서 결국 빌드 완성시켰습니다.

Build Report

static library .lib은 --prefix 지정경로의 lib에, dynamic library .dll은 bin에 생성되고 지정경로의 include에 헤더파일이 생성됩니다.

Lib Path

3.3.1. x64 vs x86 결과물 비교

다른점은 .lib, .pdb, .dll 이 다르네요. 그리고 헤더파일 중 configuration.h 파일 1개만 아키텍처가 달리 적혀있습니다.

하나의 프로젝트에 통합하여 버전별 맞는 파일이 연결되도록 할 것입니다.

Folder Compare Result

4. 프로젝트에 라이브러리 링크

프로젝트의 "Prebuilt"경로 하위에 아래 구조로 복사하였습니다. Static linking이라 bin폴더의 .dll은 제외.

Directory Tree

4.1. 프로젝트 속성 설정

(Debug/Release 공통)

4.1.1. C/C++-General-Additional Include Directories에 "$(ProjectDir)\Prebuilt\OpenSSL\include\" 추가.

4.1.2. Linker-Additional Library Directories에 "$(ProjectDir)\Prebuilt\openssl\lib\" 추가.

4.1.3. Linker-Input-Additional Dependencies에 "libcrypto.lib;libssl.lib" 추가.

(Debug)

4.1.4. Linker-Additional Library Directories에 "$(ProjectDir)\Prebuilt\openssl\lib\debug\" 추가.

(Release)

4.1.5. inker-Additional Library Directories에 "$(ProjectDir)\Prebuilt\openssl\lib\release\" 추가.

아래 에러는 applink.c 파일명을 applink.cpp로 바꾸고 최상단에 "#include "pch.h"" 추가해 주면 됩니다.

applink.c(9,10): fatal error C1853: 'x64\Debug\Noyecube.pch' precompiled header file is from a different version of the compiler, or the precompiled header is C++ and you are using it from C (or vice versa)

applink.cpp(145,1): fatal error C1010: unexpected end of file while looking for precompiled header. Did you forget to add '#include "pch.h"' to your source?

아래 에러는 프로젝트속성에서 SDL 체크 해제하면 됩니다. 이미 빌드된 라이브러리 안에서 fopen 등을 가져다 썼기 때문에 치환할 수 없음.

applink.cpp(123,47): error C4996: 'fopen': This function or variable may be unsafe. Consider using fopen_s instead. To disable deprecation, use _CRT_SECURE_NO_WARNINGS. See online help for details.

applink.cpp(131,46): error C4996: '_open': This function or variable may be unsafe. Consider using _sopen_s instead. To disable deprecation, use _CRT_SECURE_NO_WARNINGS. See online help for details.

이렇게. dll 사용이 아닌 정적. lib 생성 후 프로젝트에 포함시키려고 발버둥 쳐봤으나 결국은 .dll 의존성 에러가 뜨네요.

그냥 안 쓸랍니다. 리눅스환경에서는 몰라도 윈도우에서 .dll 말고 정적라이브러리 테스트는 제대로 안 해주는 것 같네요. 안 올리려다가 허비한 시간이 아까워서 글은 올립니다.

[MFC] C++ MiniDumpWriteDump

noyecube — Fri, 12 Aug 2022 17:12:23 +0900

프로그램 개발 중 프로그램 에러는 컴파일 에러와 런타임 에러가 있습니다. 이번 포스팅에서는 런타임 에러 발생 시 디버깅에 필요한 정보를 파일로 저장하는 방법을 알아보겠습니다.

1. 런타임 에러의 종류

구문오류는 컴파일 타임에 컴파일러가 알려주는데 아래와 같은 런타임 에러는 프로그램이 그냥 꺼져버립니다.

그래서 별도로 그 순간의 스냅샷 정보를 저장하지 않으면 디버깅이 어렵습니다.

런타임 에러 종류

런타임 에러의 분석과 해결을 위해서는 당시 메모리와 레지스터 등의 디버깅에 필요한 정보를 파일로 저장할 필요가 있습니다.

https://docs.microsoft.com/en-us/windows/win32/dxtecharts/crash-dump-analysis의 Crash Dump Analysis가 그 방법을 알려주고 있습니다. 프로젝트에 Minidump.h 와 Minidump.cpp를 추가하고 소스코드를 복사 후 붙여넣기한 뒤 약간의 수정 후 결과를 확인해 보았습니다.

2. 크래시 덤프 분석 코드 작성

CALLBACK 등록하기

SetUnhandledExceptionFilter() 를 호출하여 직접호출이 아닌 exception 발생 시 콜백으로 동작하도록 수정합니다.

.dmp 파일 생성 경로 수정

실행파일과 같은 경로에 생성되도록 수정하였습니다.

App의 Initinstance()에 콜백함수를 등록하고

콜백 함수 등록

프로젝트 코드에 아래와 같이 0으로 나누는 코드를 삽입 후 실행해 보았습니다.(retCode 값이 0)

작성한 테스트 코드

테스트코드가 실행되자 프로그램이 멈추고 그냥 종료되었는데 아래와 같은. dmp 파일이 생성되었습니다.

생성된 덤프 파일

.dmp 파일을 더블클릭으로 실행하면 Dump summary의 Exception Information에 crash 원인이 정확하게 나오고 있습니다.

우측 Actions의 "Debug with Native Only"를 클릭하면 비주얼스튜디오가 디버깅모드로 실행되면서 에러 위치를 정확하게 표기해 줍니다. 이를 위해서는 실행파일 경로에 디버그 데이터베이스파일 .pdb가 있어야 합니다.

Dump Summary

디버깅에서 확인된 에러

3. 덤프파일 생성 예제 코드

제가 사용한 예제 코드를 붙입니다. 참고하시기 바랍니다.

Minidump.h

#pragma once

LONG CALLBACK GenerateDump(EXCEPTION_POINTERS* pExceptionPointers);
void Register_MiniDumpWriteDump(void);

Minidump.cpp

#include "pch.h"
#include "Minidump.h"

/* https://docs.microsoft.com/en-us/windows/win32/dxtecharts/crash-dump-analysis */

#include <strsafe.h>
#include <DbgHelp.h>
#pragma comment (lib, "DbgHelp")

static BOOL _boIsRegistered = FALSE;

LONG CALLBACK GenerateDump(EXCEPTION_POINTERS* pExceptionPointers)
{
    BOOL bMiniDumpSuccessful;
    CString cstrFilePath;
    TCHAR szPath[MAX_PATH];
    TCHAR szFileName[MAX_PATH];
    TCHAR* szAppName = _T("Noyecube");
    TCHAR* szVersion = _T("v1.0");
    DWORD dwBufferSize = MAX_PATH;
    HANDLE hDumpFile;
    SYSTEMTIME stLocalTime;
    MINIDUMP_EXCEPTION_INFORMATION ExpParam;

    GetLocalTime(&stLocalTime);

#if 0
    GetTempPath(dwBufferSize, szPath);

    StringCchPrintf(szFileName, MAX_PATH, _T("%s%s"), szPath, szAppName);
    CreateDirectory(szFileName, NULL);

#
    StringCchPrintf(szFileName, MAX_PATH, _T("%s%s\\%s-%04d%02d%02d-%02d%02d%02d-%ld-%ld.dmp"),
        szPath, szAppName, szVersion,
        stLocalTime.wYear, stLocalTime.wMonth, stLocalTime.wDay,
        stLocalTime.wHour, stLocalTime.wMinute, stLocalTime.wSecond,
        GetCurrentProcessId(), GetCurrentThreadId());

#else
    GetModuleFileName(NULL, szPath, dwBufferSize);
    cstrFilePath.Format("%s", szPath);
    cstrFilePath = cstrFilePath.Left(cstrFilePath.ReverseFind(_T('\\')));
   
    StringCchPrintf(szFileName, MAX_PATH, _T("%s\\%s-%s-%04d%02d%02d-%02d%02d%02d-%ld-%ld.dmp"),
        (LPCTSTR)cstrFilePath, szAppName, szVersion,
        stLocalTime.wYear, stLocalTime.wMonth, stLocalTime.wDay,
        stLocalTime.wHour, stLocalTime.wMinute, stLocalTime.wSecond,
        GetCurrentProcessId(), GetCurrentThreadId());
#endif
    hDumpFile = CreateFile(szFileName, GENERIC_READ | GENERIC_WRITE,
        FILE_SHARE_WRITE | FILE_SHARE_READ, 0, CREATE_ALWAYS, 0, 0);

    ExpParam.ThreadId = GetCurrentThreadId();
    ExpParam.ExceptionPointers = pExceptionPointers;
    ExpParam.ClientPointers = TRUE;

    bMiniDumpSuccessful = MiniDumpWriteDump(GetCurrentProcess(), GetCurrentProcessId(),
        hDumpFile, MiniDumpWithDataSegs, &ExpParam, NULL, NULL);

    return EXCEPTION_EXECUTE_HANDLER;
}

void Register_MiniDumpWriteDump(void)
{
    if (TRUE == _boIsRegistered)
        return;

    _boIsRegistered = TRUE;

    SetUnhandledExceptionFilter(GenerateDump);
}

#if 0
void SomeFunction()
{
    __try
    {
        int* pBadPtr = NULL;
        *pBadPtr = 0;
    }
    __except (GenerateDump(GetExceptionInformation()))
    {
    }
}
#endif 

/* https://docs.microsoft.com/en-us/cpp/error-messages/compiler-errors-2/compiler-error-c2707?view=msvc-170 */
#if 0
// C2707.cpp
#include <windows.h>
#include <stdio.h>

LONG MyFilter(LONG excode)
{
    return (excode == EXCEPTION_ACCESS_VIOLATION ?
        EXCEPTION_EXECUTE_HANDLER : EXCEPTION_CONTINUE_SEARCH);   // OK
}

LONG func(void)
{
    int x, y;
    return(GetExceptionCode() == EXCEPTION_ACCESS_VIOLATION ?  // C2707
        EXCEPTION_EXECUTE_HANDLER : EXCEPTION_CONTINUE_SEARCH);

    __try
    {
        y = 0;
        x = 4 / y;
        return 0;
    }

    __except (MyFilter(GetExceptionCode()))
    {
        return(GetExceptionCode() == EXCEPTION_ACCESS_VIOLATION ? // ok
            EXCEPTION_EXECUTE_HANDLER : EXCEPTION_CONTINUE_SEARCH);
    }
}

int main()
{
    __try
    {
        func();
    }
    __except (EXCEPTION_EXECUTE_HANDLER)
    {
        printf_s("Caught exception\n");
    }
}
#endif

MS의 공식 자료는 아래 링크에서 확인 가능합니다.

https://docs.microsoft.com/en-us/windows/win32/dxtecharts/crash-dump-analysis

Crash Dump Analysis - Win32 apps

This technical article provides info about how to write and use a minidump.

docs.microsoft.com

https://docs.microsoft.com/en-us/cpp/error-messages/compiler-errors-2/compiler-error-c2707?view=msvc-170

Compiler Error C2707

Learn more about: Compiler Error C2707

learn.microsoft.com

이상으로 런타임 에러 발생시 에러 발생 위치를 디버깅 모드에서 확인할 수 있도록 Crash Dump를 생성하는 방법과 사용 방법에 대하여 알아보았습니다.

[MFC] 로그(Log) 출력 Logger

noyecube — Fri, 12 Aug 2022 11:55:48 +0900

이번 포스팅에서는 C/C++ GUI 개발 환경에서 로그 출력을 위한 Logger 매크로를 작성하여 효율적으로 디버깅 메시지를 출력하는 방법을 알아보도록 하겠습니다.

Logger 요구사항은 다음과 같습니다.

MFC 프로그램 개발 시 콘솔 로그를 확인할 수 있어야 한다.
로그가 파일로 저장되어야 한다.

1. 콘솔창에 로그 출력하는 방법

MFC와 같은 GUI 개발환경에서 콘솔로 로그를 출력하려면 컴파일 단계에서 링커에게 콘솔을 띄우도록 알려줘야 합니다.

그 방법은 아래 코드를 참조하면 됩니다.

framework.h 에 아래 내용 추가 후 코드에서 DPRINTF 함수를 호출하면 별도 콘솔창에 로그가 출력됩니다.

#ifdef _DEBUG
#ifdef _UNICODE
#define WIDEN(x)           L ## x
#define WIDEN2(x)         WIDEN(x)
#define __WFILE__          WIDEN2(__FILE__)
#define __WFUNCTION__ WIDEN2(__FUNCTION__)
#pragma comment(linker, "/entry:wWinMainCRTStartup /subsystem:console")	/* OPEN CONSOLE DEBUG UNICODE */
#define DPRINTF(fmt, ...) do { _tprintf(_T("[%s:%d]" fmt), __WFUNCTION__, __LINE__, __VA_ARGS__); } while(0)
#else
#pragma comment(linker, "/entry:WinMainCRTStartup /subsystem:console")	/* OPEN CONSOLE DEBUG */
#define DPRINTF(fmt, ...) do { printf(_T("[%s:%d]" fmt), __func__, __LINE__, __VA_ARGS__); } while(0)
#endif
#else
#define DPRINTF(fmt, ...)	do{;} while(0)
#endif /* _DEBUG */

2. 로그를 파일에 저장하는 방법

2.1 로그 카테고리에 대해

로그를 카테고리별로 분류할 필요가 있습니다. 모듈별, 레벨별로 분류 가능합니다.

이를 저장 또는 소켓으로 출력할 수 있습니다..

모듈은 모바일 기기를 예로 들면 전화, 문자, 인터넷 및 각 어플들이 각각의 모듈로 구분되고

레벨은 LOW, MID, HIGH, ERR, FATAL 등으로 나눌 수 있습니다.

이렇게 구분하여 두면 로컬이 아닌 Diagnostics를 통한 소켓으로 전송 시 모듈과 레벨을 필터링할 수 있습니다.

여러 사람들이 로그 출력시 간과하는 사실 중 하나는 부하입니다.

프로그래밍에서 가장 처음 배우는 게 printf("Hello World!"); 라서 그런지는 몰라도 printf를 가볍게 보는 것 같은데

가변인자를 파싱해서 메모리버퍼에 직렬화 후 마지막에는 1바이트 단위로 하나씩 하나씩 하드웨어 지정된 메모리에 쓰게 됩니다. (Trace32 물려서 어셈블리 레벨로 확인하였습니다.)

2.2 로그 부하에 대해

시스템 여기저기서 로그를 출력하면 메모리버퍼에 쓸 때까지는 몰라도 실제 화면(stdout) 또는 파일기록 시 상당한 부하가 걸립니다. 멀티코어, 고 클럭 하드웨어에서는 별로 표가 안 날 수 있지만 단일 스레드 레벨에서 보면 부하가 걸리는 건 맞습니다. 모 회사에서 아무리 최적화를 해도 시스템 속도 개선이 안되어 거액의 돈을 주고 외주를 맡겼는데 주요 부하 해결 요인 중 하나가 불필요 로그 출력 제거였습니다. 그렇기 때문에 로그를 출력할 경우에도 가급적 중간에 버퍼를 두고 로그가 print 호출과 함께 동기적으로 동작하여 그 자체가 주 로직이 되게 하는 것보다는 가급적 유휴타임에 주기적으로 flush 되도록 관리할 필요가 있습니다. CFile로 Open 한 핸들에 바로 기록하지 말고 CArchive에 한번 더 연결 후 메모리 버퍼를 충분히 주어 주기적으로 한 번씩 파일에 기록하도록 하는 것을 권장합니다.

데이터를 주고받는 객체 사이에는 한쪽에 대기가 걸리지 않도록 서로의 처리 속도를 보완해 줄 중간버퍼(Queue)는 필수인데 FTP 서버에 왜 큐를 두었는지 도무지 이해가 안 가네를 연발하시던 국내 유명 인공위성 개발업체 팀장님의 발언이 생각납니다. 맥도널드에서 햄버거 주문하는데 주문받는 사람이 주방에 가서 햄버거도 만들어서 갖다 주면 2번째 3번째 주문하려고 기다리는 사람들은 1번 햄버거 나올 때까지 주문 접수도 못하게 되는데 마찬가지로 디스크에 파일을 Read, Write 하는 스레드와 클라이언트 상대하는 스레드 사이에는 당연히 큐를 넣어야 하는 게 아닌지, 요즘도 그렇게 인공위성을 개발하고 계시는지 궁금합니다.

2.3 예제 코드

- CLogger.h 예시

파일별로 라인 시퀀스넘버를 관리하는데 MAX_LINE_PER_FILE에 도달하면 현재 쓰는 파일핸들을 flush 후 닫고 새 파일을 엽니다. 향후 Diag을 통한 소켓으로 로그 전송 필요시 LOG_MSG 하단에서 버퍼와 모듈, 로그카테고리 정보를 관련 함수에 던져주면 됩니다. 소켓전송 시에는 compress, aggregation 고려 필요합니다. 더 고도화 시에는 파라미터 수를 제한시키고(매크로가 파라미터 0개, 1개, 2개, 3개짜리 있음) 각 로그 메시지에 ID 부여 후 ID와 파라미터 변수값만 전송합니다.(퀄컴 QXDM 문서 참조)

#pragma once


#define MAX_PRINT_STR_LEN	(512)

typedef enum class _LOGGER_CATEGORY {
	NORMAL,
	TRADING_EVENT,
	NETWORK,
	DBG,	/* DEBUG */
	INFO,
	ERR,
	MAX
} TEN_LOGGER_CATEGORY;

typedef enum class _LOGGER_LEVEL {
	LOW,
	MID,
	HIGH,
	MAX
} TEN_LOGGER_LEVEL;

typedef struct _LOGGER_SET {
	CCriticalSection critSect;
	UINT32 u32SeqNo;
	CFile* pcfp;
	CArchive* pcarp;
	BOOL boIsInit;
	_LOGGER_SET() {
		u32SeqNo = 0;
		pcfp = nullptr;
		pcarp = nullptr;
		boIsInit = FALSE;
	}
} TST_LOGGER_SET, *PTST_LOGGER_SET;


class CLogger
{
public:
	CLogger();
	~CLogger();
private:
	const UINT32 MAX_LINE_PER_FILE;	/* To be initialzed by constructor */
	TST_LOGGER_SET astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::MAX)];
	void _logger_renew_logfile(TEN_LOGGER_CATEGORY enCat);
public:
	void logger_write_to_file(TEN_LOGGER_CATEGORY enCat, LPCTSTR buf, size_t bufcount);
};

void format_log_msg(char* buf_ptr, int buf_size, char* fmt, ...);
//void logger_msg_to_file(TEN_LOGGER_CATEGORY enCat, LPCTSTR buf, size_t countof);

#define LOG_MSG(ssid, cat, fmt, ... )                                       \
   {                                                                             \
	 SYSTEMTIME tm;																\
     char buf[MAX_PRINT_STR_LEN];                                                \
	 char newbuf[MAX_PRINT_STR_LEN]; \
     char *p_front = __FILE__;                                                   \
     char *p_end = p_front + strlen( p_front );                                  \
	GetLocalTime(&tm);															\
     while ( p_end != p_front )                                                  \
     {                                                                           \
       if ( ( *p_end == '\\' ) || ( *p_end == ':' ) || ( *p_end == '/') )        \
       {                                                                         \
         p_end++;                                                                \
         break;                                                                  \
       }                                                                         \
       p_end--;                                                                  \
     }                                                                           \
                                                                                 \
     /* Format message for logging */                                            \
     format_log_msg( buf, MAX_PRINT_STR_LEN, fmt, ##__VA_ARGS__ );              \
	(void) _stprintf_s((TCHAR*)newbuf, _countof(newbuf), "\r\n%02d:%02d:%02d,%03ld,%d,%d,%s,%s,%d,%s", \
	tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds, ssid, cat, p_end, __func__, __LINE__, buf);		\
	theApp.Logger.logger_write_to_file(cat, newbuf, _tcslen(newbuf));	\
	(void)printf("%s\n", newbuf);	\
    /* (void)printf("%s:%s:%d] %s\n", p_end, __func__, __LINE__, buf);     */     \
     /* TODO: Send to socket, etc, check ssid, lvl ... */ \
   }

/* SSID (Service Set Identifier) */
#define SSID_NOYECUBE	(0)
#define SSID_x			(1)
#define SSID_xx			(2)
#define SSID_xxx		(3)

- CLogger.cpp 예시

#include "pch.h"
#include "CLogger.h"
#include <strsafe.h>

CLogger::CLogger():MAX_LINE_PER_FILE(4096)
{
	SYSTEMTIME tm;
	TCHAR szBuf[512];
	CString cstrFilePath;
	CString cstrTemp;
	CFileFind cffFindFile;
	CFile* pcfp = nullptr;
//	CArchive* pcarp = nullptr;
//	PTST_LOGGER_SET pstLogger = nullptr;
	BOOL boRet;

	GetLocalTime(&tm);

	memset(szBuf, 0x0, sizeof(szBuf));

	GetModuleFileName(NULL, szBuf, sizeof(szBuf));
	cstrFilePath.Format("%s", szBuf);

	cstrFilePath = cstrFilePath.Left(cstrFilePath.ReverseFind(_T('\\')));

	boRet = cffFindFile.FindFile(cstrFilePath + _T("\\logs"));
	if (!boRet)
		boRet = CreateDirectory(cstrFilePath + _T("\\logs"), NULL);

	boRet = cffFindFile.FindFile(cstrFilePath + _T("\\dumps"));
	if (!boRet)
		boRet = CreateDirectory(cstrFilePath + _T("\\dumps"), NULL);

	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	cstrTemp.AppendFormat(_T("\\logs\\log-normal-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
		tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NORMAL)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NORMAL)].pcfp;
	boRet = pcfp->Open(cstrTemp, CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NORMAL)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NORMAL)].pcarp->WriteString(_T("hhmmss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NORMAL)].boIsInit = TRUE;

	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	cstrTemp.AppendFormat(_T("\\logs\\log-trading-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
		tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::TRADING_EVENT)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::TRADING_EVENT)].pcfp;
	boRet = pcfp->Open(cstrTemp, CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::TRADING_EVENT)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::TRADING_EVENT)].pcarp->WriteString(_T("hhmmss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::TRADING_EVENT)].boIsInit = TRUE;

	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	cstrTemp.AppendFormat(_T("\\logs\\log-network-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
		tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NETWORK)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NETWORK)].pcfp;
	boRet = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NETWORK)].pcfp->Open(cstrTemp,
		CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NETWORK)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NETWORK)].pcarp->WriteString(_T("hhmmss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::NETWORK)].boIsInit = TRUE;

	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	cstrTemp.AppendFormat(_T("\\logs\\log-debug-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
		tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::DBG)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::DBG)].pcfp;
	boRet = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::DBG)].pcfp->Open(cstrTemp,
		CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::DBG)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::DBG)].pcarp->WriteString(_T("hhmmss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::DBG)].boIsInit = TRUE;

	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	cstrTemp.AppendFormat(_T("\\logs\\log-info-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
		tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::INFO)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::INFO)].pcfp;
	boRet = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::INFO)].pcfp->Open(cstrTemp,
		CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::INFO)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::INFO)].pcarp->WriteString(_T("hhmmss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::INFO)].boIsInit = TRUE;

	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	cstrTemp.AppendFormat(_T("\\logs\\log-error-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
		tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::ERR)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::ERR)].pcfp;
	boRet = this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::ERR)].pcfp->Open(cstrTemp,
		CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::ERR)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::ERR)].pcarp->WriteString(_T("hhmmss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(TEN_LOGGER_CATEGORY::ERR)].boIsInit = TRUE;
}

CLogger::~CLogger()
{
	CFile* pcfp = nullptr;
	CArchive* pcarp = nullptr;
	for (int i = 0; i < static_cast<int>(TEN_LOGGER_CATEGORY::MAX); i++) {
		pcfp = this->astLogger[i].pcfp;
		pcarp = this->astLogger[i].pcarp;
		if (nullptr != pcarp) {
			pcarp->Flush();
			pcarp->Abort();
			delete pcarp;
			pcarp = nullptr;
		}

		if (nullptr != pcfp) {
			pcfp->Flush();
			pcfp->Abort();
			delete pcfp;
			pcfp = nullptr;
		}
		this->astLogger[i].boIsInit = FALSE;
	}
}

void CLogger::_logger_renew_logfile(TEN_LOGGER_CATEGORY enCat)
{
	SYSTEMTIME tm;
	TCHAR szBuf[512];
	CString cstrFilePath;
	CString cstrTemp;
	CFileFind cffFindFile;
	CFile* pcfp = nullptr;
	//	CArchive* pcarp = nullptr;
	//	PTST_LOGGER_SET pstLogger = nullptr;
	BOOL boRet;

	PTST_LOGGER_SET p = &(this->astLogger[static_cast<unsigned int>(enCat)]);

	if (nullptr != p->pcarp) {
		p->pcarp->Flush();
		p->pcarp->Abort();
		delete p->pcarp;
		p->pcarp = nullptr;
	}

	if (nullptr != p->pcfp) {
		p->pcfp->Flush();
		p->pcfp->Abort();
		delete p->pcfp;
		p->pcfp = nullptr;
	}

	GetLocalTime(&tm);

	memset(szBuf, 0x0, sizeof(szBuf));

	GetModuleFileName(NULL, szBuf, sizeof(szBuf));
	cstrFilePath.Format("%s", szBuf);

	cstrFilePath = cstrFilePath.Left(cstrFilePath.ReverseFind(_T('\\')));

	boRet = cffFindFile.FindFile(cstrFilePath + _T("\\logs"));
	if (!boRet)
		boRet = CreateDirectory(cstrFilePath + _T("\\logs"), NULL);
	
	cstrTemp.Empty();
	cstrTemp = cstrFilePath;
	switch (enCat) {
	case TEN_LOGGER_CATEGORY::NORMAL:
		cstrTemp.AppendFormat(_T("\\logs\\log-normal-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
		break;
	case TEN_LOGGER_CATEGORY::TRADING_EVENT:
		cstrTemp.AppendFormat(_T("\\logs\\log-trading-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
		break;
	case TEN_LOGGER_CATEGORY::NETWORK:
		cstrTemp.AppendFormat(_T("\\logs\\log-network-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
		break;
	case TEN_LOGGER_CATEGORY::DBG:
		cstrTemp.AppendFormat(_T("\\logs\\log-debug-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
		break;
	case TEN_LOGGER_CATEGORY::INFO:
		cstrTemp.AppendFormat(_T("\\logs\\log-info-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
		break;
	case TEN_LOGGER_CATEGORY::ERR:
		cstrTemp.AppendFormat(_T("\\logs\\log-error-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
		break;
	default:
		cstrTemp.AppendFormat(_T("\\logs\\log-unknown-%04d-%02d-%02d-%02d-%02d-%02d-%03ld.csv"),
			tm.wYear, tm.wMonth, tm.wDay, tm.wHour, tm.wMinute, tm.wSecond, tm.wMilliseconds);
	}

	this->astLogger[static_cast<unsigned int>(enCat)].pcfp = new CFile();
	pcfp = this->astLogger[static_cast<unsigned int>(enCat)].pcfp;
	boRet = pcfp->Open(cstrTemp, CFile::modeWrite | CFile::modeCreate | CFile::modeNoTruncate | CFile::shareDenyNone);
	if (FALSE == boRet) {
		//TODO: erro handling 
	}
	this->astLogger[static_cast<unsigned int>(enCat)].pcarp = new CArchive(pcfp, CArchive::store, 4096 * 10);
	this->astLogger[static_cast<unsigned int>(enCat)].pcarp->WriteString(_T("hh:mm:ss,msec,ssid,category,file,func,line,msg"));
	this->astLogger[static_cast<unsigned int>(enCat)].boIsInit = TRUE;

	return;
}

void CLogger::logger_write_to_file(TEN_LOGGER_CATEGORY enCat, LPCTSTR buf, size_t bufcount)
{
	PTST_LOGGER_SET p = &(this->astLogger[static_cast<unsigned int>(enCat)]);

	p->critSect.Lock();
	p->pcarp->Write(buf, (UINT)bufcount);
	p->u32SeqNo++;

	if (MAX_LINE_PER_FILE < (p->u32SeqNo)) {
		this->_logger_renew_logfile(enCat);
		p->u32SeqNo = 0;
	}
	p->critSect.Unlock();
}

void format_log_msg(char* buf_ptr, int buf_size, char* fmt, ...)
{
	va_list arg_list;

	va_start(arg_list, fmt);
	(void)vsnprintf(buf_ptr, buf_size, fmt, arg_list);
	va_end(arg_list);

	return;
}

다음은 모듈별 로그 매크로 예시입니다.

신규 모듈을 추가하게 되면 CLogger.h 에 SSID를 추가하고

자신의 헤더파일에 매크로를 등록하여 사용합니다.

모듈별로 SSID를 부여하고 매크로를 만들어 둡니다

레벨별로 로그파일이 분리 생성

향후 별도 로그분석을 위해 csv로 저장. 보기만 할거면 쉼표가 아닌 예쁜 문자 사용

콘솔에 출력된 로그. 콘솔을 마우스 클릭하면 프로그램이 멈추니 유의.

이상으로 GUI 환경에서 콘솔로 디버깅 메시지를 출력하는 방법과 파일에 로그 저장 시 각 모듈별, 레벨별로 분류하고 부하를 줄이는 방식에 대해 알아보았습니다.

[MFC] simdjson library 설치

noyecube — Mon, 1 Aug 2022 23:54:13 +0900

MFC 기반 프로젝트에서 json을 파싱 하기 위해 가장 적절한 json 라이브러리를 알아보았습니다.

그 결과 simdjson이 가장 최신기술을 활용하여 개발된 것 같아서 프로젝트에 적용해 보았습니다.

참고로 32비트 프로젝트에서는 사용이 불가능합니다.

1. simdjson?

SIMD 기술을 적용하여 json 파서 중 가장 빠른 파서라고 하며 관련 논문도 찾아볼 수 있습니다.

SIMD는 Single Instruction Multiple Data의 줄임말로서 병렬 컴퓨팅의 한 종류입니다. 하나의 명령어로 여러 개의 값을 동시에 계산하는 기술입니다. 하나의 명령어를 수행하는 데 걸리는 시간을 줄일 수 있기 때문에 연산이 많은 작업에서 성능을 향상할 수 있습니다.

https://github.com/simdjson/simdjson에서 simdjson.h 파일과 simdjson.cpp 파일 단 2개만 다운로드하여

프로젝트에 포함시켜 컴파일하면 끝입니다.

역시 똑똑한 박사들이 개발한 거라 그런지 사용법도 간단하네요.

아래와 같이 프로젝트에 헤더파일과 cpp파일만 추가 후 빌드합니다.

단, 최신 c++17로 작성되어 있으므로 기본옵션 c++14를 c++17 이상 상위 버전으로 변경해 주어야 합니다.

예제 json 파일을 디스크에 저장 후 테스트코드를 넣고 실행하여 결과값 100이 나오면 제대로 설치가 된 것입니다.

이상으로 c++로 개발되어 c/c++ 프로젝트에 활용할 수 있는 json 라이브러리인 simdjson을 프로젝트에 적용하는 방법에 대해 알아보았습니다.

참고사이트: https://simdjson.org/

[MFC] TA-LIB 설치

noyecube — Mon, 1 Aug 2022 22:22:53 +0900

상용 HTS 프로그램을 사용하면 차트와 연계하여 이동평균선, MACD 등의 지표 정보를 볼 수 있습니다.

하지만 xingAPI, Kiwoom Plus 같은 증권사 API를 이용하면 지표를 별도로 계산해야 합니다.

각 지표에 대한 계산식은 쉽게 찾을 수 있지만 그 지표들를 직접 계산하는 코드를 작성하는 것은 시간낭비라고 생각합니다.

왜냐하면 이미 누군가 만들어두었기 때문에 갖다 쓰면 됩니다.

대표적인 기술적 지표 분석 라이브러리 TA-LIB을 MFC 프로젝트에 설치하는 방법을 알아보겠습니다.

1. TA-LIB에 대하여

TA-Lib은 트레이딩 소프트웨어 개발자들을 위한 기술적 분석 라이브러리로서 오픈소스입니다.

아래 경로에서 TA-Lib 소스코드를 다운로드할 수 있습니다.

https://ta-lib.org/

TA-Lib - Technical Analysis Library

Use TA-Lib to add technical analysis to your own financial market trading applications 200 indicators such as ADX, MACD, RSI, Stochastic, Bollinger Bands etc... See complete list... Candlestick patterns recognition Core written in C/C++ with API also avail

ta-lib.org

2. 라이브러리 파일(.LIB) 생성

비주얼스튜디오의 Native Tools Command Prompt를 띄워서 nmake를 실행합니다.

Prompt는 x86 버전과 x64 버전이 구분되어 있으므로 프로젝트에 맞는 비트를 선택해야 합니다.

nmake 실행 화면

생성된 LIB파일의 비트 확인은 dumpbin 명령으로 헤더 덤프를 수행하면 됩니다.

dumpbin 실행화면

라이브러리가 정상인지 확인은 .LIB 빌드 때 같이 생성된 ta_regtest.exe를 실행시켜 봅니다.

All tests succeeded 메시지를 확인하면 정상적으로 빌드된 것입니다.

ta_regtest 실행 결과

3. TA-Lib 빌드 결과물을 프로젝트에 추가하기

3.1 lib 파일 프로젝트 폴더에 복사

프로젝트 폴더에 "prebuilt/ta-lib" 폴더 생성 후 cmd, cmr을 복사합니다.

cmr, cmd 복사 결과

3.2 헤더파일 복사

"prebuilt/ta-lib/include" 폴더에 헤더파일을 복사합니다. 응용 코드에서는 "ta_libc.h"만 인클루드 하면 됩니다.

헤더파일 복사 결과

3.3 프로젝트 설정

3.3.1. 디버그, 릴리즈 모드의 프로퍼티에 아래 .lib 파일명을 프로젝트 속성에 추가합니다.

Debug-x64 : ta_libc_cmd.lib;ta_abstract_cmd.lib;ta_common_cmd.lib;ta_func_cmd.lib
Release-x64 : ta_libc_cmr.lib;ta_abstract_cmr.lib;ta_common_cmr.lib;ta_func_cmr.lib

Property-Linker-Input-Additional Dependencies

3.3.2. lib 파일 탐색 경로를 추가합니다.(디버그, 릴리즈 각각)

Property-Linker-General-Additional Library Directories

3.3.3. 솔루션 탐색기에 헤더파일을 추가합니다.

솔루션 탐색기 헤더파일

4. 테스트코드 작성 및 리턴값 확인

테스트코드 작성 파일에 #include "ta_libc.h" 구문을 추가합니다.

그리고 OnAppAbout() 함수와 같은 임시 영역에 테스트 코드를 작성하고 실행해 봅니다.

리턴결과가 0이 나오면 정상입니다.

리턴값 0은 ENUM_BEGIN에서 확인하면 TA_SUCCESS를 의미합니다.

TA-Lib 테스트 코드

TA_RetCode 0 확인

TA_SUCCESS

이상으로 MFC 프로젝트에 TA-Lib를 적용하는 방법을 알아보았습니다.

SOVE 실링팬 셀프 설치

noyecube — Mon, 25 Jul 2022 19:05:42 +0900

거실에 실링팬을 설치하였는데 만족도가 높아서 안방에도 방등 대신 실링팬을 셀프로 설치하며 남긴 기록입니다.

알리에서 가성비가 좋기로 소문난 SOVE 실링팬을 구매하여 설치하였습니다.

거실에 루씨에어 실링팬을 설치해 봤는데 천장형 선풍기 치고는 가격거품이 너무 심한 제품인 것 같아

안방에는 SOVE 실링팬을 설치한 것입니다.

1. 루씨에어 vs SOVE

루씨에어 실링팬은 52인치 제품이 약 46만 원인데 반해 SOVE 실링팬은 52인치가 약 13만 원으로 3배 이상 저렴합니다.

그런데 SOVE 실링팬과 동일한 제품이 우리나라에서 다른 브랜드 이름을 달고 30만원대에 팔고 있다는 사실에도 놀랐습니다. 그러므로 SOVE는 직구하시는 것을 추천합니다.

설치한 결과는 대만족입니다. 방 가운데 있던 주광색의 등은 별로 안썼는데 실링팬은 여름철에 많이 사용하게 됩니다.

나머지 작은방들도 도배 전에 보강을 해두었다면 작은 방에도 실링팬을 설치할 것 같습니다.

루씨에어에 비해 SOVE 단점은 다음과 같습니다.

천장브라켓 나사 홀 범위가 조금 좁습니다. 별도로 천장 보강을 안 했다면 목상에 고정을 해야 하는데 목상 간격과 브래킷의 홀 간격이 잘 안 맞네요.
설명서의 전선 커넥터가 없어(아래 사진 빨간 원) 별도의 커넥터를 사용해야 했습니다.
루씨에어는 혼자서도 작업할 수 있도록 천장에 모터들 임시로 걸어 둘 수 있는 금속고리가 있는데 SOVE는 보조 1명 없으면 모터 장착할 때 어렵습니다.
1단 스피드가 루씨에어에 비해 조금 더 빠릅니다. 살랑살랑 부는 약한 바람은 안됩니다.

SOVE 설명서 사진

2. SOVE 실링팬 설치

안방 천장에는 무거운 조명이 있던 자리라서 별도의 보강을 안해도 될 정도의 목재가 들어 있었습니다.

다만 평평한 합판이 아니고 각목 2개 였기 때문에 브래킷의 3개 구멍을 2개, 1개로 나눠서 나사를 박아야 했습니다.

한쪽 각목에 나사 2개를 박으면 나머지 1개 구멍이 옆 각목에 닿지 않아서 이 문제는 드릴로 기존 나사 홀 옆에 추가 타공으로 해결하였습니다.

천장 내 각목 위치(집마다 다를 수 있음)

집에 드릴과 드릴비트만 있으면 아래와 같이 임의의 위치에 타공 가능합니다.

드릴로 나사구멍 타공

아래 사진과 같이 총 4개의 나사로 고정하였습니다.

나사로 고정한 사진

모터 모듈 사진

날개를 장착하기 전에 무선 컨트롤러까지 연결 후 정상 동작 여부를 확인해야 합니다.

날개 장착 전 모습

날개를 고정하는 나사의 드라이버 홈이 생각보다 무른 편입니다. 그래서 날개의 홈을 이용하여 드라이버를 돌리기만 하면 나사가 손상되었습니다. 나사를 돌릴 때는 천장 쪽으로 드라이버를 밀면서 조여주면 됩니다.

날개 고정 사진

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

거실에 설치한 루씨에어 실링팬

주방후드 전동댐퍼 설치하기

noyecube — Tue, 5 Jul 2022 14:37:47 +0900

대부분의 아파트에 설치된 주방 후드 제조사는 하츠입니다만, 역류방지 역할을 하는 기본 댐퍼가 플라스틱 소재로 기밀성이 좋지 못하여 식사 시간대에 다른 집에서 후드를 가동하면 가동하지 않은 집에 냄새가 역류합니다.

이웃집의 고기 굽는 냄새, 된장찌개냄새, 생선구이냄새 등이 우리 집에 들어와서 우리 집 공기청정기까지 반응을 합니다.

30층이상 고층에 살 때는 비바람 몰아치는날 주방후드 배관으로 공기가 역류하여 기본 댐퍼가 바람에 펄럭거리며 마치 빗물이 후드로 떨어지는 듯한 소리가 났었습니다.

1. 전동댐퍼 소개

전동댐퍼는 전원을 켜면 댐퍼가 열렸다가 전원을 끄면 댐퍼가 닫히면서 공기의 이동을 차단하는 제품입니다.

힘펠 전동댐퍼를 많이 사용하는 것 같아서 힘펠 전동댐퍼를 구매하였습니다.

하츠 후드에 장착되어 있는 기본 댐퍼와 다르게 테두리가 고무로 되어 있어 기밀성이 좋습니다.

대부분의 아파트는 125파이 배관이라고 하여 100파이와 125파이 제품 중 125파이로 구입하였습니다.

전동댐퍼 사진

2. 전동댐퍼 설치 방법

주방후드 필터를 떼어내고 안쪽을 보면 플라스틱 박스가 보입니다.(컨트롤러 박스 사진 참조)

여기에 PCB 회로 등 컨트롤러가 위치합니다. 박스의 나사를 풉니다.

컨트롤러 박스

박스의 나사를 풀면 여기에 캐패시터가 하나 있는데 거기에 흰색선과 유색선이 각각 1개씩 꽂혀있습니다.

여기에 전동댐퍼의 흰색선과 유색선을 꽂고 기존에 꽂혀있던 선은 전동댐퍼선에 있는 커넥터에 꽂아주면 됩니다.

컨트롤러 배선 참고용

파란색 동그라미로 표시된 검정색의 네모난 상자 같은 부품이 캐패시터입니다.

분홍색과 흰색의 기존 선을 뽑았고 전동댐퍼의 흰색, 검정 선을 캐패시터에 꽂고 기존 선은 전동댐퍼선에 있는 커넥터에 연결하면 됩니다.

배선 연결 사진

배선작업 후에는 조립을 하지 말고 댐퍼가 정상적으로 동작하는지 On/Off 테스트를 해봅니다.

후드 위쪽의 공기가 빠져나가는 배관이 플라스틱 배관인데 시계방향으로 조이도록 되어 있습니다.

그런데 조금 풀려있어서 단단하게 조였습니다. 아마도 여기에서도 이웃집의 음식 냄새가 누출되었을 것 같습니다.

후드 배출 배관

주름관과 후드 배관의 기밀성 유지를 위해 안쪽 결합부위에 두꺼운 양면테이프를 붙이고 연결하였습니다.

양면 테이트 붙이기

바깥쪽은 은박 테이프로 밀봉하였습니다.

은박 테이프 밀봉 사진

이상으로 주방후드에 전동댐퍼를 장착하여 이웃집 음식 냄새를 차단하는 방법을 알아보았습니다.

요즘 뉴스기사를 보면 이웃집의 삼겹살 굽는 냄새 때문에 다른 집에서 민원을 넣는다는 내용이 있던데

처음부터 소비자의 입장에서 제품을 제대로 만들면 추가적인 비용과 노력을 들이지 않아도 될 텐데 아쉬운 부분입니다.

스마트 조명, 스마트스위치, IoT조명

noyecube — Tue, 5 Jul 2022 14:02:44 +0900

새로운 집으로 이사를 하면서 조명과 관련 전기공사는 셀프로 진행하기로 하였습니다.

향후 집 팔 때를 대비하여 인수인계 목적으로 남기는 포스팅입니다.

1. 조명 설계 고려사항

흰색 빛을 내는 주광색은 배제하고 주방은 주백색 나머지 공간은 전구색
독서, 작업 등 집중이 필요한 공간은 별도 조명 사용
다운라이트끼리의 간격은 15cm 또는 전체 벽면 길이 나누기 다운라이트의 수로 결정
거실, 주방 등 공용공간은 IoT 스위치를 연동하여 스마트폰으로 조작 가능하도록 설정
플리커프리, 절연컨버터 사양의 제품만 사용

고려 사항들을 반영하여 아래와 같이 평면도에 조명 위치를 표기하고 전기 기술자를 별도로 섭외하여 작업 요청하였습니다. 인테리어 회사에 턴키로 의뢰하는 것보다 결과물은 만족스럽고 조명 품질도 더 좋은데 비용은 많이 절약되었습니다.

평면도 및 조명 위치 표기

주방 싱크대 위쪽, 아일랜드 식탁 위쪽의 다운라이트 간격은 15cm로 하였고 벽에서는 25cm 또는 30cm를 띄웠습니다.

작은방들의 다운라이트는 방문을 여는 쪽이 통로 또는 책상 위치라서 2개씩 샤시 창틀 기준까지 띄워 타공 하였습니다.

노밧 IoT 스마트 컨트롤러는 개당 600W까지 연결 가능합니다.

다음 집에서 조명 설계를 한다면 커튼박스에 라인조명은 안 할 것 같습니다. 생각보다 전력소모가 높은 대신 잘 안 쓰게 되네요. 우물천장 안쪽에 8개의 다운라이트를 넣었는데 이 조명도 실제 켠 적이 거의 없네요.

2. 조명 제품 목록

조명 제품은 플리커프리, 절연컨버터 적용된 제품으로만 설치하였습니다.

LED 3인치 다운라이트 EL 5131 움푹 확산형 8W 플리커프리 주백색 17개
LED 3인치 다운라이트 EL 5131 움푹 확산형 8W 플리커프리 전구색 11개
LED 다운라이트 EL-9511 2인치 4W 매립조명 할로겐 COB 매입등 플리커프리 주백색 3개
LED 3인치 다운라이트 EL 5291 집중형 6W COB 매입등 플리커프리 전구색 8개
텔트론 오토온미니 히든센서 현관 재실감지기 레이더투시 센서
남영전구 LED T5 (광효율 105lm/w)

3. 벽 스위치 및 IoT 컨트롤러

노밧 광고는 아니지만 벽 스위치가 르그랑 제품군과 협업하여 출시되어 디자인이 예쁘고 품질이 좋아서 선택하였습니다.

Zigbee 방식이 아니고 WIFI 방식이라 별도의 라우터 설치 없이 집에 설치되어 있는 WIFI를 활용할 수 있는 점도 마음에 들었습니다. 벽 스위치에는 전선을 연결하지 않고 기존 스위치 위치에 장착만 하면 자가발전으로 전기를 생산하여 IoT 컨트롤러와 통신하며 전원 On/Off 동작을 합니다.

어플에 등록된 컨트롤러는 어플에서 다른 스위치 연동 가능합니다.

어플에 컨트롤러 연동 방법은 2가지, 스위치 연속 5번, 또는 컨트롤러버튼 직접 눌러 AP모드로 등록할 수 있습니다.

4. 컨트롤러 위치 기록

컨트롤러 퓨즈 교체 시, 기타 컨트롤러 유지보수 필요시 위치 파악을 위한 기록입니다.

4.1 현관

텔트론 오토온미니 히든센서 현관 재실감지기 레이더투시 센서가 장착되어 있습니다.

4.2 거실

월패드벽 좌측에 컨트롤러가 있고 소파 다운라이트 3개를 제어합니다.

우측의 컨트롤러는 커튼박스에 T5 조명을 제어합니다.

커튼박스의 전원선 중 흰색-빨강 배선은 전동커튼용 상시전원입니다.

소파벽

복도등 컨트롤러 1번은 우물박스 안쪽 주백색 다운라이트 8w x 8개를 제어합니다.

복도등 컨트롤러 2번은 복도 다운라이트 6w x 4개를 제어합니다.

복도 컨트롤러

거실 아트월은 우측 다운라이트에 컨트롤러가 있으며 6W x 2 개입니다.

아트월

거실우물은 간접조명으로 T5가 설치되어 있습니다. 소비전력은 70w입니다.

목공사장님께 틈을 더 넓게 해달라고 했으나 저렇게 해야 한다고 고집을 부려서 내버려 두었는데 결국 T5 넣을 때 잘 안 들어갔습니다. 나중에 우물천장 전체 다 뜯고 다시 하는 비용 200만 원 언더로 예상합니다.

컨트롤러는 사진의 동그라미입니다.

우물 간접 조명

4.3 주방

식탁등 옆 환기구에 컨트롤러 2개가 있습니다.

컨트롤러 1은 식탁등이고 컨트롤러 2는 아일랜드 위에 15cm 간격으로 설치된 2인치 주백색 4W x 3개입니다.

주방 컨트롤러

냉장고장 앞은 우측에 컨트롤러가 있습니다.

냉장고장 컨트롤러

싱크대는 아래 사진의 동그라미 안에 컨트롤러가 있습니다.

씽크대 컨트롤러

5. 조명 사진 모음

각 구역별 조명 사진입니다.

주방

거실 우물

거실 소파

거실 아트월

거실 우물 간접

공사 안내문 참고용

Ubuntu Server 20.04.4 C/C++ 개발환경

noyecube — Sun, 13 Mar 2022 22:42:03 +0900

1. putty 다운로드

- https://puttytray.goeswhere.com/

PuTTYTray

Minimizing to the system tray (on CTRL + minimize, always or directly on startup) Icons are customisable Blinks tray icon when a bell signal is received Configurable window transparency URL hyperlinking Portability: optionally stores session configuration

puttytray.goeswhere.com

2. 빌드 패키지 설치

sudo apt install gcc build-essential linux-headers-$(uname -r) git make cmake gnupg gperf zip curl exuberant-ctags graphviz cscope dos2unix bc

3. vim profile 설정

.vimrc 수정

set tagbsearch
set cindent
set autoindent
set smartindent
set enc=euc-kr
set incsearch
syntax on
filetype on
set hlsearch
set showmatch
set bs=2
set tabstop=4
colo delek
set nu
set shiftwidth=4
set visualbell
set ignorecase

/usr/share/vim/vim<version>/colors/delek.vim 수정

> Search의 ctermfg=NONE 을 ctermfg=Black 으로 변경 후 저장

4. Host Disk Mount

(물리서버)

> Samba 사용

(VMware)

> VM->Settings->Options->Shared Folders

> 마운트위치 /mnt/hgfs/<Shard Folder> 를 /home/<계정명>/ 하위에 Symbolic Link 생성

> ln -s /mnt/hgfs/<Shared Folder> /home/<계정명>/

> open-vm-tools로 재부팅 이후에도 공유 설정 유지하려면 systemd 등록 필요

> /etc/systemd/system/mnt-hgfs.mount 파일 생성 후 아래 내용 입력

[Unit]
Description=VMware mount for hgfs
DefaultDependencies=no
Before=umount.target
ConditionVirtualization=vmware
After=sys-fs-fuse-connections.mount

[Mount]
What=vmhgfs-fuse
Where=/mnt/hgfs
Type=fuse
Options=default_permissions,allow_other

[Install]
WantedBy=multi-user.target

> /etc/modules-load.d/open-vm-tools.conf 파일 생성 후 아래 내용 입력(이미 존재할 경우 마지막 줄 추가

fuse

> 시스템 서비스에 등록 : sudo systemctl enable mnt-hgfs.mount

> "fuse" 모듈 로드 : sudo modprobe -v fuse

> sudo systemctl start mnt-hgfs.mount 또는 재부팅

(VirtualBox)

> 설정->공유폴더

> $home에 <폴더명A> 생성 후

> sudo mount -t vboxsf <HOST공유폴더명> <폴더명A>

5. SSH Port 변경

> /etc/ssh/sshd_config 내 "#Port 22"를 "Port <변경포트>"로 변경 저장 후 "service ssh restart" 명령

6. Time Zone 확인/변경

> timedatectl

> ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

[xingAPI][차트 데이터 수집기 만들기](6) 주식마스터 조회

noyecube — Thu, 18 Nov 2021 00:45:01 +0900

증권사 API로 차트 데이터를 수집하려면 종목코드를 알아야 하는데 전 종목에 대한 종목코드는 주식마스터조회 API를 호출하여 얻을 수 있습니다. 이베스트투자증권의 xingAPI의 TR 에는 t8430(주식종목조회), t8436(주식종목조회 API용), t9945(주식마스터조회 API용)가 있는데 그중 t8430(주식종목조회)를 이용하여 전체 주식종목(주식마스터)을 조회해 보겠습니다.

1. 주식마스터 API 사용방법 알아보기

먼저 DevCenter를 통해 t8430의 속성을 확인합니다. 초당 2회 조회할 수 있고 Block Mode로 응답이 온다고 되어 있네요. Request는 t8430Inblock에 속성을 설정하여 전송하고 응답은 t8430OutBlock에 담겨서 옵니다. 1개 종목의 정보가 t8430OutBlock 1개의 메모리 공간에 담겨 오고, 종목이 3200개면 T8430OutBlock이 3200개만큼 할당되어 옵니다.

Block Mode이면 이 OutBlock이 메모리공간에 연속적으로 할당되어 하나의 Block으로 응답이 오니까 수신 패킷의 Data사이즈를 sizeof(t8430OutBlock)으로 나누면 몇 개의 종목정보를 수신했는지 알 수 있습니다.

DevCenter의 t8430 속성

아래는 실제 API 호출에 필요한 헤더파일 t8430.h의 내용입니다.

t8430.h

이전 글에서 xingAPI 응답메시지 수신을 담당하는 CDlgXingMsg 스레드를 생성하고 MainLoop 역할을 할 CThreadLooper 스레드를 생성하였습니다. CThreadLooper에서 Request, CDlgXingMsg에서 Response를 담당하는 기본 구조는 완성되었지만 수신데이터의 원활한 처리를 위하여 CThreadDequeue라는 이름의 스레드를 추가 생성하겠습니다. CDlgXingMsg에서 수신패킷을 바로 처리하는 것이 아니라 CDlgXingMsg는 받은 패킷을 메모리 복사를 통해 다른 버퍼에 저장하고 Queue에 Push 한 후 CThreadDequeue에 패킷 수신을 알리는 이벤트를 발생시킵니다. 그럼 CThreadDequeue는 EVENT_WAIT 상태에서 깨어나 Queue의 데이터를 Pop 하여 처리하게 됩니다. 일종의 Producer-Consumer 구조가 되는 것이죠.

그리고 2종의 Data Structure를 추가로 정의합니다. 각 TR의 Property와 Method를 관리할 클래스 CDataStore와 비동기 데이터 처리를 관리하는 클래스 CAsyncControl입니다.

2. CDataStore 자료 구조 정의

"t8430.h"헤더파일의 t8430OutBlock을 그대로 TST__DS_T8430_OUT_OBJ로 정의하였습니다.

그리고 주식 전체 종목이 3200개 정도 되는 것을 파악했으니 #define _COUNT_OF_TST_DS_T8430_OUT_OBJ (3300)으로 설정하고 TST_DS_STOCK_MASTER를 정의하였습니다. 추가로 Hash Map 구조체를 정의하였습니다. 3000개의 종목 중 3000번째 배열에 저장되어 있는 종목코드를 찾기 위해 3000번 비교하지 않도록 Map에 <종목코드, 배열인덱스>로 저장해 두고 종목코드만 넣으면 해당 종목의 인덱스를 바로 반환받을 수 있게 합니다.

CDataStore 코드

3. CAsyncControl 정의

TR을 Request 함수를 호출하면 Request 함수는 Request ID를 반환하고 종료됩니다. 서버 응답은 일정시간 경과 후 해당하는 MSG_ID를 통해 Callback 함수의 파라미터로 넘어옵니다. Request와 Response가 sync가 아닌 async로 처리되고 있기 때문에 아래와 같이 관련 자료구조를 정의하였습니다. 위 CDataStore의 TST_DS_STOCK_MASTER의 TEN_DataState는 데이터가 요청 중인지, 저장완료상태인지, 비어있는지 등을 나타냅니다. 이 변수를 활용하면 굳이 비동기처리를 하지 않아도 Polling 방식으로 해당 메모리를 주기적으로 감시하며 데이터 수신여부를 알 수 있기도 합니다. Polling 방식과 Callback Interrupt 방식 중 어떤 방식으로 응답을 확인할 것인지는 해당 TR을 Request 하는 Caller의 선택입니다. Callback Function Pointer를 설정하지 않으면 Caller가 Polling을 하고 있으면 되고, 아니라면 Callback Function이 호출될 때까지 대기하고 있으면 됩니다.

4. t8430 조회 방법

t8430 TR 조회를 예로 설명하겠습니다.

CTreadLooper의 MainState가 REQUEST_MASTER 면 t8430 TR 조회를 합니다. 이를 위해 int iRequest_T8430(DATASTORE::TEN_DS_MARKET_CAT enMkCat, ASYNCCONTROL::PTST_TR_CALLBACK pstCb)이라는 별도의 Helper Function을 작성하였는데 첫 번째 파라미터로 코스피, 코스닥 구분값을 넣고 두 번째 파라미터로 콜백구조체 포인터를 넘겨줍니다. TST_TR_CALLBACK의 pvCbFunc는 수신데이터를 처리할 함수포인터, pvPreCbFunc는 수신데이터처리 함수 호출 전 호출하는 함수포인터, pvPostCBFunc는 수신데이터 처리 함수 호출 후 호출하는 함수포인터입니다. pvPreCbFunc와 pvPostCbFunc를 통해 비동기 처리를 원활하게 할 수 있습니다. stParams의 Opaque 변수에는 Caller와 Callee(수신데이터 처리 함수) 간 약속한 필요한 값을 넘겨주면 됩니다.

조회 코드

xingAPI Request() 호출이 성공하면 0 < RequestID < 256 의 값을 반환하는데 이 값을 인덱스로 하여 CAsyncControl의

TST_TR_REQUEST_STATUS[256];에 Request에 사용한 TST_TR_REQUEST_ITEM을 임시 저장하고 있다가 Callback에 넘겨주는 것입니다.

t8430 API 호출 코드

Request 호출이 정상적으로 처리되면 CDlgXingMsg의 OnMsgIdXmReceiveData에 수신데이터가 넘어옵니다.

그럼 이 수신데이터가 어떤 Request의 응답인지 알아야겠죠. LPARAM이 RECEVE_PACKET구조체 타입이기 때문에 RECEVE_PACKET::nRqID값을 통해 Request ID를 알 수 있고 이 Request ID에 해당하는 Request ITEM은 CAsyncControl의 TR_REQUEST_STATUS ARRAY에 저장해 뒀으므로 거기서 REQUEST ITEM을 꺼낸 뒤 수신한 WPARAM과 LPARAM을 REQUEST_ITEM::pXingMsg에 붙여서 Queue에 PUSH 하면 됩니다. Push 후에 SetEvent(m_hEvent_Wakeup_ThreadDequeue) 호출을 하면 Dequeue 스레드가 깨어나 Queue에 뭐가 들어왔나 확인 후 처리함수를 호출하게 됩니다.

응답 수신부 코드

ThreadDequeue에 이벤트가 발생하면 Queue를 뒤적여서 수신데이터를 꺼내고 어떤 MSG_ID를 가진 패킷인지 확인 후 ProcessMsgxxxx()를 호출합니다.

데이터 큐 코드

아까 CThreadLooper에서 iRequest_t8430() 호출할 때 Callback parameter로 vTRCb_T8430_UpdateMaster를 설정했죠. 그럼 pvPreCbFunc, vTRCb_T8430_UpdateMaster, pvPostCbFunc 순으로 호출됩니다.

수신데이터 처리 콜백 호출

vTRCb_T8430_UpdateMaster()에서는 t8430OutBlock의 수만큼 for() 구문을 돌면서 주식마스터 구조체에 데이터를 저장합니다. 주식마스터에 저장을 끝내면 Hash Map에도 <종목코드, 주식마스터테이블 인덱스>를 저장해 줍니다.

/*
 * @fn vTRCb_T8430_UpdateMaster
 * @ASYNCCONTROL::PTST_PARAMS_TR_CALLBACK::pOpaque1: PTST_DS_STOCK_MASTER
 * @ASYNCCONTROL::PTST_PARAMS_TR_CALLBACK::pOpaque2: PTST_DS_STOCK_MASTER_INDEX_MAP
*/
void vTRCb_T8430_UpdateMaster(ASYNCCONTROL::PTST_TR_REQUEST_ITEM pRq, ASYNCCONTROL::PTST_PARAMS_TR_CALLBACK pParams)
{
	PTST_DS_STOCK_MASTER pstMaster;
	PTST_DS_STOCK_MASTER_INDEX_MAP pstIndex;
	PTST__DS_T8430_OUT_OBJ p;
	LPRECV_PACKET pRcv;
	LPt8430OutBlock pOut;
	int iCount;	// number of outblocks received
	TCHAR tchBuf[16 * sizeof(TCHAR)];
	const int ciSLOTS = sizeof(TST_DS_STOCK_MASTER::astStockMaster) / sizeof(TST__DS_T8430_OUT_OBJ);	// number of slots(TST__DS_T8430_OUT_OBJ) in TST_DS_STOCK_MASTER

	DPRINTF("ENTER\n");

	if (NULL == pRq) { return; }

	if (NULL == (pRq->pXingMsg)) { return; }
	
	if (NULL == pParams) { return; }

	if ((NULL == pParams->pOpaque1) || (NULL == pParams->pOpaque2)) { return; }

	pstMaster = (PTST_DS_STOCK_MASTER)(pParams->pOpaque1);
	pstIndex = (PTST_DS_STOCK_MASTER_INDEX_MAP)(pParams->pOpaque2);

	pRcv = (LPRECV_PACKET)(pRq->pXingMsg->lParam);
	if (_tcsncmp(pRcv->szBlockName, NAME_t8430OutBlock, _countof(NAME_t8430OutBlock)) != 0) {
		return;
	}

	/* TODO: check datastate , if not empty, clear memory and map, ??
	*/
	/* Empty HashMap */
	AcquireSRWLockExclusive(&(pstIndex->srwlock));
	pstIndex->mapIndexSH.RemoveAll();
	pstIndex->mapIndexEXP.RemoveAll();
	ReleaseSRWLockExclusive(&(pstIndex->srwlock));

	/* Init Memory */
	AcquireSRWLockExclusive(&(pstMaster->srwlock));
	pstMaster->enState = TEN_DataState::enState_SAVING;
	GetLocalTime(&(pstMaster->stTimeLastUpdate));
	pstMaster->wCountTotal = 0;
	pstMaster->wCountKOSPI = 0;
	pstMaster->wCountKOSDAQ = 0;
	p = pstMaster->astStockMaster;
	for (int i = 0; i < ciSLOTS; i++) {
		AcquireSRWLockExclusive(&(p[i].srwlock));
		ZeroMemory(p[i].tchHname, sizeof(TST__DS_T8430_OUT_OBJ::tchHname));
		ZeroMemory(p[i].tchShcode, sizeof(TST__DS_T8430_OUT_OBJ::tchShcode));
		ZeroMemory(p[i].tchExpcode, sizeof(TST__DS_T8430_OUT_OBJ::tchExpcode));
		p[i].enStockCat = TEN_DS_STOCK_CAT::enST_UNKNOWN;
		p[i].lUplmtprice = 0;
		p[i].lDnlmtprice = 0;
		p[i].lJnilclose = 0;
		p[i].lMemedan = 0;
		p[i].lRecprice = 0;
		p[i].enMarketCat = TEN_DS_MARKET_CAT::enMK_UNKNOWN;
		ReleaseSRWLockExclusive(&(p[i].srwlock));
	}
	ReleaseSRWLockExclusive(&(pstMaster->srwlock));

	iCount = pRcv->nDataLength / sizeof(t8430OutBlock);
	pOut = (LPt8430OutBlock)pRcv->lpData;

	AcquireSRWLockExclusive(&(pstMaster->srwlock));
	for (int i = 0; i < iCount; i++) {
		if (i >= ciSLOTS) {
			DPRINTF("WARN] Out of memory space. Mem:[%d], Data:[%d]\n", ciSLOTS, iCount);
			break;
		}
		AcquireSRWLockExclusive(&(p[i].srwlock));
		_tcsncpy_s(p[i].tchHname, _countof(TST__DS_T8430_OUT_OBJ::tchHname), pOut[i].hname, _countof(t8430OutBlock::hname));	/* string 20 */
		_tcsncpy_s(p[i].tchShcode, _countof(TST__DS_T8430_OUT_OBJ::tchShcode), pOut[i].shcode, _countof(t8430OutBlock::shcode));	/* string 6 */
		_tcsncpy_s(p[i].tchExpcode, _countof(TST__DS_T8430_OUT_OBJ::tchExpcode), pOut[i].expcode, _countof(t8430OutBlock::expcode));	/* string 12 */
		tchrTrim_s(p[i].tchHname, sizeof(TST__DS_T8430_OUT_OBJ::tchHname));
		tchrTrim_s(p[i].tchShcode, sizeof(TST__DS_T8430_OUT_OBJ::tchShcode));
		tchrTrim_s(p[i].tchExpcode, sizeof(TST__DS_T8430_OUT_OBJ::tchExpcode));

		if ('0' == pOut[i].etfgubun[0])	/* string 1 */
			p[i].enStockCat = TEN_DS_STOCK_CAT::enST_NORMAL;
		else if ('1' == pOut[i].etfgubun[0])
			p[i].enStockCat = TEN_DS_STOCK_CAT::enST_ETF;
		else if ('2' == pOut[i].etfgubun[0])
			p[i].enStockCat = TEN_DS_STOCK_CAT::enST_ETN;
		else {
			; /* should never reach here */
		}

		if ('1' == pOut[i].gubun[0])	/* string 1 */
			p[i].enMarketCat = TEN_DS_MARKET_CAT::enMK_KOSPI;
		else if ('2' == pOut[i].gubun[0])
			p[i].enMarketCat = TEN_DS_MARKET_CAT::enMK_KOSDAQ;
		else {
			;	/* should never reach here */
		}

		ZeroMemory(tchBuf, sizeof(tchBuf));	/* long 8 */
		_tcsncpy_s(tchBuf, _countof(tchBuf), pOut[i].uplmtprice, _countof(t8430OutBlock::uplmtprice));
		p[i].lUplmtprice = _ttoi(tchBuf);

		ZeroMemory(tchBuf, sizeof(tchBuf));	/* long 8 */
		_tcsncpy_s(tchBuf, _countof(tchBuf), pOut[i].dnlmtprice, _countof(t8430OutBlock::dnlmtprice));
		p[i].lDnlmtprice = _ttoi(tchBuf);

		ZeroMemory(tchBuf, sizeof(tchBuf));	/* long 8 */
		_tcsncpy_s(tchBuf, _countof(tchBuf), pOut[i].jnilclose, _countof(t8430OutBlock::jnilclose));
		p[i].lJnilclose = _ttoi(tchBuf);

		ZeroMemory(tchBuf, sizeof(tchBuf));	/* long 8 */
		_tcsncpy_s(tchBuf, _countof(tchBuf), pOut[i].recprice, _countof(t8430OutBlock::recprice));
		p[i].lRecprice = _ttoi(tchBuf);

		ZeroMemory(tchBuf, sizeof(tchBuf));	/* string 5 */
		_tcsncpy_s(tchBuf, _countof(tchBuf), pOut[i].memedan, _countof(t8430OutBlock::memedan));
		tchrTrim_s(tchBuf, sizeof(tchBuf));
		p[i].lMemedan = _ttoi(tchBuf);

		ReleaseSRWLockExclusive(&(p[i].srwlock));

		if (TEN_DS_MARKET_CAT::enMK_KOSPI == p[i].enMarketCat) {
			pstMaster->wCountKOSPI++;
		}
		else if (TEN_DS_MARKET_CAT::enMK_KOSDAQ == p[i].enMarketCat) {
			pstMaster->wCountKOSDAQ++;
		}

		pstMaster->wCountTotal++;
	}

	pstMaster->enState = TEN_DataState::enState_VALID;
	ReleaseSRWLockExclusive(&(pstMaster->srwlock));

	AcquireSRWLockExclusive(&(pstIndex->srwlock));
	AcquireSRWLockExclusive(&(pstMaster->srwlock));
	for (int i = 0; i < pstMaster->wCountTotal; i++) {
		pstIndex->mapIndexSH.SetAt(p[i].tchShcode, i);
		pstIndex->mapIndexEXP.SetAt(p[i].tchExpcode, i);
	}
	ReleaseSRWLockExclusive(&(pstMaster->srwlock));
	ReleaseSRWLockExclusive(&(pstIndex->srwlock));

	DPRINTF("LEAVE\n");
	return;
}

수신 패킷 처리가 끝나면 동적으로 할당한 메모리를 아래 함수 호출을 통해 메모리 해제 해줍니다.

메모리 해제 코드

메모리 데이터를 파일로 저장하는 덤프함수를 아래와 같이 작성하여, t8430 수신 완료 후 호출해 보았습니다.

수신 데이터 덤프 코드

실제 실행 결과

로그인 완료 후 "수집 시작"을 누르니 디스크에 덤프파일이 생겼네요. t8430 주식마스터조회 성공입니다.

[xingAPI][차트 데이터 수집기 만들기](5) 작업 스레드 생성

noyecube — Thu, 14 Oct 2021 17:55:12 +0900

이전 글에서 차트 데이터 수집기 개발을 위한 다이얼로그 화면 구성, 설정값 내부 변수 저장, 로그인 처리를 하였습니다.

이번 포스팅에서는 수집상태 화면을 완성하기 전에 내부에 작업 스레드를 생성하고 주식마스터 테이블을 생성 후 주식종목조회 TR을 이용하여 전체 주식종목을 메모리에 로딩해 보겠습니다.

1. 작업 스레드 생성하기

메인 다이얼로그에서 수집작업을 수행하면 코드가 실행되는 동안 GUI가 Freezing 상태가 되기 때문에 별도의 Worker Thread를 생성하도록 하겠습니다. MFC에서는 UI Thread와 Worker Thread를 생성할 수 있습니다. MFC에서의 스레드에 대한 정보는 아래 포스팅을 참고하세요.

2023.12.10 - [프로그래밍/C | C++] - [MFC] MFC 스레드 예제

[MFC] MFC 스레드 예제

이번 포스팅에서는 윈도 MFC 환경에서 사용가능한 두 가지 타입의 스레드에 대해 알아보고 생성/동기화/종료 방법을 예제를 통해 알아보겠습니다. 리눅스 환경에서 thread를 사용해 보신 분들은 pt

blog.noyecube.com

클래스명을 CThreadLooper라고 이름 짓고 아래와 같이 기본 뼈대 코드를 작성 후 App의 Init에서 Thread를 생성해 주면 UINT ThreadLooper()가 메인 App의 스레드에서 분리되어 별도 Thread로 실행됩니다.

Thread 생성 파라미터로 theApp 의 포인터를 넘겨주고, 작업 동기화를 위한 이벤트 핸들을 하나 생성하여 초기화를 해주면 됩니다. 이 이벤트 핸들의 조작을 통하여 ThreadLooper()를 실행/정지시킬 수 있습니다.

아래 그림과 같이 기본 코드 작성 후 AfxBeginThread로 실제 스레드를 생성합니다.

스레드가 생성되면 Loop 진입 후 WaitForSingleObject()에서 SUSPENDED 상태로 대기하게 됩니다.

스레드 클래스 헤더

스레드 클래스 구현부

스레드 생성 코드는 아래와 같이 작성합니다.

// datacollector.h 에 아래 구문 추가
#include "CThreadLooper.h"

CThreadLooper m_ThreadLooper;
CWinThread* m_pThreadLooper;	// 생성자에서 m_pThreadLooper = NULL 로 초기화해주세요.

// datacollector.cpp 의 InitDialog()에 아래 구문 추가

m_pThreadLooper = AfxBeginThread(m_ThreadLooper.ThreadLooper, (void*)&theApp);
if (NULL == m_pThreadLooper) {
	AfxMessageBox(_T("AfxBeginThread ThreadLooper Error.\nQuit Program."));
}

이제 생성한 작업스레드 내부에서 수집작업을 어떤 단계로 진행할 것인지에 대하여 구조를 잡을 차례입니다.

큰 맥락에서 각 상태를 정의하고 그에 맞는 뼈대코드를 작성하여 틀을 잡습니다.

작업 스레드가 생성되면 이벤트 대기 상태에 머무르게 됩니다. 이 때 데이터 수집 명령을 받으면 관련 메모리 초기화 후 주식마스터테이블을 받습니다. 그다음에 데이터 수집 단계를 시작하여 주식마스터테이블에서 수집 대상 종목을 가져와서 수집시작일-수집종료일에 해당하는 데이터 수집 작업을 수행합니다. 이때 사용자가 일시정지/작업중단을 명령하거나 수집 완료가 되면 다시 이벤트 대기상태로 빠집니다.

state diagram

위 상태도를 반영하여 추가 코드를 작성하였습니다.

헤더 파일에 메인스테이트, 서브스테이트를 정의하고 STATE 관리를 위한 TST_STATE 구조체 정의, 그리고 Thread 상태를 관리할 Thread Control Block 구조체를 정의하였습니다. 큰 틀에서 생각나는 대로 적어둔 것이고 코드 작성중에 얼마든지 변경될 수 있는 상태입니다.

스테이트 정의

lRetSleepTime 변수는 thread sleep 타임을 결정하거나 다음 state로의 전이를 결정할 때 사용할 변수입니다.

증권사 서버로의 데이터 요청/수신이 비동기적으로 이루어지고 각 TR마다 초당/10분당 요청할 수 있는 횟수 제한이 있기 때문에 Request이후에 어느정도 대기가 필요한 경우에는 이 변수값을 조정하며 Thread의 Sleep Time을 결정합니다.

첫 상태는 아무 이벤트가 없는 상태, EVENT_WAIT상태이기 때문에 이벤트 핸들을 초기화해주고, STATE변수를 EVENT_WAIT으로 설정해 줍니다. 그다음에 Thread Loop가 시작되면 WaitForSingleObject에서 이벤트를 대기하는 상태로 스레드 대기 상태가 됩니다.

EVENT_WAIT상태에서는 이전 작업 계속 또는 첫 작업 시작에 의한 INIT 상태로의 전이가 가능하기 때문에 EVENT_WAIT에서 다음 상태로 넘어갈 때는 Old State값을 체크하여 INIT으로 갈지, 이전 상태로 돌아갈지를 결정합니다.

INIT 상태에서는 메모리초기화와 주식마스터테이블 수신을 하기로 하였는데 이를 위하여 SUB State를 정의해 두었습니다.

QUIT은 데이터 수집작업이 완료되면 넘어오는 일시적인 상태인데 여기서 STATE를 Thread가 처음 생성될 때 기준으로 초기화를 해주고 이벤트 역시 Reset 해줍니다.

스테이트 머신 구현부

이상으로 차트데이터 수집을 위하여 별도의 작업 스레드를 생성하고 스테이트머신 방식으로 코드를 작성하는 예제를 알아보았습니다.

[xingAPI][차트 데이터 수집기 만들기](4) 데이터 수집 설정 기능

noyecube — Tue, 12 Oct 2021 23:48:54 +0900

이번 포스팅에서는 차트데이터 수집에 필요한 옵션 설정 기능을 만들어 보겠습니다.

1. 수집 옵션 설정화면

주식마스터 조회 API 호출 시 코스피, 코스닥을 선택하여 조회할 수 있게 되어 있어서 전종목, 코스피, 코스닥, 사용자지정 개별 종목코드를 선택할 수 있도록 하였습니다.

데이터 종류는 틱 데이터, 1분봉 데이터, 일봉 데이터를 설정할 수 있도록 하였습니다.

그리고 수집 기간과 저장 경로를 설정할 수 있도록 하였습니다.

수집 옵션 설정 화면 부분

2. 화면 컨트롤 속성 설정 방법

수집 종목 선택에 라디오 버튼을 사용했는데 라디오 버튼을 그룹으로 묶으려면 탭 순서를 연속된 번호로 지정해 주어야 합니다. 리소스 뷰어에서 메인 대화창을 열고 ctrl+D 버튼을 누르면 아래와 같이 탭 순서가 표기됩니다. 아래 그림에서는 연속된 번호로 지정된 것을 확인할 수 있습니다. 연속 번호로 지정되어 있지 않으면 마우스를 순서대로 클릭하여 다시 연속된 순번의 탭 번호를 가질 수 있도록 해줍니다.

탭스탑 순서 설정 화면

컨트롤의 리소스 ID, 속성, 변수는 아래 표를 참고하여 설정합니다.

Label	Control	ID	Property	Variable
전체	RadioButton	IDC_CFG_RADIO_ALL	Group::True	CButton::m_ctrRadioAll, int m_iRadioSelect
코스피	RadioButton	IDC_CFG_RADIO_KOSPI		CButton::m_ctrRadioKospi
코스닥	RadioButton	IDC_CFG_RADIO_KOSDAQ		CButton::m_ctrRadioKosdaq
사용자지정 종목코드	RadioButton	IDC_CFG_RADIO_USER		CButton::m_ctrRadioUser
사용자지정 종목코드	EditBox	IDC_CFG_EDIT_USER		CEdit::m_ctrEditUserInput
틱	CheckBox	IDC_CFG_CHECK_TICK		CButton::m_ctrChkTick
분봉	CheckBox	IDC_CFG_CHECK_MIN		CButton::m_ctrChkMin1
일봉	CheckBox	IDC_CFG_CHECK_DAY		CButton::m_ctrChkDay
수집기간시작	Date-Time	IDC_DATETIMEPICKER_START		CDateTimeCtrl::m_ctrDateStart
수집기간종료	Date-Time	IDC_DATETIMEPICKER_END		CDateTimeCtrl::m_ctrDateEnd
수집경로	EditBox	IDC_CFG_EDIT_DIR		CEdit::m_ctrEditDir
경로변경	Button	IDC_CFG_BTN_CHANGE		CButton::m_ctrBtnDirChange
폴더열기	Button	IDC_CFG_BTN_OPEN		CButton::m_ctrBtnOpenFolder
수집시작	Button	IDC_BTN_START		CButton::m_ctrBtnStart
일시정지	Button	IDC_BTN_PAUSE		CButton::m_ctrBtnPause
수집종료	Button	IDC_BTN_QUIT		CButton::m_ctrBtnQuit

설정 내용 관리를 위한 구조체를 아래와 같이 정의하였습니다. "수집시작" 버튼을 누를 때 설정창 컨트롤의 내용을 아래 구조체에 저장합니다.

TST_CONFIG_INFO 구조체

아래와 같이 구조체 변수에 설정값을 저장합니다.

구조체에 설정값 저장 코드

아래 화면처럼 설정 후 로그인 시 사용자가 선택한 옵션이 구조체 변수에 잘 저장된 것을 확인할 수 있습니다.

메모리 값 출력 화면

수집한 차트 데이터의 기본 저장 경로는 프로그램 실행경로 하위에 "repo" 폴더로 하겠습니다.

저장경로 코드와 실제 생성된 폴더

"경로변경", "폴더열기" 버튼의 이벤트 핸들러에 CFolderPickerDialog와 ShellExecute를 사용하여 코드를 입력하였습니다.

코드에서 윈도우 탐색기를 실행하는 방법

여기까지 데이터 수집에 필요한 설정 사항 모두가 TST_CONFIG_INFO 구조체 변수에 저장되도록 마무리되었습니다.

[xingAPI][차트 데이터 수집기 만들기](3) 로그인/로그아웃

noyecube — Mon, 4 Oct 2021 22:56:53 +0900

MFC기반의 xingAPI 프로그램에서 로그인과 로그아웃 하는 방법을 알아보겠습니다.

이전 포스팅에서 그려둔 화면을 이용하여 로그인 코드를 작성해 보겠습니다. 화면을 만드는 방법은 아래의 이전 포스팅을 참고해 주세요.

2021.10.01 - [트레이딩/시스템트레이딩] - [xingAPI][차트 데이터 수집기 만들기](1) 프로젝트 생성 및 화면 만들기

1. MFC 컨트롤 설정하기

아래 사진에서 빨간색 박스에 해당하는 부분을 설정하는 방법입니다.

로그인에 필요한 아이디, 비밀번호, 공인인증번호, 접속서버(실서버, 모의서버) 정보를 입력받아 로그인을 하거나 로그아웃을 할 수 있는 인터페이스입니다.

컨트롤의 리소스 ID, 속성, 변수는 아래 표를 참고하여 설정합니다.

Label	Control	ID	Property	Variable
ID	EditBox	IDC_EDIT_LOGIN_ID	password:True	CEditBox::m_ctrEditLoginId
비밀번호	EditBox	IDC_EDIT_LOGIN_PASSWD	password:True	CEditBox:: m_ctrEditLoginPasswd
공인인증	EditBox	IDC_EDIT_LOGIN_CERT	password:True	CEditBox::m_ctrEditLoginCert
접속서버	ComboBox	IDC_COMBO_LOGIN_SERVER	type:DropList, Sort:False	CComboBox:: m_ctrComboServer
Login	Button	IDC_BUTTON_LOGIN	-	CButton::m_ctrBtnLogin
Logout	Button	IDC_BUTTON_LOGOUT	-	CButton::m_ctrBtnLogout
STAT_0	StatusBar	IDC_STATUSBAR_0	SBPS_NORMAL	CStatusBar::m_statusBar[0]
STAT_1	StatusBar	IDC_STATUSBAR_1	SBPS_NORMAL	CStatusBar::m_statusBar[1]
STAT_2	StatusBar	IDC_STATUSBAR_2	SBPS_NORMAL	CStatusBar::m_statusBar[2]

버튼을 클릭하면 아래의 이벤트핸들러가 호출됩니다.

이벤트 핸들러 코드

Combobox는 CdatacollectorDlg::OnInitDialog()에 아래와 같이 초기화 코드를 작성합니다.

콤보박스 설정 코드

프로그램 실행 시 Combobox에서 실서버, 모의서버를 선택할 수 있습니다.

콤보박스 동작 화면

2. 로그인 처리하기

로그인 상태 관리를 위해 로그인시간, 실서버/데모서버 여부를 저장해 둘 구조체를 하나 정의합니다.

namespace DATACOLLECTOR
{
	typedef struct _USER_LOGIN_INFO {
		SRWLOCK srwlock;
		BOOL boISLogin;
		BOOL boIsDemoServer;
		SYSTEMTIME stSysTimeTag;
		TCHAR tchId[64];
		TCHAR tchPasswd[64];
		TCHAR tchCert[64];
		_USER_LOGIN_INFO() {
			ZeroMemory(this, sizeof(struct _USER_LOGIN_INFO));
			InitializeSRWLock(&srwlock);
		}
	} TST_USER_LOGIN_INFO, * PTST_USER_LOGIN_INFO;
}

로그인은 아래와 같이 Connect() 함수 호출 후 Login() 함수를 호출합니다.

모의거래, 실거래 구분하여 연결함수 호출

	m_ctrEditLoginId.GetWindowTextA(cstrId);
	m_ctrEditLoginPasswd.GetWindowTextA(cstrPasswd);
	m_ctrEditLoginCert.GetWindowTextA(cstrCert);
	cstrId.Trim();
	cstrPasswd.Trim();
	cstrCert.Trim();

	boRet = theApp.m_xing.Login(theApp.m_pDlgXingMsg->GetSafeHwnd(), cstrId, cstrPasswd, cstrCert, 0, FALSE);

성공/실패 여부는 afx_msg LRESULT CDlgXingMsg::OnMsgIdXmLogin(WPARAM wParam, LPARAM lParam)에서 확인하여 처리합니다. wParam 값이 0이면 로그인 성공, 이외의 값이면 로그인 실패입니다.

아래와 같이 로그인이 되면 관련 컨트롤을 잠그고 상태 바에 로그인 여부와 접속시간을 표기하였습니다.

모의서버 로그인에 성공한 화면

로그인이 성공하면 TR, Real API를 호출하여 사용할 수 있습니다.

[xingAPI][차트 데이터 수집기 만들기](2) 프로젝트 셋업

noyecube — Mon, 4 Oct 2021 02:11:01 +0900

이전 포스팅에서 MFC 프로젝트 생성과 Dialog 화면 설계를 마쳤습니다. 이번 포스팅에서는 MFC 프로젝트에서 xingAPI를 사용할 수 있도록 xingAPI를 셋업 하는 방법을 알아보겠습니다.

이전 글 링크:

2021.10.01 - [트레이딩/시스템트레이딩] - [xingAPI][차트 데이터 수집기 만들기](1) 프로젝트 생성 및 화면 만들기

1. xingAPI 프로젝트 셋업

내가 작성하는 코드에서 xingAPI를 사용하기 위해서는 xingAPI에서 제공하는 DLL을 내 프로젝트에 로딩하고

xingAPI 헤더파일들을 내 프로젝트에 포함시켜야 합니다.

xingAPI의 DLL은 Debug, Release 두 가지 버전으로 구분되어 제공됩니다.

각각 다운로드하여서 비교해 보면 아래와 같이 DEBUG버전에는 파일 뒤에 d 가 붙어있고 xingAPI.dll 용량도 더 큽니다.

Debug-Release DLL 차이점

비주얼스튜디오에서 Debug 모드로 빌드하면 Debug 버전 DLL, Release 모드로 빌드하면 Release 버전 DLL이 링크될 수 있도록 합니다. 아래와 같이 프로젝트의 Debug 폴더에 "xingdlldbg" 폴더 생성 후 Debug 버전 DLL 파일들을 복사, Release 폴더에 "xingdllrel" 폴더 생성 후 Release 버전 DLL 파일들을 복사합니다.

프로젝터 경로에 "xinghdr" 폴더 생성 후 주식차트와 관련된 TR의 헤더파일들을 복사합니다.

그리고 이 헤더파일들을 일괄적으로 include 할 수 있는 "allxingheaders.h" 파일을 생성하여 그 파일에 xinghdr에 복사한 헤더파일들을 include 합니다.

그리고 xingAPI 폴더의 예제소스코드를 뒤져보면 Helper.h, Helper.cpp가 있습니다.

그 파일들도 프로젝트에 복사합니다. IXingAPI.h 파일도 복사합니다.

위에서 추가한 파일들을 비주얼스튜디오의 솔루션 익스플로러에 추가해 줍니다.

윈도우 탐색기 폴더 구조와 솔루션 탐색기 구조

allxingheaders.h

2. xingAPI 빌드에러 수정하기

기본으로 복사한 파일을 빌드하면 문자열 관련 함수에서 threadsafe 에러가 발생합니다.

threadsafe 경고를 무시하는 방법도 있지만 그 함수들을 _s 가 붙은 threadsafe 함수로 변경해 줍니다.

IxingAPI.h 수정

3. Debug, Release 모드에 따른 DLL 분기 설정

Helper.cpp 파일의 GetModuleDir() 함수에 Debug, Release DLL 분기 코드를 작성해 줍니다.

컴파일 단계에서 Debug 모드이면 xingdlldbg, Release 모드이면 xingdllrel 하위의 DLL를 로드하게 됩니다.

Helper.cpp 수정

4. 프로젝트 속성 수정

프로젝트 속성 수정입니다.

DLL이 유니코드가 아닌 멀티바이트로 빌드되어있어서 이 부분을 바꿔줘야 합니다.

Project->Configuration Properties->Advanced->Character Set->Use Unicode Character Set을 Use Multi-Byte Character Set으로 변경합니다.

멀티바이트 캐릭터로 변경

5. 윈도 메시지 및 핸들러 등록

마지막으로 윈도우 메시지 및 핸들러 등록입니다.

xingAPI DLL 함수 Reference를 보면 API가 사용하는 8개의 Window User Message가 있습니다.

xingAPI 메시지 사양서

Window User Message는 User Interface Thread로 생성된 Dialog로 처리할 수 있습니다. 기본 Dialog에서 처리해도 되지만 메시지 처리를 전담하는 별도의 Dialog Class를 생성하겠습니다. Class Wizard에서 Add MFC Class 창을 띄워서 base class는 CDialogEx로 하고 Class name은 "CDlgXingMsg"로 합니다.

다이얼로그를 상속받는 클래스 생성

그리고 App 헤더파일에 아래와 같이 "IxingAPI.h"와 "CDlgXingMsg.h"를 include 합니다.

HTS서버 주소와 DEMO서버의 URL도 기입해 줍니다.

커스텀 메시지는 "WM_USER"부터 사용가능합니다. 아래와 같이 xingAPI가 사용하는 8개의 메시지를 정의해 줍니다.

참고로 WM_USER가 아닌 다른 값을 BASE로 정하면 일부 TR 응답이 오지 않습니다.

그리고 App 클래스에 멤버변수로 IXingAPI m_xing, CDlgXingMsg* m_pDlgXingMsg를 선언해 줍니다.

WM_USER 값부터 메시지 등록

CDlgXingMsg Class에 메시지맵을 등록하고 메시지 핸들러를 생성할 차례입니다.

Class Wizard에서 Class name을 CDlgXingMsg로 선택한 상태에서 Add Custom Message 버튼을 눌러 8개의 메시지를 등록해 줍니다.

메시지 핸들러 등록

등록을 완료하고 CDlgXingMsg에 가보면 아래와 같이 메시지 맵과 메시지 핸들러가 생성된 것을 확인할 수 있습니다.

메시지 핸들러 확인

CDlgXingMsg.h에 가서 핸들러 프로토타입이 protected로 되어 있으면 public으로 바꿔주세요.

호출될 수 있도록 public으로 변경

App.cpp의 InitInstance()의 DoModal() 호출구문 앞에 XingAPI DLL 초기화 코드를 넣어줍니다.

그리고 CDlgXingMsg의 Create 코드를 작성해 주고 ExitInstance()에 Delete 코드를 작성해 줍니다.

초기화 코드 삽입

종료 코드 삽입

여기까지 하고 ctrl+F5로 빌드하면 에러 없이 실행되어야 합니다.

이제 xingAPI를 사용할 수 있습니다.

[xingAPI][차트 데이터 수집기 만들기](1) 프로젝트 생성 및 화면 만들기

noyecube — Fri, 1 Oct 2021 23:10:03 +0900

증권사 API를 활용하여 일봉, 주봉 등 차트 데이터를 수집하는 프로그램을 처음부터 만들어 보겠습니다.

xingAPI 기반으로 만들어 봅니다.

수집한 데이터를 디스크에 파일로 저장하는 것이 목표입니다.

차트 데이터는 과거 데이터이고 수정주가 반영이 필요할 때 외에는 고정된 값이기 때문에

복잡한 데이터 가공이 필요하지 않으면 데이터베이스 사용 대신 파일로 관리해도 됩니다.

"DB로 관리할까 파일로 관리할까"에 대한 여러 의견은 아래 링크에서 추가적으로 읽어보세요.

https://quant.stackexchange.com/questions/29572/building-financial-data-time-series-database-from-scratch

1. MFC 프로젝트 생성하기

MFC App 프로젝트를 생성합니다. MFC App 프로젝트 템플릿이 안 보이면 Visual Studio Installer를 실행하여 MFC 구성요소 추가 설치를 진행해 주세요.

MFC App 선택

Application type은 "Dialog based", Use of MFC는 "Use MFC in a static library"로 선택합니다.

static library 속성으로 하지 않으면 Visual Studio가 설치되지 않은 타 PC에서는 실행이 어렵습니다.

타입과 MFC 라이브러리 링크 방식 설정

프로젝트 생성 후 "Ctrl+F5"를 눌렀을 때 아래와 같이 기본 프로그램이 실행되면 됩니다.

빈 프로젝트 실행시 기본 화면

2. Dialog 화면 설계

Resource View 탭 선택 후 기본 Dialog를 선택하면 필요한 컨트롤들을 배치하여 화면을 구성할 수 있습니다.

리소스 매니저 화면

화면 하단에 상태 바(StatusBar) 추가를 위하여 Resource Symbols 창을 열고 아래와 같이 ID생성을 해줍니다.

리소스 심볼 생성

위에서 추가한 리소스 ID를 String Table에 추가해 줍니다.

String Table 설정

MSDN에서 참조한 아래의 status bar 생성방법 확인 후 코드를 작성합니다.

MSDN 가이드

상태 바에 3개의 상태칸을 만들고 싶어서 OnInitDialog()에 아래와 같이 작성하였습니다.

StatusBar 추가 코드

추가로 로그인 정보 입력을 위한 컨트롤 배치를 완료 후 "ctrl+F5"로 확인하면 아래와 같이 상태 바 생성이 완료된 것을 확인할 수 있습니다. 로그인 컨트롤 배치 시 EDIT 컨트롤은 password 속성을 True, 접속서버 선택을 위한 Combobox 컨트롤의 type 속성은 Drop List로, Sort 속성은 False로 설정하였습니다.

컨트롤 배치 화면

아래는 완성된 화면입니다. 로그인 후 수집할 종목, 수집할 데이터 타입, 수집 기간, 저장 경로를 설정할 수 있도록 하였습니다. 상태 창에서는 현재 수집 중인 종목정보와 전체 진행률, 잔여시간을 확인할 수 있도록 컨트롤을 배치하였습니다.

최종 완성 화면

다음 글에서는 xingAPI사용을 위한 프로젝트 셋업을 다룹니다.

다음글 링크는 아래와 같습니다.

2021.10.04 - [트레이딩/시스템트레이딩] - [xingAPI][차트 데이터 수집기 만들기](2) 프로젝트 셋업