[MFC] Parquet 파일 생성(Apache Arrow 기반)

이번 포스팅에서는 Apache Arrow를 정적 라이브러리 형태로 MFC 프로젝트에 연동하여 CSV 파일을 읽고, 이를 Parquet 파일로 zstd 압축을 통해 저장하는 구체적인 예제를 제공합니다. 반대로, 압축된 Parquet 파일을 다시 읽어오는 예제까지 실습하여 데이터를 효율적으로 처리하는 방법을 단계별로 안내드릴 예정입니다.1. Apache Arrow란?Apache Arrow는 컬럼 기반 메모리 데이터 표현을 표준화한 오픈소스 프로젝트로, 데이터를 효율적으로 처리하고 다양한 언어 간 빠른 데이터 교환을 지원합니다. 데이터 분석 성능을 크게 향상시키며, 특히 데이터가 많은 환경에서 빛을 발하는 라이브러리입니다.Apache Arrow는 Parquet, CSV 등 여러 데이터 형식의 파일을 효과적으로..

• format_list_bulleted 프로그래밍/C | C++
• · 2025. 4. 15.
• textsms

[MFC] zstd 압축 예제코드, 직접 써보며 배우는 실전 활용법

안녕하세요, 오늘은 제가 최근에 작업한 프로젝트를 바탕으로 zstd 라이브러리를 이용한 압축 방법을 예제와 함께 공유하려고 합니다. 요즘 제가 주식 틱체결 데이터를 수집 중인데요, 체결틱, 호가틱 등 하루치 데이터가 무려 종목당 수십MB까지 커지다 보니 이걸 그냥 저장하면 디스크 공간을 만만치 않게 차지하더라고요. 그런데 압축을 해보니까 용량이 단 10% 수준으로 줄어드는 겁니다. 이렇게 용량을 줄이면 데이터 관리 비용을 상당히 절약할 수 있겠죠? 하지만 매번 윈도우 탐색기에서 압축을 하는 게 여간 번거로운 일이 아닙니다. 그래서 "데이터 저장 단계에서 바로 압축하여 저장하면 어떨까?"라는 생각을 하게 되었고, 그 결과 선택한 라이브러리가 바로 zstd였습니다. 막상 zstd를 쓰려고 보니, 유명..

• format_list_bulleted 프로그래밍/C | C++
• · 2025. 4. 9.
• textsms