개발 플랫폼
Apache Arrows는 일종의 개발 프로그램이라고 보는것같다
In-Memory로 작동하고, 데이터간 이동하는 기술을 Python에서는 Pyarrow로 구현할수 있다
Zero-Copy
ROW기반이 아닌 Column기반(열기반) 의 인메모리 포맷으로 Zero-Copy 직렬화를 수행한다고함
원래는 데이터가 인프라를 공유하기위해선 Serialization, Deserialization이 필요했는데, 이 과정에서 데이터가 크면 클수록, Overhead가 크다는 단점이 있었다
그래서 직렬화를 없에버리려는 목적으로 Zero-copy Serialization framework 가 탄생되었다 ( 당연히 serialization을 하지않기때문에, deserialization도 하지않는다 )
'Dev' 카테고리의 다른 글
| 아파치 오픈소스 다운로드아카이브 http://dlcdn.apache.org (0) | 2022.11.12 |
|---|---|
| Numpy Array Memory구조 확인하기 (1) | 2022.11.01 |
| Parquet는 왜 쓸까? (0) | 2022.11.01 |
| PyObject 객체와 Numpy (0) | 2022.10.29 |
| 서버리스의 장단점 (0) | 2022.08.14 |
