Apache Arrow가 뭘까?

개발 플랫폼

Apache Arrows는 일종의 개발 프로그램이라고 보는것같다

In-Memory로 작동하고, 데이터간 이동하는 기술을 Python에서는 Pyarrow로 구현할수 있다

Zero-Copy

ROW기반이 아닌 Column기반(열기반) 의 인메모리 포맷으로 Zero-Copy 직렬화를 수행한다고함

원래는 데이터가 인프라를 공유하기위해선 Serialization, Deserialization이 필요했는데, 이 과정에서 데이터가 크면 클수록, Overhead가 크다는 단점이 있었다

그래서 직렬화를 없에버리려는 목적으로 Zero-copy Serialization framework 가 탄생되었다 ( 당연히 serialization을 하지않기때문에, deserialization도 하지않는다 )