Vaex: ๋๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ํ์ ๊ณผ ์ ์ฉ


์ต์ ์ํธํํ ๋ํฅ
์ต๊ทผ ์ํธํํ ์์ฅ์ ์ฌ๋ฌ ๋ฐฉ๋ฉด์์ ํ์ธต ๋ ๋ณต์กํด์ง๊ณ ์๋ค. ๋นํธ์ฝ์ธ, ์ด๋๋ฆฌ์๊ณผ ๊ฐ์ ์ฃผ์ ์ํธํํ์ ์์ฅ ๋ณ๋์ฑ์ ์ฌ์ ํ ๋ง์ ํฌ์์์๊ฒ ๊ธฐํ๋ฅผ ์ ๊ณตํ๋ฉด์๋ ๋์์ ์ํ ์์๊ฐ ๋๊ธฐ๋ ํ๋ค. ์ด์ ๋ ๋ง์ ์ฌ๋๋ค์ด ๋๋์ ๋ฐ์ดํฐ๋ฅผ ์ค์๊ฐ์ผ๋ก ์ฒ๋ฆฌํ๊ณ ๋ถ์ํ๋ ๋ฐฉ๋ฒ์ ๋ํ ํ์์ฑ์ ๋๋ผ๊ณ ์์ผ๋ฉฐ, ์ด ๊ณผ์ ์์ Vaex ๊ฐ์ ๋๊ตฌ๊ฐ ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค.
์์ฅ ๋ณ๋์ฑ ๋ถ์
์ํธํํ ์์ฅ์ ๋ณ๋์ฑ์ ํนํ ํฌ์์์ ์ฌ๋ฆฌ์ ์ธ๋ถ ํ๊ฒฝ์ ํฌ๊ฒ ์์กดํ๋ค. ์๋ฅผ ๋ค์ด, ์ต๊ทผ ๊ธ๋ก๋ฒ ๊ฒฝ์ ์ ๋ถํ์ค์ฑ์ด ๋์์ง๋ฉด์ ๋นํธ์ฝ์ธ์ ๊ฐ๊ฒฉ์ ๊ธ์์นํ๊ฑฐ๋ ๊ธ๋ฝํ๋ ํจํด์ ๋ณด์ด๊ณค ํ๋ค. ์ด์ฒ๋ผ ์ผ์์ ์ธ ๋ณ๋์ฑ์ ๋์ฒํ๊ธฐ ์ํด์, ๋ฐ์ดํฐ ๊ณผํ์๋ค์ Vaex๋ฅผ ์ด์ฉํ์ฌ ์ค์๊ฐ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ๋ฉฐ ์ธ์ฌ์ดํธ๋ฅผ ๋์ถํ๊ณ ์๋ค. Vaex๋ ํน์ ์ฃผ๊ธฐ์ ์์ฅ ๋ฐ์ดํฐ๋ฅผ ์ฝ๊ฒ ๋ถ์ํ ์ ์์ด, ํฌ์์๋ค์ด ๋ ๋์ ํ๋จ์ ๋ด๋ฆด ์ ์๋๋ก ๋์์ค๋ค.
์ฃผ์ ํ๋ก์ ํธ ๋ฐ ๊ธฐ์ ๋ฐ์
๋ํ, ๋ง์ ์ํธํํ ํ๋ก์ ํธ๊ฐ ์ง์์ ์ผ๋ก ๊ธฐ์ ๋ฐ์ ์ ์ด๋ฃจ๊ณ ์์ผ๋ฉฐ, ์ด๋ค์ ๋๋์ ๋น๊ตฌ์กฐํ๋ ๋ฐ์ดํฐ๋ฅผ ์์งํ๊ณ ์ด๋ฅผ ๋ถ์ํ์ฌ ์๋ก์ด ๊ฐ๋ฅ์ฑ์ ๋ชจ์ํ๊ณ ์๋ค. ์๋ฅผ ๋ค์ด, DeFi(ํ์ค์ํ ๊ธ์ต) ํ๋ซํผ์ ์ฌ์ฉ์์ ๊ฑฐ๋ ํจํด์ ๋ถ์ํ์ฌ ๋ง์ถคํ ์๋น์ค ์ ๊ณต์ ํ์ฐ๊ณ ์๋ค. ์ด๋ฅผ ํตํด Vaex์ ๊ฐ์ ๋์ ์ฑ๋ฅ์ ๊ฐ์ง ๋ถ์ ๋๊ตฌ ์ ์ญํ ์ด ๋์ฑ ๊ฐ์กฐ๋๊ณ ์๋ค. ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์๋์ ํจ์จ์ฑ์ด ๊ฒฝ์๋ ฅ์ ์ข์ฐํ๋ ํ์ฌ ์ํ์์, Vaex๋ ๊ทธ ํ์๋ฅผ ์ถฉ์กฑ์์ผ ์ค ์ ์๋ ์ ์ฉํ ํด์ด๋ผ ํ ์ ์๋ค.
์ ๋ฌธ๊ฐ ์ธ์ฌ์ดํธ
์ํธํํ ํฌ์์ ๋ํ ์ ๋ง๊ณผ ์ ๋ต์ ๊ทธ ์ด๋ ๋๋ณด๋ค ๋ค์ํด์ง๊ณ ์๋ค. ๊ธฐ์ ์ ๋ถ์๋ฟ ์๋๋ผ, ๋ฐ์ดํฐ ๊ธฐ๋ฐ์ ๋ถ์์ด ์ ์ ๋ ์ค์ํด์ง์ ๋ฐ๋ผ Vaex๋ ์ด ์์ฅ์์์ ํจ๋ฌ๋ค์์ ๋ฐ๊พธ๋ ๋ฐ ๊ธฐ์ฌํ ๊ฐ๋ฅ์ฑ์ด ํฌ๋ค.
์ํธํํ ํฌ์ ์ ๋ต
ํฌ์์๋ค์ ์ด์ ๋จ์ํ ์ฐจํธ ๋ถ์์ ๋์ด, Vaex์ ๊ฐ์ ๋๊ตฌ๋ฅผ ํตํด ๋๋์ ๋ฐ์ดํฐ๋ฅผ ๋ฐํ์ผ๋ก ํ ์ ๋ต์ ์ธ ๊ฒฐ์ ์ ๋ด๋ฆด ์ ์๋ค. ์๋ฅผ ๋ค์ด, ํน์ ์ํธํํ์ ๊ฐ๊ฒฉ ํ๋ฆ์ ๊ณผ๊ฑฐ ๋ฐ์ดํฐ์ ๋น๊ตํ์ฌ ํจํด์ ์ฐพ์๋ด๋ ๋ฑ ๋ค์ํ ๋ฐฉ์์ ํตํด ํฌ์ ์ ๋ต์ ์ธ์ธ ์ ์๋ค.
๊ท์ ๋ฐ ๋ฒ๋ฅ ๋ํฅ
์ํธํํ ์์ฅ์ ์ฑ์ฅ์ ๋ฐ๋ผ, ๊ฐ๊ตญ ์ ๋ถ์ ๊ท์ ์ ์ฑ ๋ ์ ์ฐจ ๋ณํํ๊ณ ์๋ค. ์๋ฅผ ๋ค์ด, ํ๊ตญ์์๋ ์ํธํํ ๊ฑฐ๋์์ ๊ท์ ์ฌํญ์ด ์ง์์ ์ผ๋ก ๋ณํํ๊ณ ์์ผ๋ฉฐ, ์ด์ ๋ํ ๋ฐ์ดํฐ ๋ถ์์ Vaex๋ฅผ ํตํด ๋์ฑ ์ฝ๊ฒ ์ํ๋ ์ ์๋ค. ํนํ, ์ํธํํ ์ํ๊ณ์ ํฌ๋ช ์ฑ์ ๋์ด๊ธฐ ์ํ ๋ ธ๋ ฅ์ด ์ค์ํ ์์ ์์, ๊ด๋ จ ๋ฐ์ดํฐ์ ๋ํ ๋ถ์๊ณผ ์๊ฐํ๋ ํ์์ ์ด๋ค.
"ํจ์จ์ ์ธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ ์ด์ ์ ํ์ด ์๋ ํ์๊ฐ ๋์๋ค. ๋ฐ์ดํฐ์ ๋ฐ๋ค ์์์ ์ค์ํ ์ ๋ณด๋ฅผ ๋ง๋๊ธฐ ์ํด์๋ ์ ์ ํ ๋๊ตฌ๊ฐ ํ์ํ๋ค."
์ด์ ๊ฐ์ ์ด์ ๋ก, Vaex์ ๊ฐ์ ๋์ฉ๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋๊ตฌ๋ ๋ฐ์ดํฐ ๊ณผํ์์ ํฌ์์์๊ฒ ์์ด์๋ ์ ๋ ์ค์ํ ์์์ด ๋๊ณ ์๋ค. ๋ํ, ์ค์๊ฐ ๋ฐ์ดํฐ ๋ถ์์ ํตํด ์์ฅ์ ๋ณ๋์ ๋ณด๋ค ์ฆ๊ฐ์ ์ผ๋ก ๋์ํ ์ ์๋ ๊ฐ๋ฅ์ฑ ์ ์ด์ด์ค๋ค.
Vaex๋ ๋ฌด์์ธ๊ฐ
Vaex๋ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ์ฒ๋ฆฌํ๊ณ ๋ถ์ํ ์ ์๋๋ก ์ค๊ณ๋ ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ด๋ค. ์ด ๊ธฐ์ ์ ํนํ ์์ญ์ต ๊ฐ์ ํ์ ํฌํจํ ๋ฐ์ดํฐ์ ์ ๋ค๋ฃฐ ๋ ํจ์จ์ ์ด๋ฉฐ, ๋ค์ด์คํธ๋ฆผ ๋ฐ์ดํฐ ๊ณผํ ํ๋ก์ธ์ค์ ๊ธ์ ์ ์ธ ์ํฅ์ ๋ฏธ์น๋ค. Vaex์ ์ฃผ์ ๊ฐ์ ์ค ํ๋๋ ๋ฉ๋ชจ๋ฆฌ ํจ์จ์ฑ์ด ๋ฐ์ด๋๊ธฐ ๋๋ฌธ์ ์์คํ ๋ฆฌ์์ค๋ฅผ ์ต์ํ์ผ๋ก ์ฌ์ฉํ๋ฉด์๋ ์ ์ํ๊ฒ ๋ฐ์ดํฐ๋ฅผ ๋ก๋ฉํ๊ณ ์ฒ๋ฆฌํ ์ ์๋ค๋ ์ ์ด๋ค.
Vaex๋ ๋ฐ์ดํฐ ๊ณผํ์์ ๊ธ์ต ์ ๋ฌธ๊ฐ๋ค์๊ฒ ํนํ ์ ์ฉํ ๋๊ตฌ๋ก ์๋ฆฌ์ก๊ณ ์๋ค. ์ด๋ ๊ธฐ์กด ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋๊ตฌ๋ค, ์๋ฅผ ๋ค๋ฉด Pandas์ Dask,์ ๋น๊ตํ์ ๋ ๋ ๋น ๋ฅธ ์๋์ ํจ์จ์ฑ์ ์ ๊ณตํ๊ธฐ ๋๋ฌธ์ด๋ค. Vaex๋ ๋ณต์กํ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ๋จ๊ณ๋ฅผ ์ต์ํํ๊ณ , ์ฌ์ฉ์๊ฐ ์ํ๋ ํต์ฐฐ๋ ฅ์ ์งง์ ์๊ฐ ์์ ์ป์ ์ ์๊ฒ ํด์ค๋ค.
์ด ๊ธ์์๋ Vaex์ ์ญ์ฌ์ ๊ธฐ๋ฅ, ์ด ๊ธฐ์ ์ด ์ ๊ณตํ๋ ๋ค์ํ ์ด์ ์ ๋ํด ์์ธํ ์ดํด๋ณด๊ฒ ๋ค.
๋ฐฐ๊ฒฝ ๋ฐ ์ญ์ฌ
Vaex๋ 2016๋ ๊ฒฝ์ ์ฒ์ ๋ฑ์ฅํ์ฌ ๋น ๋ฅด๊ฒ ๋๊ท๋ชจ ๋ฐ์ดํฐ ๋ถ์ ๋ฐฉ๋ฒ๋ก ์ ํ์ ํ๋ค. ์ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ ์๋ ์์คํธ๋ก ๋ฏธ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ๋ํ ํ์์ ์ํด ๊ฐ๋ฐ๋์์ผ๋, ์๊ฐ์ด ์ง๋๋ฉด์ ๋ค์ํ ๋ถ์ผ์์ ๋๋ฆฌ ์ฌ์ฉ๋๊ธฐ ์์ํ๋ค. ๋น๊ตฌ์กฐํ๋ ๋๋ ๋ฐ์ดํฐ์ ์ค์๊ฐ ๋ถ์์ ํ์๋ก ํ๋ ๋ฐ์ดํฐ ๊ณผํ์ ๋ฐ์ ๊ณผ ๋๋ถ์ด Vaex๋ ์ฌ๋๋ค์ ๋๊ธธ์ ๋์๋ค. ์ด๋ฌํ ๋ฐฐ๊ฒฝ ์์์ Vaex๋ ๋ฐ์ดํฐ ๋ถ์์ ๋ํ ์ ๊ทผ ๋ฐฉ์์ ๊ทผ๋ณธ์ ์ผ๋ก ๋ฐ๊พธ๋ ๋๊ตฌ๋ก ์๋ฆฌ์ก์๋ค.
Vaex์ ์ญ์ฌ์ ์ค์์ฑ์ ์ดํดํ๊ธฐ ์ํด์๋ ๋ฐ์ดํฐ ๊ณผํ์ด ๋ฐ์ ํ๋ฉด์ ํ์ํ๋ ๋ค์ํ ๊ธฐ๋ฅ์ด ํฌํจ๋์๋ค๋ ๊ฒ์ ์๋ ๊ฒ์ด ์ค์ํ๋ค. ์์ฒด์ ์ผ๋ก ๋ง์ ๊ณ์ฐ์ ๋ฏธ๋ฆฌ ์ํํ์ฌ ๋ฐ์ดํฐ๋ฅผ ํํฐ๋งํ๊ณ ์ํ๋ ๊ฒฐ๊ณผ๋ฅผ ์ผ๊ด๋๊ฒ ์ ๊ณตํ๋ ๋ฑ์ ๋ฅ๋ ฅ์ ๋น์ฆ๋์ค์ ์ฐ๊ตฌ์ ํฐ ๋์์ด ๋๊ณ ์๋ค. ํนํ ๋์ฉ๋ ๋ฐ์ดํฐ์ ํ์์ฑ์ด ์ฆ๊ฐํจ์ ๋ฐ๋ผ, ์ด๋ฌํ ๊ธฐ๋ฅ์ ๋์ฑ ๋๋๋ฌ์ง๊ฒ ๋ํ๋ฌ๋ค.
์ฃผ์ ๊ธฐ๋ฅ
Vaex๋ ์ฌ๋ฌ ๊ฐ์ง ์ฃผ๋ชฉํ ๋งํ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ฌ ์ฌ์ฉ์๊ฐ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ํจ๊ณผ์ ์ผ๋ก ๋ค๋ฃฐ ์ ์๋๋ก ๋๋๋ค. ์ฌ๊ธฐ์๋ Vaex์ ์ฃผ์ ๊ธฐ๋ฅ๋ค์ ์ดํด๋ณด๊ฒ ๋ค:
- ๋ฉ๋ชจ๋ฆฌ ๋งตํ: Vaex๋ ๋ฐ์ดํฐ์ ์ ๋ฉ๋ชจ๋ฆฌ์์ ์ง์ ๋ก๋ํ์ง ์๊ณ ํ์ํ ๋๋ง ๋ฐ์ดํฐ๋ฅผ ๋ก๋ฉํ๋ ๋ฐฉ์์ผ๋ก ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ ์ฝํ๋ค. ์ด๋ฌํ ์ ๊ทผ์ ๋๋ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ํจ์จ์ฑ์ ๋์ธ๋ค.
- ๋ค์ํ ํ์ผ ํฌ๋งท ์ง์: Vaex๋ CSV, Parquet, HDF5 ๋ฑ ์ฌ๋ฌ ํ์ผ ํฌ๋งท์ ์ง์ํ์ฌ ๋ฐ์ดํฐ ๋ก๋ฉ์ ์ ์ฐ์ฑ์ ์ฆ๊ฐ์ํจ๋ค.
- ๊ณ ์ ์ฟผ๋ฆฌ ์ฒ๋ฆฌ: ๋ฐ์ดํฐ๋ฅผ ํํฐ๋งํ๊ณ ์ฒ๋ฆฌ๋ฅผ ์ํํ๋๋ฐ ์์ด ๊ฐ๋ ฅํ ์ฑ๋ฅ์ ์ ๊ณตํ์ฌ ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ๋ํ ์ค์๊ฐ ๋ถ์์ด ๊ฐ๋ฅํ๋ค.
- ํต๊ณ์ ๋ถ์ ์ง์: Vaex๋ ๊ฐ๋ ฅํ ํต๊ณ์ ๊ธฐ๋ฅ์ ์ ๊ณตํ์ฌ ๋ฐ์ดํฐ ๋ถ์์ ํ์ํ ํต๊ณ๋, ํ์คํ ๊ทธ๋จ ๋ฑ์ ์ฝ๊ฒ ๊ณ์ฐํ ์ ์๊ฒ ํ๋ค.
์ด๋ฌํ ์ฃผ์ ๊ธฐ๋ฅ๋ค์ Vaex๋ฅผ ๋ฐ์ดํฐ ๊ณผํ์์ ๊ธ์ต ์ ๋ฌธ๊ฐ๋ค์๊ฒ ํ์์ ์ธ ๋๊ตฌ๋ก ๋ง๋ค์ด์ฃผ๋ฉฐ, ํนํ ๋๋ ๋ฐ์ดํฐ๋ฅผ ์ ์ํ๊ฒ ์ฒ๋ฆฌํ๊ณ ์ถ์ดํ๋ ์ฌ์ฉ์๋ค์๊ฒ ํ์์ ์ด๋ผ ํ ์ ์๋ค.
Vaex์ ์ค์น ๋ฐฉ๋ฒ
Vaex๋ ๋ฐ์ดํฐ ๋ถ์์ ์ํ ๊ฐ๋ ฅํ ๋๊ตฌ์ด๋ค. ์ค์น ๋ฐฉ๋ฒ์ ์ดํดํ๋ ๊ฒ์ ์ด ๋๊ตฌ๋ฅผ ์ต๋ํ ํ์ฉํ๋ ๋ฐ ๋งค์ฐ ์ค์ํ๋ค. ์ฌ๋ฐ๋ฅธ ์ค์น๋ Vaex์ ๋ชจ๋ ๊ธฐ๋ฅ์ ์ฌ์ฉํ ์ ์๋ ๊ธฐ๋ฐ์ ๋ง๋ จํ๋ค. ์ฌ์ฉ์๋ค์ด ์ด ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํตํด ๋ฐ์ดํฐ ๋ก๋ฉ๊ณผ ์ ์ฒ๋ฆฌ๋ฅผ ํจ์จ์ ์ผ๋ก ์งํํ ์ ์๋๋ก ๋์์ค๋ค. ๋ํ, ์ ์ค์น๋ Vaex ํ๊ฒฝ์ ๋ค์ํ ๋ฐ์ดํฐ ์์ค๋ก๋ถํฐ ๋ฐ์ดํฐ๋ฅผ ์ ์ํ๊ฒ ๋ถ๋ฌ์ค๊ณ , ๋์ฉ๋ ๋ฐ์ดํฐ์ ์ ์ฒ๋ฆฌํ๋ ๋ฐ ํ์ํ ๊ธฐ๋ฐ์ ์ ๊ณตํ๋ค.
ํ๊ฒฝ ์ค์
Vaex๋ฅผ ์ค์นํ๊ธฐ ์ ์ ํ๊ฒฝ ์ค์ ์ด ํ์์ ์ด๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก Python์ด ์ค์น๋์ด ์์ด์ผ ํ๋ฉฐ, ํน์ ํจํค์ง ์์กด์ฑ์ด ์กด์ฌํ ์ ์๋ค. Windows, macOS, ๋๋ Linux์์ Vaex๋ฅผ ์ฌ์ฉํ ์ ์์ผ๋ฏ๋ก, ๊ฐ ์ด์ ์ฒด์ ์ ๋ง๋ ์ ์ ํ ์ค์น๋ฅผ ๊ณ ๋ คํด์ผ ํ๋ค.
- Python ์ค์น: Vaex๋ Python 3.6 ์ด์์์ ์๋ํ๋ฏ๋ก ์ด์ ๋ง๋ ๋ฒ์ ์ ์ค์นํด์ผ ํ๋ค.
- ํจํค์ง ๊ด๋ฆฌ์ ์ ํ: ๋ ์ ๊ฐ์ ํจํค์ง ๊ด๋ฆฌ์๋ฅผ ์ฌ์ฉํด ์ค์นํ ์ ์์ผ๋ฉฐ, ์ด๋ฐ ๋๊ตฌ๋ค์ ํ์ํ ์์กด์ฑ์ ์๋์ผ๋ก ์ฒ๋ฆฌํด์ค๋ค.
- ๊ฐ๋ฐ ํ๊ฒฝ: Jupyter Notebook ๋๋ Visual Studio Code ๋ฑ๊ณผ ๊ฐ์ ๊ฐ๋ฐ ํ๊ฒฝ๋ ๊ณ ๋ คํ ์ ์๋ค. ์ด๋ฌํ ํ๊ฒฝ์ ๋ํํ ๋ฐ์ดํฐ ๋ถ์์ ์ ๋ฆฌํ๋ค.
์ค์ ๊ณผ์ ์์ ํ ๊ฐ์ง ์ฃผ์ํ ์ ์ ๊ฐ์ ํ๊ฒฝ์ ํ์ฉํ๋ ๊ฒ์ด๋ค. ์ฌ์ฉ์ ๊ฐ๊ฐ์ ํ๊ฒฝ์ ๋ง์ถฐ ๋ ๋ฆฝ์ ์ธ ํ๊ฒฝ์ ์กฐ์ฑํจ์ผ๋ก์จ, ์ค์น ์ถฉ๋ ๋ฌธ์ ๋ฅผ ๋ฐฉ์งํ ์ ์๋ค.
๊ธฐ๋ณธ ์ค์น ๋จ๊ณ
Vaex๋ฅผ ์ค์นํ๋ ๊ณผ์ ์ ๋น๊ต์ ๊ฐ๋จํ๋ค. ์๋์ ๊ธฐ๋ณธ ๋จ๊ณ์ ๋ฐ๋ผ ์งํํ ์ ์๋ค:
- Python ์ค์น ํ์ธ: ์ปค๋งจ๋ ๋ผ์ธ์์ ์ ์ ๋ ฅํด Python ๋ฒ์ ์ ํ์ธํ๋ค. 3.6 ์ด์์ ๋ฒ์ ์ด ์ค์น๋์ด ์์ด์ผ ํ๋ค.
- Vaex ์ค์น: