mapreduce1 빅데이터입문 (3) - MapReduce 23.09.20 Map Reduce라는 개념을 공부했습니다. 말그대로 대용량의 데이터에 대한 컴퓨팅을 하는 경우를 생각할 떄 우리는 보통 CPU, Memory, HDD등 하드웨어 리소스를 늘리자는 생각을 시작하는데 사실 한대의 머신으로 대용량 연산은 불가능합니다. 이와 관련해서 Google web site를 사례로 다뤘는데 20+ billion pages X 20KB = 400+ TB가량의 웹사이트를 싱글 컴퓨터로 읽기만해도 4개월 이상의 시간이 소요됩니다. 그래서 필요한게 바로 클러스터 아키덱터입니다. 클러스터는 각각의 랙 컴퓨터로 이루어져있고 이를 스위치(Switch)가 트리형태로 연결하고 있는 구조입니다. 빅데이터 연산에서 고려해야할 문제는 다음과 같습니다. - 전통적프로그래밍은 직렬적인 점 - 병렬 프로그래밍이 .. 2023. 9. 27. 이전 1 다음