빅데이터 컴퓨팅 기술 연습문제 7장

01 빅데이터 플랫폼 요소 기술을 설명하고 각 요소 기술의 예를 조사하시오.

• 빅데이터 수집 및 정제(Cleaning)

• 빅데이터 저장 및 관리

• 빅데이터 처리

• 빅데이터 분석

• 빅데이터 표현

02 빅데이터 플랫폼 구조를 설계하고 세부 컴포넌트를 설명하시오.

생략

 

03 가상화를 종류별로 설명하시오.

• 서버 가상화
물리적 서버 하나에 여러 개의 가상 서버를 구축하는 방법으로 서버 하나에서각응용프로그램과 운영체제가 독립된 환경을 보장받으며 사용할 수 있도록 함.

• 데스크톱 가상화
데스크톱 환경을 잘게 쪼개어 이기종의 가상 데스크톱 환경을 여러 개로 나누는 기술.

• 스토리지 가상화
저장 장치의 실제 위치를 파악하지 않아도 여러 대의 이기종 저장 장치를 저장풀하나로 만들어 여러 기기 간 데이터 이동 및 복제, 이기종 서버 간 블록 단위의데이터공유 등의 기능 제공.

• 네트워크 가상화
네트워크 인스턴스가 물리적 네트워크 인프라스트럭처를 공유하는 기술. 즉, 라우터, 스위치 등 네트워크 자원을 서로 공유하여 여러 사용자를 하나의 가상화된 네트워크 환경으로 엮음.

• 소프트웨어 가상화
응용 프로그램을 가상화하는 것으로 가상 공간 위에서는 응용 프로그램이호스트운영체제 위에 설치된 것처럼 동작함.

04 서버 가상화를 지원하는 하이퍼바이저의 예를 조사하고 각각의 차이점을 설명하시오.

생략

05 빅데이터를 처리하는 노드 내의 자원 관리 기술로 하이퍼바이저 스케줄링을 이용한 자원 관리를 가상화와 연관 지어 설명하시오.

생략

06 클라우드 서비스의 요구 사항을 자원 관리 측면에서 설명하고 특정 클라우드 서비스를 설계하시오.

생략

 
07 클라우드 환경에서의 빅데이터 처리 기술에서 빅데이터를 처리하는 클라우드 자원 배치 기법과 이종 환경에서의 자원 관리 기법, 데이터 지역성 기반 자원 관리 기법, SLA 기반 자원 관리 기법을 각각 설명하시오.

이종 환경에서 클라우드 자원 관리 기법
- 첫째, 노드의 이종성을 고려해 작업을 분배한다.
- 둘째, 작업 복사를 효과적으로 수행하고 처리를 가속하는 추가 노드를 이용한다.
- 셋째, 노드의 이종성으로 네트워크 비용 증가를 해결한다. 가속 처리 및 데이터 지역성을 함께 고려한다.

데이터 지역성 기반 클라우드 자원 관리 기법
- 첫째, 데이터 지역성을 고려하여 스케줄링 한다.
- 둘째, 노드 간 분산 작업의 효과적인 분배로 네트워크 오버헤드가 감소한다.
- 셋째, 노드의 이종성을 고려한 데이터 배치로 처리 속도를 향상시키려면 각 노드에 저장되는 데이터의 양을 적절히 분배한다.
- 넷째, 데이터 구성 및 자원 상태를 고려한 데이터 배치이다. 분산 파일 시스템에서데이터 블록을 무작위로 배치하면 효과적으로 부하 분산을 할 수 있다.

SLA 기반 클라우드 자원 관리 기법
- 사용자 입장에서의 SLA는 해당 서비스에 서비스 수준을 효과적으로 보장할수있도록 하며, 서비스 제공자 입장에서의 SLA는 자원 사용을 좀 더 유연하게 할 수 있도록 한다.

 
08 클라우드 서비스 브로커에서의 자원 할당 기법의 종류를 설명하고 특정 클라우드 서비스에서의 클라우드 서비스 브로커를 설계하시오.

생략

09 빅데이터 워크플로우 컴퓨팅 플랫폼 기술로 단일 맵리듀스 처리와 워크플로우 형태의 맵리듀스 처리의 공통점 및 차이점과 각 스케줄링 연구를 설명하시오.

생략

 
10 그래프 기반 빅데이터 처리 기술에서 빅데이터 워크플로우의 데이터 관리, 데이터 전송 최적화, 데이터 분할을 각각 설명하시오.

생략