co-code 님의 블로그

1과목빅데이터 플랫폼다양한 데이터 소스에서 수집된 데이터를 처리하고 분석해서 지식을 추출하고 지능화된 서비스를 제공하는데 필요한 IT 환경데이터 수집·저장, 데이터 처리, 데이터 분석, 실시간 처리, 데이터 관리를 위한 확장성과 유연성 기능을 제공한다.대표적으로 Apache Hadoop, Spark, AWS의 EMR(Elastic MapReduce), HDinsight 등 지도학습명확한 목표 변수가 있고, 해당 변수의 자기상관성이 높은 변수들이 있는 경우 적합목표 변수와 특징(Feature)간의 관계를 학습하는데 적합라벨링된 데이터가 있는 경우 이를 기반으로 새로운 데이터에 대한 예측 수행 시 적합목표변수에 대한 중요한 특성이 명확하게 드러나는 경우 적합데이터 변환데이터 소스에서 추출된 가공된지 않은 데..

1과목빅데이터 분석 플랫폼빅데이터를 처리하는 과정에서 발생하는 컴퓨팅, 저장, 네트워크 부하를 기술적인 요소로 해결하기 위해 설계됨소프트웨어 계층, 플랫폼 계층, 인프라스트럭쳐 계층으로 구성됨소프트웨어 계층 - 데이터 처리, 분석, 수집, 정제 기능 수행플랫폼 계층 - 작업 스케쥴링, 자원할당 및 관리, 프로파일링 기능 수행인프라스트럭쳐 계층 사용자 요청 파싱, 자원 배치, 노드 관리, 스토리지 관리, 네트워크 관리, 서비스 관리, 모니터링, 보안 모듈이 포함됨빅데이터 처리 및 분석에 필요한 자원 제공빅데이터 분석 기획의 주요 업무빅데이터 분석 결과의 도출 및 관리를 위한 사전 계획 수립빅데이터 분석 수행 시 필요한 가용 데이터를 확인하고, 발생할 수 있는 장애 요인에 대처하기 위한 사전 계획 수립빅데이..

1과목빅데이터 분석 조직 구조집중 구조전담 조직에서 분석 업무를 담당하여 우선 순위의 업무를 수행할 수 있으나 타 부서와의 업무 중복 및 이원화 가능성이 높음기능 구조각 해당 부서에서 업무를 수행하며, 과거에 국한된 분석 수행 가능성이 높고 전사적인 핵심 분석이 어렵음분석 구조분석 인력을 현업 부서에 배치하여 전사적 차원의 우선순위 업무를 수행함으로써 빠른 피드백 및 모범 사례의 공유가 가능하나 부서별 역할분담을 사전에 명확하게 설정하여야 함NCS에서 정의한 빅데이터 분석 업무 기획 단계도메인 이슈 도출 : 대상 과제의 현황을 파악하고 개선과제를 정의하는 빅데이터 요건 정의서 수립분석 목표 수립 : 빅데이터 분석을 통해 얻고자 하는 목표를 정의한 분석 목표 정의서 수립프로젝트 계획 : 빅데이터 분석을 위..

1과목데이터 직군데이터 분석가데이터를 분석·정리하여 비즈니스 결정 시 도움을 줄 수 있는 데이터 분석 보고서 제작데이터 사이언티스트비즈니스 문제를 정의하고 문제를 해결하기 위한 데이터 분석 모형을 제작데이터 아키텍트조직 내 잠재적인 데이터 소스 평가 후 이를 통합·집중화하고, 보호·관리 계획을 설계하며, 데이터 관리 시스템의 선을을 지속적으로 모니터링하여 보고데이터 엔지니어내부·외부 원천 데이터를 수집·가공·적재하여 데이터의 흐름(파이프라인)을 설계·구축CRISP-DM(Cross Industry Standard Process for Data Mining) 체계화된 절차와 방법으로서 계층적 데이터 분석 프로세스 모델분석 단계 비즈니스 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개데이터 ..

1과목빅데이터 분석을 위한 로드맵소요 비용 배분, 프로젝트 WBS 수립, 업무 분장 계획 수립로드맵 작성 위해 우선 고려할 사항비즈니스 성과 및 ROI 평가, 데이터 분석의 시급성, 데이터 탐색 등고품질 데이터의 특성정확성 (분석 대상에 대한 올바른 값 사용)완전성 (결측치 등의 오류가 없음)적시성 (유효한 시간 정보 포함)일관성 (일관된 속성, 규정, 포맷 및 형식 유지)데이터 비식별화 방법L-다양성 : 주어진 데이터셋에서 함께 비식별되는 레코드들은 동질 집합에서도 적어도 L개의 서로 다른 민감한 정보를 가져야하는 성질개인정보 차등 보호 : 데이터에 수학적 노이즈를 추가(속성의 값을 원래의 값과 다르게 변경)하는 기술분산 파일 시스템 (Distributed File System)다수의 사용자가 원격으로..

1과목GDPR(General Data Protection Regulation)유럽 연합의 법으로서 개인정보 활용 범위와 데이터 비식별화를 통한 개인정보 방안 제시유럽 연합에 속해 있거나 유럽 경재 지역에 속해 있는 모든 사람들의 사생활 보호와 개인정보들을 보호해줌데이터 품질 관리 특성정확성분석 객체에 대한 올바른 값을 오류 없이 저장하는 특성내재적(고유) 데이터 품질 특성 (Intrinsic Data Quality)완전성 : 데이터 식별 수준 만족 (대상, 속성 포함)일관성 : 규정, 포맷, 형식 유지적시성 : 유효한 시간 정보 확인 (소멸성이 높은 데이터에 대한 품질 기준)데이터 웨어하우스 (Data Warehouse) 주제 중심적통합적 내용 저장시간성을 가지는 비휘발성(비소멸성) 자료의 집합 저장아파..