목록2026/07/03 (1)
co-code 님의 블로그
빅데이터 수집 및 저장 계획 오답 개념 정리
데이터 전처리 vs 데이터 후처리데이터 전처리데이터 유형 변환데이터 필터링데이터 정제데이터 후처리데이터 변환데이터 통합데이터 축소DBMS 활용 데이터 수집 기술Apache Sqoop고정된 컬럼에 데이터 저장(like 테이블, 행과 열에 의해 데이터 속성이 구별됨)Hadoop 플랫폼과 연계 가능Apache Hadoop과 연걔한 대량 데이터 전송 가능병렬로 데이터 전송Apache Flume대용량의 로그 데이터를 효과적으로 수집, 집계, 이동안정적이고 신뢰성 있는 분산 서비스 제공스트리밍 데이터 기반대량의 이벤트 데이터(네트워크 트래픽, 소셜 데이터, 이메일 메시지 등) 전송 가능신뢰성, 확장성, 효율성 있는 수집 방법Scrapy웹사이트를 crawling하고 구조화된 데이터 수집데이터 마이닝, 정보 처리, 이..
빅분기 공부/1과목
2026. 7. 3. 20:00