전체 702

[빅데이터분석기사,adsp] 데이터분석 거버넌스

개요 전사차원의 모든 데이터에 대해 정책 및 지침, 표준화, 운영조직 및 책임등의 표준화된 관리 체계를 수립하고 운영을 위한 프레임워크 및 저장소를 구축하는것. 거버넌스 3대 구성요소 1. 원칙 : 데이터를 유지, 관리하기위한 지침, 가이드 2. 조직 : 데이터를 관리할 조직의 역할, 책임 3. 운영 : 데이터관리를 위한 활동과 체계 거버넌스 체계 1. 데이터 표준화 : 명명규칙, 메타데이터, 데이터사전 2. 데이터관리체계 : 데이터관리원칙 수립 3. 데이터저장소관리 : 메타 및 표준데이터 관리를 위한 전사차원의 저장소 구성 4. 표준화활동 : 거버넌스 체계 구축 후 표준준수여부 점검 분석준비도,성숙도, 결과진단 1. 분석준비도 (1) 분석인력 및 조직 (2) 분석문화 (3) 분석업무파악 (4) it인프..

[빅데이터분석기사,adsp] 빅데이터의 비유 4가지

1. 산업혁명의 석탄과 철 : 제조업, 서비스 분야 생산성 급증 2. 21세기 원유 : 필요한 정보를 제공 3. 생물학의 현미경 : 현미경이 생물학 발전에 끼쳤던 영향만큼 다양한 영항 끼치고 새로운 것을 발견하게함 (ex : 구글 ngram viewer) 4. 플렛폼 : 공동활용의 목적으로 구축된 유무형의 구조물 (ex: 페이스북, 카카오)

[빅데이터분석기사] 부문별 데이터베이스 발전과정

1. 제조부문 (1) 실시간 기업(RTE)이 대표적 화두 (2) 제조부문 ERP(전사자원관리, Enterprise Resource Planning) 시스템 도입과 dw, crm, bi등 기술 적용 2. 유통부문 (1) KMS(Knowledge Management System)를 위한 별도의 백업시스템 3. 물류부문 (1) CALS(commerce at light speed) : 제품생산, 설계, 개발, 유통에 이르기 까지 제품라이프사이클 전반의 데이터를 통합 (2) port-MIS : 항만운영정보시스템 (3) KROIS : 철도운영정보시스템 4. 지리부문 (1) GIS(Geograpic Information System) : 지리정보시스템 (2) LBS(Location-Based System) : 위치정..

DB/[이론] 2021.04.14

파이썬 매직메소드

메직메소드란? 특정 클래스의 객체가 builtin 함수(혹은 사칙연산)의 input값으로 사용될 때 그 output값을 정의하는것. 예를 들어 string의 객체인 a,b가 아래와 같이 있다고 하자. a="hi" b="bye" 이때 print()를 사용하면(print(a),print(b)) hi bye 위와 같이 나오고 a+b를 하면 hi bye 위와같은 결과를 얻는다. 그렇다면 우리가 직접 클래스를 정의하고 그 클래스의 객체가 print, +, add등의 built in 함수에 사용되었을 때 결과값을 정의해보자. 클래스 정의 및 매직메소드 정의 class Myclass: def __init__(self,name,tall): self.name=name self.tall=tall def __repr__(s..

데이터베이스 클러스터

정의 하나의 DB를 여러개의 서버상 구축(데이터 파티셔닝 : DB를 여러부분으로 분할) 데이터 통합시 성능, 가용성위해 DB차원의 파티셔닝 클러스터링 사용 장점 1. 병렬처리 : 빠른 데이터처리 검색 2. 고가용성 : 파티션에 장애생겨도 중단안됨 3. 선응향상 : 선형적 성능향상 리스크 공유 관점에서 구분 1. 무공유 (1) 완전히 분리된 데이터의 서브집합에 대한 소유권 갖음 (2) 각 데이터는 소유권 갖는 인스턴스가 처리 (3) 대부분 DB클러스터가 무공유 방식 (4) 장점 : 노드확장 제한없음 (5) 단점 : 별도의 폴트톨로런스 필요 2. 공유 (1) 각인스턴스는 모든 데이터에 접근 가능 (2) 데이터공유시 sah네트워크 필요 (3) 장점 : 폴트톨로런스 제공 (4) 단점 : 클러스터 커지면 병목현상..

DB/[이론] 2021.03.28

[ADP] CDC(Change Data Capture)

개념 1. DB내 데이터에 대한 변경 식별, 후속처리 자동화 2. 실시간 또는 근접 실시간 데이터 통합을 기반으로 DW구축 3. 스토리지 ~ 어플리케이션 등 다양한 계층, 다양한 기술로 구현 구현방법 1. time stamp on row : 변경이 반드시 인지되어야 하는 테이블 내 마지막 변경 시점을 기록하는 타임스템프 칼럼두고 변경 식별 2. version number on row : 변경이 인지되어야 하는 테이블 해당 레코드의 버전기록 칼럼을 두고 식별 3. status on rows : 1, 2의 보안용도. 데이터변경여부를 T/F로 저장 4. Time/version/status on rows : 1, 2, 3 모두 사용 5. triggers on tables : 트리거 이용하여 변경, 배포 6. e..

DB/[이론] 2021.03.22

[ADP] 빅데이터 시대 위기 요인과 해결 방안

1. 사생활침해 : 데이터로 인해 사생활 침해당함 => '사용자'가 동의하는 것이 아니라 '데이터 이용자'가 책임지는 형태로 변화해야함. 2. 책임원칙훼손 : 아직 저지르지 않은 범죄를 예측하여 처벌하면 안된다(영화 마이너리티 리포트). => 결과기반 책임원칙을 고수 해야한다. 3. 데이터 오용 : 데이터의 오용이 일어난다 => 알고리즘 접근을 허용해야 한다. (알고리즈미스트 : 알고리즘으로 부터 부당한 피해를 받지 않도록 사람들을 구제해 주는 직업)

[ADP] 분야별 데이터베이스

1. ERP : 전사적 자원관리. 인사, 재무 생산 등의 경영자원을 하나의 통합 시스템으로 구축 2. BI : 기업의 데이터를 정리해서 의사결정에 활용하는 프로세스 3. RTE : 실시간 기업의 새로운 경영시스템, 회사 전부분의 정보를 하나로 통합 4. EAI : 기업내 상호 연관된 모든 어플리케이션 연동 (중앙집중관리) 5. EAW : DW를 전사적 차원으로 확장 6. KMS : 지식관리시스템(기업경영을 지식이라는 관점에서 조명) 7. RFID : 주파수를 이용해 식별

DB/[이론] 2021.03.19

[ADP] OLTP와 OLAP

OLTP - 호스트 컴퓨터와 온라인으로 접속된 여러 단말기 간의 처리 형태. - 호스트 컴퓨터가 데이터베이스를 엑세스하고 바로 처리결과 돌려줌. - 트랜젝션 중심 OLAP - 비즈니스 관점에서 쉽고 빠르게 데이터에 접근해서 의사결정에 활용할 수 있는 정보를 얻을 수 있게 해주는 기술 - 중간 매개자나 매개체 없이 대화식으로 정보를 분석하고 의사결정에 활용. 다차원 데이터 대화식 분석 - OLAP의 탐색기법

DB/[이론] 2021.03.16