데이터 전환
1. 1 데이터 전환
운영 중인 기존 정보 시스템(As-is)에 축적되어 있는 데이터를 추출(Extraction)하여 새로 개발할 정보 시스템(To-be)에서 운영 가능하도록 변환(Transformation) 후, 적재(Loading)하는 일련의 과정
-> ETL(Extraction, Transformation, Loading): 추출, 변환, 적재 과정
-> 데이터 이행/이관(Data Migration)
1.2 데이터 전환 계획서
데이터 전환이 필요한 대상 분석해 작업에 필요한 모든 계획을 기록
- 데이터 전환 개요 목표, 주요 성공 요인, 전제조건 및 제약 조건
- 데이터 전환 대상 및 범위
- 데이터 전환 환경 구성 원천 시스템 구성도(As-Is 시스템), 목적 시스템 구성도(To-Be 시스템), 전환 단계별 DISK 사용량
- 데이터 전환 조직 및 역할 데이터 전환 조직도, 조직별 역할
- 데이터 전환 일정
- 데이터 전환 방안 데이터 전환 규칙,절차, 방법, 설계, 계획 , 전환 프로그램 개발 및 테스트 계획, 데이터 검증 방안
- 데이터 정비 방안 데이터 정비 대상 및 방법, 일정 및 조직
- 비상 계획 종합상황실 및 의사소통 체계
- 데이터 복구 대책
1.3. 데이터 전환 환경 구성
- 원천 시스템 구성도
- As-Is 시스템의 서버, 스토리지, 네트워크 등 포함해 작성 - 목적 시스템 구성도
- To-Be 시스템의 서버, 스토리지, 네트워크 등 포함 - 전환 단계별 DISK 용량 선정
- 전환 검증 / 시험 / 본 전환 단계별 요구 File 및 DB 공간 산정 후 기술
1. 4. 데이터 전환 방안
- 데이터 전환 규칙
- 공통 적용할 규칙 기술 - 데이터 전환 절차
- 준비, 설계/개발, 테스트, 실데이터 전환, 최종 전환 및 검증 절차를 체계적이고 상세하게 기술- 흐름도 작성
- 데이터 전환 방법
- 단위 업무별 기술- 요구 전제조건 함께
- 데이터 전환 설계
- 업무별 대상 및 제외 대상 기술- As-Is 시스템 테이블과 To-Be 시스템 테이블의 매핑 정의서 작성
- 전환 프로그램 개발 및 테스트 계획
- 전환 프로그램
- 목록별 프로그램 입력 정보, 중간 생성 정보, 출력 정보, 프로그램 위치, 담당자 등
- As-Is 시스템에서의 사용 데이터 세부 항목
- 테스트
- 체크리스트 기반
- 실시 결과를 전환 시나리오에 반영하도록 계획
- 전환 프로그램
- 데이터 전환 계획
- 선 전환 / 본 전환 / 후 전환으로 분리(시간 단축) - 데이터 검증 방안
- 전환 데이터의 정합성 검증- 전환 중 발생 가능한 문제에 대응 가능하도록 단계별 데이터 전환 검증 방안 수립하여 기술
1. 5. 데이터 검증
전환 과정이 정상 수행되었는지 여부 확인
검증 방법
- 응용 프로그램 검증
- 값 검증
- 기본 항목 검증
- 로그 검증: 데이터 전환 과정에서 작선한 추출/전환/적재(ETL) 로그 검증
- 추출(E) 단계
- As-Is 시스템 데이터 정합성 확인
- 전환(T) 단계
- 매핑 정의서 내용 반영 여부 확인
- 매핑 정의서 오류 확인
- DB 적재(L) 단계
- SAM 파일 적재 과정에서 발생 가능한 오류 혹은 데이터 누락 여부 확인
- 추출(E) 단계
검증 단계
단계 | 방법 |
추출 | 로그 |
전환 | 로그 |
DB 적재 | 로그 |
DB 적재 후 | 기본 항목 |
전환 완료 후 | 응용 프로그램 / 응용 데이터 |
1.6. 오류 데이터 측정
데이터 품질 분석 후 오류 찾기 위해 As-Is 시스템과 To-Be 시스템 데이터의 정합성 확인
- 정상 데이터 및 오류 데이터 수 측정
- 오류 관리 목록 작성
- 정상 데이터: 전환 대상 범위 내 데이터를 업무 영역 / 테이블별 구분 후 수량 측정/기재
- 오류 데이터: 업무별 오류 위치 / 유형 확인 후 수량 측정 / 기재
1.7 오류 데이터 정제
오류 관리 목록 내 각 항목 분석해 As-Is 데이터 정제하거나 전환 프로그램 수정
- 오류 데이터 분석
- 오류 상태 / 심각도 / 해결 방안(수정 불가 오류이면 고객과 협의 결과) 확인 및 기재
1.8 데이터 정제요청서
As-Is 데이터 정제 혹은 전환 프로그램 수정을 위한 요청사항 및 조치사항 등 전반 내용을 문서 작성
- 데이터 정제 요건 목록: 오류 관리 목록 기반
- 정제 요건 목록 내 항목별로 제이터 정제 요청서 작성
- 정제 유형
- 완전성 / 유효성 / 일치성 / 유일성 등
- 정제 방법
- 원천 / 전환 / 모두
- 상태
1.9 데이터 정제 보고서
정제 요청서로 As-Is 데이터가 정상적으로 정제되었는지 확인 결과를 문서 작성
- 요청 데이터와 정제된 항목 육안으로 직접 비교
- 데이터 전환 프로그램으로 전환하여 오류 발생 여부 확인
- 정제 ID별 작성
- 데이터 전환 결과 외 오류 데이터 원인, 실제 데이터 정제 건수, 향후 대응 방안 등 포함
2. 데이터 표준화
- 시스템을 구성하는 데이터 요소의 명칭, 정의, 형식, 규칙에 대한 원칙을 수립하고 적용하는 것을 의미
2.1 데이터 표준의 종류 #단도코용
-표준 단어: 업무에서 사용하고 일정한 의미를 갖고 있는 최소 단위의 단어
-표준 도메인: 문자, 숫자, 날짜, 시간형과 같이 칼럼을 성질에 따라 그룹핑 한 개념
-표준 코드: 선택할 수 있는 값을 정형화하기 위해 기준에 맞게 이미 정의된 코드값
-표준 용어: 단어, 도메인, 코드 표준이 정의되면 이를 바탕으로 표준 용어 구성
5) 데이터 관리 조직
- 데이터 표준 원칙/표준의 준수 여부 등을 관리자: 데이터 관리자(DA), 데이터베이스 관리자(DBA)
'Challenges > 정보처리기사' 카테고리의 다른 글
[정보처리기사]4.프로그래밍 언어 활용/서버 프로그램 개발 환경 구축/개발환경 구축 (0) | 2022.07.02 |
---|---|
[정보처리기사]3.데이터베이스 구축/물리 데이터베이스 설계/데이터베이스 회복(Database Recovery) (0) | 2022.07.02 |
[정보처리기사]3.데이터베이스 구축/SQL 활용/병행제어 (0) | 2022.06.19 |
[정보처리기사]3.데이터베이스 구축/SQL 활용/쿼리성능 최적화 (0) | 2022.06.18 |
[정보처리기사]3.데이터베이스 구축/SQL 활용/ORM(Object-Relational Mapping) (0) | 2022.06.17 |