[정보처리기사] Chapter 05. 데이터베이스 구축: 데이터전환

1. 데이터 전환 

1.1. 데이터 전환의 정의 

 데이터 전환이란 운영 중인 기존 정보 시스템에 추적되어 있는 데이터를 추출하여, 새로 개발할 정보 시스템에서 운영 할 수 있도록 변환한 후, 적재하는 일련의 과정을 말한다. 

 데이터 전환을 ETL(Extraction, Transformation, Load)이라고 하는데 이는 추출, 변환, 적재 과정이다. 또한 Data Migration(데이터 이행 또는 이관)이라고도 한다.

​

◍ ETL 과정: Extraction → Transformation → Load

​

1.2. 데이터 전환 계획서

데이터 전환이 필요한 대상을 분석하여 관련 작업 계획을 기록하는 문서이다.

 

항목	세부 항목
데이터 전환 개요	데이터 전환 목표, 주요 성공 요인, 전제조건, 제약조건
데이터 전환 대상 및 범위	-
데이터 전환 환경 구성	원천 시스템 구성도, 목적 시스템 구성도, 전환 단계별 디스크 사용량
데이터 전환 조직 및 역할	데이터 전환 조직도, 조직별 역할
데이터 전환 일정	-
데이터 전환 방안	데이터 전환 규칙/절차/방법/설계/계획, 전환 프로그램 개발 및 테스트 계획, 데이터 검증 방안
데이터 정비 방안	데이터 정비 대상 및 방법, 일정 및 조직
비상 계획	종합 상황실 및 의사소통 체계
데이터 복구 대책	-

 

 

---

2. 데이터 전환 계획서 작성

2.1. 데이터 전환 개요

 데이터 전환 계획서는 데이터 전환의 목표, 성공적인 데이터 전환을 위한 주요 요인, 데이터 전환 작업을 위한 전제 조건 및 제약 사항 기술한다. 목표는 간단하고 명료하게 정의하고, 전제 조건 및 제약 사항은 정확히 기술하여 혼선을 방지한다.

 

2.2. 데이터 전환 대상 및 범위

 단위 업무별로 데이터 전환 대상 정보, 해당 업무에 사용되는 테이블 수, 데이터 크기를 기술한다.

 

2.3. 데이터 전환 환경 구성

 원천 시스템과 목적 시스템의 구성도, 전환 단계별 디스크 사용량을 기술한다.

◍ 원천 시스템 구성도: 원천 시스템의 서버, 스토리지, 네트워크 등을 포함한 구성도 작성한다.

◍ 목적 시스템 구성도: 목적 시스템의 서버, 스토리지, 네트워크 등을 포함한 구성도 작성한다.

◍ 전환 단계별 디스크 용량 산정: 전환 검증, 시험 단계, 본 전환 단계별로 요구되는 File 공간과 데이터베이스 공간을 산정하여 기술한다.

 

2.4. 데이터 전환 조직 및 역할 작성

데이터 전환을 수행하고 결과를 검증할 작업자와 작업자별 역할을 상세히 기술한다.

 

2.5. 데이터 전환 일정 작성

 데이터 전환 및 검증 작업별로 상세하게 일정을 수립하여 작성한다. 관계자들 사이의 보고나 의사소통 등 효과적인 일정 관리를 위해 도식화 된 일정도 작성하여 포함한다.

 

 

---

3. 데이터 전환 방안

 데이터 전환 방안 항목에는 데이터 전환 규칙, 데이터 전환 절차, 데이터 전환 방법, 데이터 전환 설계, 전환 프로그램 개발 및 테스트 계획, 데이터 전환 계획, 데이터 검증 방안이 있다.

 

3.1. 데이터 전환 규칙

 데이터 전환 규칙 항목에는 데이터 전환 과정에서 공통적으로 적용해야 할 규칙들을 기술한다.

​

3.2. 데이터 전환 절차

 데이터 전환 절차 항목에는 전환 준비, 전환 설계/개발, 전환 테스트, 실데이터 전환, 최종 전환 및 검증의 데이터를 전환 절차를 체계적이고 상세하게 기술한다. 또한, 데이터 전환 절차 수립 시 작업의 이해를 위한 데이터 흐름도를 작성한다.

​

3.3. 데이터 전환 방법

 데이터 전환 방법 항목에는 단위 업무별로 데이터 전환 방법을 기술하되, 데이터 전환 시 업무별로 요구되는 전제 조건도 함께 기술한다.

​

3.4. 데이터 전환 설계

 데이터 전환 설계 항목에는 업무별로 전환 대상과 전환 제외 대상을 기술하고 원천 시스템 테이블과 목적 시스템 테이블의 매핑 정의서를 작성한다.

​

3.5. 전환 프로그램 개발 및 테스트 계획

 전환 프로그램 개발 및 테스트 계획은 전환 프로그램 개발 계획과 전환 프로그램 테스트 계획을 수립한 후 관련 내용을 기술한다. 목록 별로 프로그램 입력 정보, 중간 생성 정보,출력 정보, 프로그램 위치, 담당자 등을 포함하여 작성한다. 

 또한, 원천 시스템에서 사용하던 데이터를 목적 시스템으로 전환하기 위한 세부 데이터 항목을 전환 프로그램 목록별로 작성한다. 전환 프로그램 테스트는 체크리스트를 기반으로 실시하고 실시 결과를 전환 시나리오에 반영하도록 계획한다.

​

3.6. 데이터 전환 계획

 데이터 전환 계획은 데이터 전환 시간을 단축하기 위해 선 전환, 본 전환, 후 전환으로 분리하여 계획을 수립한 후 관련 내용을 기술하는 것을 말한다. 

 일자별 거래 내역, 일자별 근태 내역과 같은 대량의 데이터 테이블은 사전에 전환한다. 본 전환에 대한 세부 절차는 시간대별로 상세하게 작성하며, 본 전환 후에 수행해도 되는 대상을 정의한 하고, 후 전환 계획을 수립한다.

 [전환을 위한 준비 ~ 선 전환 ~ 본 전환 ~ 전환 점검 ~ 시스템 오픈 ~ 후 전환] 등의 작업별로 전환 시간, 담당자, 관리자 등을 지정한 전환 시나리오를 작성한다.

​

3.7. 데이터 검증 방안

 데이터 검증 방안 항목에는 데이터 전환 이후 전환 데이터의 정합성을 검증하고 전환 과정에서 발생할 수 있는 문제에 대응할 수 있도록 단계별 데이터 전환 검증 방안을 수립한 후 관련 내용을 기술한다.

 

 

---

4. 데이터 검증

4.1. 데이터 검증

 데이터 검증이란 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정을 말한다. 검증 방법과 검증 단계에 따라 분류할 수 있다.

 

4.2. 검증 방법에 따른 분류

◍ 로그 검증: 데이터 전환 과정에서 작성하는 추출, 전환, 적재 로그 검증

◍ 기본 항목 검증: 로그 검증 외에 별도로 요청된 검증 항목에 대해 검증

◍ 응용 프로그램 검증: 응용 프로그램을 통한 데이터 전환의 정합성 검증

◍ 응용 데이터 검증: 사전에 정의된 업무 규칙을 기준으로 데이터 전환의 정합성 검증

◍ 값 검증: 숫자 항목의 합계 검증, 코드 데이터의 범위 검증, 속성 변경에 따른 값 검증

​

4.3. 검증 단계에 따른 분류

검증 단계	목적	검증 방법
추출	원천 시스템 데이터에 대한 정합성 확인	로그 검증
전환	매핑 정의서 오류 여부 확인, 매핑 정의서에 정의된 내용이 정확히 반영되었는지 확인	로그 검증
DB 적재	SAM 파일 적재하는 과정에서 발생할 수 있는 오류, 데이터 누락 확인	로그 검증
DB 적재 후	적재 완료 후 정합성 확인	기본 항목 검증
전환 완료 후	데이터 전환 완료 후 추가 검증 과정을 통해 데이터 전환의 정합성 검증	응용 프로그램 검증 응용 데이터 검증

 

 

---

5. 오류 데이터 측정 및 정제

5.1. 오류 데이터 측정 및 정제

 오류 데이터 측정 및 정제는 고품질의 데이터를 운영 및 관리하기 위해 수행한다. 데이터 품질 분석을 진행하고 오류데이터를 측정하며, 해당 내용을 바탕으로 오류데이터를 정제한다.

​

◍ 데이터 품질 분석 → 오류 데이터 측정 → 오류 데이터 정제

 

5.2. 데이터 품질 분석

 데이터 품질 분석은 오류 데이터를 찾기 위해 원천 및 목적 시스템 데이터의 정합성(데이터의 값이 서로 모순 없이 일관되게 일치하는 정도)여부를 확인하는 작업이다.

​

5.3. 오류 데이터 측정

 오류 데이터 측정은 데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록을 작성하는 것이다.

 정상 데이터는 전환 대상 범위의 데이터를 업무 영역별, 테이블별로 구분하여 수량을 측정 하고 기재한다. 오류 데이터는 업무별로 오류 위치 및 유형을 확인하여 수량을 측정하고 기재한다.

 

5.4. 오류 데이터 분석

  오류 관리 목록의 오류 데이터를 분석하여 오류 상태, 심각도, 해결 방안을 확인하고 기재한다. 

 

1) 오류 데이터 분석 오류 상태

◍ Open: 오류 보고는 됐지만 분석되지 않은 상태

◍ Assigned: 오류 영향 분석 및 수정을 위해 개발자에게 오류를 전달한 상태

◍ Fixed: 개발자가 오류를 수정한 상태

◍ Closed: 수정된 오류에 대해 테스트를 다시 했을 때 오류가 발견되지 않은 상태

◍ Deferred: 오류 수정을 연기한 상태

◍ Classified: 보고된 오류를 관련자들이 확인했을 때 오류가 아니라고 확인한 상태

 

2) 오류 데이터 분석 심각도

◍ 상: 데이터 전환 수행 불가

◍ 중: 데이터 전환 전반에 영향을 주는 오류

◍ 하: 데이터 전환에 직접적인 영향은 없으나, 상황에 맞지 않는 용도 및 배치 오류

 

3) 오류 데이터 분석 해결방안

◍  위와 같은 기준과 방법으로 오류 데이터를 분석하고 해결 방안을 모색한다. 수정 가능한 오류는 해결 방안을 기재하고, 수정 불가능한 오류는 고객과 협의하여 협의 결과를 기재한다.

 

5.5. 오류 데이터 정제

 오류 관리 목록의 각 항목을 분석하여 원천 데이터를 정제하거나 전환 프로그램을 수정하는 과정이다.

 

 

---

6. 데이터 정제 요청서 및 정제 보고서

6.1. 데이터 정제 요청서

 데이터 정제 요청서는 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청 및 조치사항 등 데이터 정제와 관련된 전반적인 내용을 문서로 작성한 것이다.

 오류 관리 목록을 기반으로 데이터 정체 요건 목록을 작성하고, 이 목록의 항목별로 데이터 정제요청서를 작성한다.

​

6.2. 데이터 정제 요건 목록 작성

 오류 관리 목록의 각 항목에 대해 정제 유형을 분류하고 현재의 정제 상태를 정의한 것이다. 

1) 정제 유형

◍ 완전성: 업무상 반드시 필요한 자료가 누락된 경우

◍ 유효성: 항목의 값이 유효하지 않은 경우

◍ 일치성: 상호 관련이 있는 항목이 서로 다른 경우

◍ 유일성: 서로 상이해야 하는 항목의 값이 동일한 경우

◍ 기타: 그 외의 정제 유형

 

2) 정제 방법

◍ 원천: 원천 데이터의 정제가 필요한 경우

◍ 전환: 전환 프로그램의 수정이 필요한 경우

◍ 모두: 원천 데이터의 정제와 전환 프로그램의 수정이 모두 필요한 경우

 

3) 상태

◍ 요건 제기, 1~3차 검토/조치/확인 등 진행 상태를 기재

​

6.3. 데이터 정제 요청서 작성

 데이터 정제요청서에는 데이터 전환 시 발생한 오류의 수정을 위한 정제 요청의 전반적인 내용들을 작성하며, 데이터 정제 검토 시 신속한 의사 결정을 위해 오류사항의 해결 방안도 포함시킨다. 

 

6.4.  데이터 정제 보고서

 데이터 정제보고서는 데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것이다.

​ 정제 요청 데이터와 정제된 데이터 항목을 육안으로 직접 비교하여 확인한다. 정제된 데이터를 데이터 전환 프로그램을 이용하여 전환한 후 오류의 발생 여부를 확인하고 목적 데이터베이스에서 전환된 데이터를 확인한다. 정제된 데이터의 확인 결과를 반영한 데이터 정제보고서를 정제 ID별로 작성한다. 

 데이터 정제보고서는 데이터 전환 결과 외에도 오류 데이터의 원인, 실제 데이터 정제 건수, 향후 대응 방안 등을 포함한다.