localdata.go.kr 전체자료 CSV 업로드 목적 테이블

전체 자료를 csv 파일로 받은 걸 업로드 목적으로 만든 테이블 구조이다.

기존 테이블과 동일한 구조인데 index 부분을 좀 더 추가했다.

총 자료 개수는 1100만개 정도되고, 운영 자료만 450만개 정도 되더라.

 

DROP TABLE `LocaldataCSV`;
CREATE TABLE `LocaldataCSV` (
  `idx` int(11) NOT NULL COMMENT '번호',
  `opnSvcNm` varchar(200) DEFAULT NULL COMMENT '개방서비스명',
  `opnSvcId` char(10) NOT NULL COMMENT '개방서비스ID',
  `opnSfTeamCode` char(7) NOT NULL COMMENT '개방자치단체코드',
  `mgtNo` varchar(40) NOT NULL COMMENT '관리번호',
  `apvPermYmd` varchar(12) NOT NULL COMMENT '인허가일자',
  `apvCancelYmd` varchar(12) DEFAULT NULL COMMENT '인허가취소일자',
  `trdStateGbn` varchar(5) NOT NULL COMMENT '영업상태코드',
  `trdStateNm` varchar(100) DEFAULT NULL COMMENT '영업상태명',
  `dtlStateGbn` varchar(4) DEFAULT NULL COMMENT '상세영업상태코드',
  `dtlStateNm` varchar(255) DEFAULT NULL COMMENT '상세영업상태명',
  `dcbYmd` varchar(12) DEFAULT NULL COMMENT '폐업일자',
  `clgStdt` varchar(12) DEFAULT NULL COMMENT '휴업시작일자',
  `clgEnddt` varchar(12) DEFAULT NULL COMMENT '휴업종료일자',
  `ropnYmd` varchar(12) DEFAULT NULL COMMENT '재개업일자',
  `siteTel` varchar(100) DEFAULT NULL COMMENT '전화번호',
  `siteArea` varchar(18) DEFAULT NULL COMMENT '소재지면적',
  `sitePostNo` varchar(7) DEFAULT NULL COMMENT '지번우편번호',
  `siteWhlAddr` varchar(200) DEFAULT NULL COMMENT '지번주소',
  `rdnWhlAddr` varchar(200) NOT NULL COMMENT '도로명주소',
  `rdnPostNo` varchar(7) DEFAULT NULL COMMENT '도로명우편번호',
  `bplcNm` varchar(100) NOT NULL COMMENT '사업장명',
  `lastModTs` varchar(20) DEFAULT NULL COMMENT '최종수정일자',
  `updateGbn` char(1) DEFAULT NULL COMMENT '데이터갱신구분',
  `updateDt` date DEFAULT NULL COMMENT '데이터갱신일자',
  `uptaeNm` varchar(100) DEFAULT NULL COMMENT '업태구분명',
  `x` char(20) DEFAULT NULL COMMENT '좌표정보(X)',
  `y` char(20) DEFAULT NULL COMMENT '좌표정보(Y)',
  `display` tinyint(2) NOT NULL DEFAULT 1,
  `region` varchar(10) DEFAULT NULL COMMENT '지역'
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci COMMENT='Local Data Table';
 
ALTER TABLE `LocaldataCSV`
  ADD PRIMARY KEY (`idx`),
  ADD UNIQUE KEY `mgtNo` (`opnSfTeamCode`,`mgtNo`,`opnSvcId`) USING BTREE,
  ADD KEY `bplcNm_rdnWhlAddr` (`bplcNm`,`rdnWhlAddr`,`trdStateGbn`),
  ADD KEY `region` (`region`),
  ADD KEY `apvPermYmd` (`apvPermYmd`),
  ADD KEY `roadAddress` (`rdnWhlAddr`),
  ADD KEY `jiAddress` (`siteWhlAddr`),
  ADD KEY `uptaeNm` (`uptaeNm`);
 
ALTER TABLE `LocaldataCSV`
  MODIFY `idx` int(11) NOT NULL AUTO_INCREMENT COMMENT '번호';
COMMIT;
 

 

테이블 구조 SQL 파일

LocaldataCSV.sql

0.00MB

 

이제 전체자료 csv 파일을 서버에 업로드하고 자료를 자동으로 읽어들이는 코드를 구현해야 한다.

파일 개수가 너무 많아서 메모리 걱정도 되고 그렇지만 시도해보려고 한다.