4주차 프로젝트 1주차 내용

4주차 프로젝트 1주차가 마무리 되었다.

 

1. 구현 내용

naver 오픈 검색 api를 이용한 식당데이터 수집(본인) , 29만건 수집

db schema 설계(전체적인 설계)(본인) ->팀원에게 피드백을 받으면서 하나하나 수정(회의하면서 진행함) ,

주요 중요 테이블 (식당 설계, 음식 카테고리 테이블 설계) ,

기존 카테고리 데이터를 가지고 새롭게 카테고리 테이블을 수정하는 작업 필요(팀원에게 맡김)

카테고리 테이블 값 수정 작업 (본인),

naver api를 이용해 가져온 식당 값 정보 중 중복데이터 값 제거 (중복제거시 29만건 ->12만건으로 감소)

식당 제목 정보 잘못된 내용 업데이트(&amp; -> & 으로 변경 <b> 태그 제거)

카텍좌표 -> 위도 경도 바꾸기 완료

하지만 오차가 500m이상 났음 

다음 플랜을 생각

주소값을 좌표로 변경하는 api를 알아냄

식당테이블의 주소정보를 가지고 좌표정보를 얻어서 db에 저장하는 작업 수행

하지만 기존 주소가 있을경우와 기존 주소가 없을 경우로 나뉨 

그리고 에러일떄가 생김 주소로 검색했음에도 불구하고 좌표값이 나오지 않는 경우가 생김 

에러케이스 저장중 

에러케이스에 따른 대비책은 다음주에 구현

 

2. 배운점

생각보다 데이터를 다룰때 알게모르게 에러 사항이 많이 생긴다. 

데이터를 많이 다루기 떄문에 아마도 문제가 생기는 사항으로 보인다. 

하나의 api를 써서 핸들링을 하더라도 기존의 데이터가 많으므로 여러가지 경우의 수를 생각하면서 끊임없이 테스트가 필요하다.

한땀한땀 조심스럽게 코드를 짜야한다.

delay를 잘걸어서 api요청이 급격하게 늘었을떄에 막히는 것을 방지해야한다.

코드를 구현할떄 function단위로 잘 묶어서 요청하는 것이 필요하다.