Skip to content

Selenium을 활용해, 현지야 서비스에 필요한 장소 정보를 크롤링하는 SpringBoot 서버

Notifications You must be signed in to change notification settings

TGT-SWM/HeyLocal-Crawling-Server

Repository files navigation

현지야 크롤링 서버

프로젝트 설명

현지야 서비스에서 제공하는 여러 데이터을 크롤링하기 위한 서버.
카카오 장소 검색 API에서 제공하지 않는 정보를 직접 크롤링하여 제공한다.


디렉토리 구조

├── .github
│   └── workflows : Github Action 관련 스크립트
└── gradle
│   └── wrapper : 빌드에 필요한 Gradle 래퍼 파일
└── src
│   ├── main : 메인 소스코드
└   └── test : 테스트 소스코드

패키지 구조는 아래 md 파일 참고
PACKAGE.md


환경

기술 스택

개발 환경

  • 개발 운영체제 : macOS Monterey 12.6
  • OpenJDK 18
  • WebDriver : ChromeDriver 107.0.5304.62 (mac - arm64)
  • WebBrowser : Chrome 107.0.5304.62 (mac - arm64)

배포 환경

  • 서버 운영체제 : Amazon Linux 2
  • AWS Services
    • EC2
    • RDS
  • DB (Cache)
    • MariaDB 10.6.8
  • WebDriver : ChromeDriver 107.0.5304.62 (linux - 64)
  • WebBrowser : Chrome 107.0.5304.62 (linux - 64)

사용 라이브러리

  • spring-boot-starter-web 2.6.10
  • spring-boot-starter-validation 2.6.10
  • spring-boot-starter-data-jpa 2.6.10
  • mapstruct 1.5.2
  • selenium-java 4.5.3

프로젝트 결과물

API

Method EndPoint 설명
------ 장소 ------
GET /place/menu 장소의 정보 조회

기여

이름 구현
우태균 - 크롤링 로직 구현
- API 구현
- Infra 설계 및 구현
- CI/CD 환경 구현

팀원

이름 역할 GitHub Blog
drawing 우태균 TL/Server GitHub 프로필 개발 블로그
drawing 신우진 Server/Client GitHub 프로필 개발 블로그
drawing 최정인 Client GitHub 프로필 개발 블로그



License: MIT


최종 수정일 : 2022-11-04

About

Selenium을 활용해, 현지야 서비스에 필요한 장소 정보를 크롤링하는 SpringBoot 서버

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published