[항해 14기] 온보딩 개발일지 15 2023/03/22

웹종합 3주차

 

1. 파이썬

 

1-1. 설치

1) Window 환경에서 파이썬 설치 시 일어날 수 있는 오류

- 경로지정이 안되어 venv명령어가 안될 수 있음

- 윈도우 검색을 통해 시스템 환경 변수 편집 실행

환경 변수 클릭

시스템 변수에서 Path 선택

- 이후 새로만들기를 통해 Python이 설치된 경로를 추가

 

1-2 . 복습

api에서 영화목록, 평점, 설명, 댓글을 불러와 적용

출력화면

 

1-3. 파이썬 기초 문법

- tap이 문법에 포함

- print() : console.log()

- let없이 변수 선언 가능

- 배열, 인덱스, 객체 동일

- 함수 차이

 

1-4. 파이썬 패키지

- pip install requests 로 설치

- import requests : fetch와 같은 역할

사용 예시

 

 

2. 크롤링하기

2-1. BeautifulSoup

- requsts로요청, BeautifulSoup으로 솎아내기

- 크롤링을 위한 라이브러리

- 사용 예시

 

2-2. 검사 버튼을 통한 Copy selector

 

 

 

3. DB

3-1. SQL과 NoSQL

RDBMS(SQL) 행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사합니다. 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 어려울 것입니다. 그러나, 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이할 수 있습니다. ex) MS-SQL, My-SQL 등

No-SQL 딕셔너리 형태로 데이터를 저장해두는 DB입니다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없게 됩니다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있습니다. ex) MongoDB

 

3-2. 몽고DB 만들기

1)

build a database

2) 가격옵션 선택 후 aws - 지역 - create cluster

3) Username, Password -> Create User

4) ip설정 후 Add Entry

 

3-3. 몽고DB 연결

1) Python으로 연결

- pip install dnspython

- pip install pymongo

2) 연결 방법

몽고DB 호출, url은 하단에 설명

connect 클릭

Connect your application

python과 버전선택(3.6 later 권장) 이후 하단 오른쪽의 복사버튼

3) 몽고DB 명령어

- CRUD : Create, Read, Update, Delete

- C : 자료 추가(Collections에서 확인 가능)

- R : 읽어오기

모두 읽어오기	하나 읽어오기

- U : 수정

name값으로 접근해 age값 변경

- D : 삭제

- 코드모음

# 저장 - 예시 doc = {'name': 'bobby', 'age': 21} db.users.insert_one(doc) # 한 개 찾기 - 예시 user = db.users.find_one({'name': 'bobby'}) # 여러개 찾기 - 예시 ( _id 값은 제외하고 출력) all_users = list(db.users.find({}, {'_id': False})) # 바꾸기 - 예시 db.users.update_one({'name': 'bobby'}, {'$set': {'age': 19}}) # 지우기 - 예시 db.users.delete_one({'name': 'bobby'})

4) 스크래핑을 몽고DB에 저장

 

4. 퀴즈1

 

5. 숙제

- .strip() : trim()

- .text[0:2] : 텍스트 표기제한