Web/Crawling9 크롤링 시험 보호되어 있는 글 입니다. 2023. 4. 13. 네이버 이미지 데이터 수집 from selenium import webdriver as wb # 웹브라우저를 통제하기 위한 라이브러리 from selenium.webdriver.common.keys import Keys # 웹에게 값을 입력받기 위한 라이브러리 from selenium.webdriver.common.by import By # html 문서에서 태그와 선택자를 찾기 위한 라이브러리 from bs4 import BeautifulSoup as bs # 컴퓨터가 이해하기 쉬운 객체로 변환해주는 라이브러리 import time # 코딩 중간에 쉬는시간을 부여해주는 라이브러리 import os # 운영체제에서 제공되는 여러 기능을 파이썬에서 사용할 수 있게 해주는 라이브러리 from urllib.request import u.. 2023. 4. 13. 포켓몬 이미지 데이터 수집 1 포켓몬스터 공식 홈페이지에서 이미지 데이터 수집하기 바탕화면에 포켓몬도감이라는 폴더를 만들고 이미지 데이터를 다운로드 받아서 폴더 안에 하나씩 저장하기 from selenium import webdriver as wb # 웹 브라우저를 통제하기 위한 라이브러리 from selenium.webdriver.common.by import By # html 문서에서 태그와 선택자의 위치를 찾기 위한 라이브러리 from selenium.webdriver.common.keys import Keys # 웹에게 값을 입력하기 위한 라이브러리 from bs4 import BeautifulSoup as bs # 컴퓨터가 이해하기 쉬운 객체로 변경해주는 라이브러리 import time # 코드 중간에 쉬는 시간을 부여해.. 2023. 4. 12. Gmarket 상품정보 수집 더보기 find_element() => 동적인 화면(클릭, 검색버튼을 클릭)에서 요소를 불러오는 함수 soup.select() => 캡쳐된 화면(클릭이 불가)에서 요소를 불러오는 함수 from selenium import webdriver as wb # 웹 브라우저를 통제하기 위한 라이브러리 from selenium.webdriver.common.by import By # html 문서에서 태그와 선택자의 위치를 찾기 위한 라이브러리 from selenium.webdriver.common.keys import Keys # 웹에게 값을 '입력'하기 위한 라이브러리 from bs4 import BeautifulSoup as bs # 컴퓨터가 이해하기 쉬운 객체로 변환해주는 라이브러리 import pandas.. 2023. 4. 10. 한솥도시락 data 크롤링 from selenium import webdriver as wb # 웹브라우저를 제어하기 위한 라이브러리 from selenium.webdriver.common.keys import Keys # 웹에게 값을 "입력"받기 위한 라이브러리 from selenium.webdriver.common.by import By # html 문서에서 태그와 선택자의 위치를 찾기 위한 라이브러리 from bs4 import BeautifulSoup as bs # 컴퓨터가 이해하기 쉬운 객체로 변경해주는 라이브러리 import time # time.sleep(몇 초?) # 몇 초만큼 기다렸다가 다음 코드가 실행됨. ### 한솥도시락 전체 메뉴 및 가격크롤링 driver = wb.Chrome() driver.get('htt.. 2023. 4. 9. selenium 라이브러리 selenium 라이브러리 불러오기 웹페이지를 제어하기 위한 라이브러리 # 기본으로 내장된 라이브러리가 아니므로 설치해줘야 한다. !pip install selenium from selenium import webdriver as wb # webdriver -> 웹 브라우저를 제어하기 위한 라이브러리 from selenium.webdriver.common.keys import Keys # Keys : 웹을 통해서 값을 "입력"하기 위한 라이브러리 >> 컴퓨터용 키보드 selenium 환경설정 크롬드라이버를 항상 최신버전으로 유지해줘야 한다. # 크롬드라이버는 늘 최신버전으로 다운받아서 실행해야 한다. # 구글에 '크롬드라이버' 검색 # 사용 중인 크롬 버전과 일치하는 드라이버를 크롤링 폴더에 다운로드 #.. 2023. 4. 9. 이전 1 2 다음
