본문 바로가기
728x90

분류 전체보기975

웹 크롤링에 robots.txt 적용하기 웹 크롤링을 수행할 때 robots.txt 파일의 규칙을 준수하는 것은 매우 중요합니다. robots.txt는 웹사이트가 웹 크롤러에게 어떤 부분을 크롤링해도 되고 어떤 부분을 크롤링하지 말아야 하는지를 알려주는 파일입니다. 이 파일을 존중하고 준수함으로써, 웹사이트의 리소스를 보호하고, 크롤러가 차단되는 상황을 피할 수 있습니다. robots.txt 파일 이해하기robots.txt 파일은 주로 웹사이트의 루트 디렉토리에 위치하며, 다음과 같은 형식으로 작성됩니다:User-agent: *Disallow: /some-directory/Disallow: /another-directory/위 예에서 User-agent: *는 모든 크롤러에게 적용된다는 것을 의미하며, Disallow 지시어는 크롤러가 접근을 .. 2024. 4. 30.
4월의 유혹(Enchanted April) 엘리자베스 본 아른임 "Enchanted April"은 엘리자베스 본 아른임에 의해 쓰여진 소설로, 1922년에 출판되었습니다. 이 책은 변화와 자기 발견의 여정을 추구하는 네 명의 여성의 이야기를 따라갑니다. 이야기는 런던의 비 오는 날, 루프렛사 윌킨스와 로즈 아버너시가 우연히 신문 광고를 보게 되면서 시작됩니다. 이 광고는 이탈리아 리비에라의 성을 한 달간 빌릴 수 있다고 알리는 것이었습니다. 각기 다른 문제와 불만을 안고 있는 이 두 여성은 일상에서의 탈출을 꿈꾸며, 이 기회를 잡기로 결심합니다. 루프렛사와 로즈는 서로를 잘 알지 못하지만, 함께 여행 비용을 분담하고 추가적인 동행을 구하기 위해 노력합니다. 그 결과, 아름다운 그러나 불만 많은 젊은 여성 레이디 카롤라인 덴스터와 노년의 과부 미세스 피셔가 여행에 합류.. 2024. 4. 26.
학습사이트 http://books.toscrape.com 크롤링 결과 DB 저장 파이썬에서 MySQL 데이터베이스를 사용하여 유틸리티 모듈을 만드는 것은 매우 효과적인 방법입니다. 여기서 설명하는 모듈은 MyBatis와 유사하게 데이터베이스 연결, 쿼리 실행, 트랜잭션 관리 등을 쉽게 처리할 수 있도록 도와줍니다. 다음은 기본적인 파이썬 데이터베이스 유틸리티 모듈을 설계하는 방법에 대한 개요입니다. 1. 필요한 라이브러리 설치MySQL과의 연동을 위해 mysql-connector-python 패키지를 사용할 수 있습니다. 이 라이브러리는 MySQL 서버와의 연결 및 쿼리 실행을 지원합니다.pip install mysql-connector-python 2. 데이터베이스 연결 관리데이터베이스 연결을 관리하는 클래스를 만들어 보겠습니다. 이 클래스는 데이터베이스에 연결하고 연결을 종료하는.. 2024. 4. 26.
자바에서 파이썬 코드 호출하기 자바에서 파이썬 코드를 호출하는 것은 몇 가지 방법을 통해 가능합니다. 여기에 가장 흔하게 사용되는 두 가지 방법을 소개하겠습니다. 1. Jython 사용하기Jython은 자바 플랫폼에서 파이썬 코드를 실행할 수 있게 해주는 인터프리터입니다. Jython을 사용하면 자바 프로그램 내에서 직접 파이썬 코드를 실행할 수 있습니다. 설치 방법:Jython 공식 웹사이트에서 Jython Jar 파일을 다운로드합니다.자바 프로젝트에 Jython Jar 파일을 추가합니다.예제 코드:import org.python.util.PythonInterpreter;public class JythonExample { public static void main(String[] args) { PythonInter.. 2024. 4. 26.
Java ProcessBuilder와 Process API ProcessBuilder와 Process 클래스는 자바에서 외부 프로세스를 실행하고 관리하기 위해 사용됩니다. 이 클래스들을 사용하면 자바 코드 내에서 다른 애플리케이션을 실행하고, 그 입력과 출력을 관리할 수 있습니다. 아래에서는 ProcessBuilder와 Process 클래스의 주요 기능과 메소드들을 상세히 설명하겠습니다. ProcessBuilder 클래스ProcessBuilder 클래스는 프로세스의 실행 환경을 설정하는 데 사용됩니다. 이 클래스의 인스턴스는 실행할 프로그램과 그 인자들을 설정하고, 프로세스의 환경 변수와 작업 디렉토리를 구성할 수 있습니다. 주요 생성자와 메소드생성자ProcessBuilder(String... command): 실행할 명령과 그 인자들을 받습니다.ProcessB.. 2024. 4. 26.
Python 사용자 인증 (JWT) 받기 웹 API에 Authorization 헤더를 추가하여 JWT (JSON Web Token)를 사용한 인증 방법을 사용할 때는 requests 라이브러리의 headers 매개변수를 사용하여 요청을 보낼 수 있습니다. 이 방법은 API가 JWT 인증을 요구하는 경우 자주 사용됩니다. JWT를 사용한 Authorization 헤더 설정 예제import requestsfrom bs4 import BeautifulSoupdef fetch_jwt(response): # URL에서 웹 페이지를 가져옵니다. if response.status_code == 200: return response.headers.get('Authorization') else: return YO.. 2024. 4. 25.
728x90

티스토리툴바