일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- 고전역학
- 인프라
- Spring Batch
- python
- write by GPT-4
- android
- 자바네트워크
- Database
- 시스템
- 소프트웨어공학
- JVM
- 역학
- GIT
- NIO
- lombok
- 자바
- write by chatGPT
- GPT-4's answer
- oracle
- 자바암호
- 코틀린
- 웹 크롤링
- Java
- 유닉스
- Spring boot
- kotlin
- 리눅스
- 뉴턴역학
- 파이썬
- chatGPT's answer
- Today
- Total
목록2024/04/25 (2)
Akashic Records
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cUQN7M/btsGVViRlzY/yRm3mrX3pRtu8nv9sNUckK/img.webp)
웹 API에 Authorization 헤더를 추가하여 JWT (JSON Web Token)를 사용한 인증 방법을 사용할 때는 requests 라이브러리의 headers 매개변수를 사용하여 요청을 보낼 수 있습니다. 이 방법은 API가 JWT 인증을 요구하는 경우 자주 사용됩니다. JWT를 사용한 Authorization 헤더 설정 예제import requestsfrom bs4 import BeautifulSoupdef fetch_jwt(response): # URL에서 웹 페이지를 가져옵니다. if response.status_code == 200: return response.headers.get('Authorization') else: return YO..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bKAB0F/btsGWbeMlN9/9mUqi601vCtwtN2ktTKwD0/img.webp)
사용자 인증이 필요한 웹사이트를 크롤링할 때는 일반적으로 로그인 세션을 유지하는 방법이 필요합니다. 이는 주로 requests 라이브러리의 Session 객체를 사용하여 처리할 수 있습니다. Session 객체는 서버와의 연결에서 쿠키를 자동으로 처리하고, 동일한 세션 상태를 여러 요청에 걸쳐 유지합니다. 이 방법을 사용하면 로그인이 필요한 페이지에서 데이터를 크롤링할 수 있습니다. 예제: 로그인이 필요한 사이트 크롤링아래는 로그인이 필요한 웹사이트에 로그인하고 데이터를 추출하는 기본적인 코드 예제입니다. 예제에서는 아이디와 패스워드를 사용하여 로그인을 수행하고, 이후에 인증된 세션을 통해 접근이 제한된 페이지의 데이터를 크롤링합니다.import requestsfrom bs4 import Beautifu..