HTTP2 썸네일형 리스트형 AI와 함께한 크롤링 여정, 쿠팡을 뚫기까지 3년차 비전공 개발자의 현실 크롤링 기록크롤링? 쉽지 않죠. 하지만 AI와 함께라면 가능합니다.사람들은 말합니다. “쿠팡? 그거 크롤링 어렵다더라.”맞습니다. 하지만 방법을 알면 이야기가 달라집니다.쿠팡은 한두 번 뚫는다고 계속 되지 않는다쿠팡은 처음엔 셀레니움이나 플레이라이트로 접근 가능합니다.하지만 곧 HTTP2 차단, 세션 리셋, 자동화 탐지가 시작됩니다.그래서 저는 셀레니움 3.9와 크로미움을 선택했습니다.구글 크롬이 아닌, Chromium.exe를 직접 제어해야 합니다.“크롬 제어? 혼자 쓰는 건 괜찮지만, 판매하면 구글 정책 위반입니다.”내가 훈련당하고 있었다는 걸 나중에 알았다제 친구 중 한 명은 CTO급 개발자입니다.힌트는 주지만 절대 끝까지 안 알려줬습니다. 솔직히 개빡친 적도 있었죠. .. 더보기 이전 1 다음
