진행하던 크롤링 프로젝트가 있었는데 갑자기 사이트 크롤링에 문제가 생겼다. 오류창으로 UnicodeEncodeError: 'cp949' codec can't encode character '\xfa' in position 1: illegal multibyte sequence 를 만난것이다 . 잘되던 코드였기에 당황했고 디버깅을 진행하니 요런 외계어문자가 나를 반겨줬다. 무엇이 문제인고 하니 soup객체에서 모든 한글문자가 저런 외계어로 출력되는 것이었다. 바로 구글링을 통해 문제를 찾아보았는데, 결론부터 말하면 soup = BeautifulSoup(html, 'html.parser',from_encoding='cp949') 뒤의 옵션이 보이는가? from_encoding = 'cp949'를 통해 해결하였..