[테크니컬 SEO] Screaming frog SEO Spider 크롤링 툴 기본 설명 및 초기 설정/세팅 방법

안녕하세요 플러스제로 입니다    오늘은 테크니컬 SEO 를 할 때 유용하게 활용할 수 있는 툴, Screaming Frog 툴이 무엇인지, 어떤 상황에서, 어떻게 쓸 수 있는지 공유해드리려고 합니다.   Screaming Frog SEO Spider   Screaming Frog SEO Spider란, 왜 써야할까? 웹사이트의 SEO 최적화 작업을 할 때,  무엇보다 중요한 건 웹사이트가 검색 엔진과 사용자에게 잘 노출될 수 있도록 하는 것입니다.   이를 위해서는 웹사이트 내의 다양한 요소들을 꼼꼼하게 점검해야 하는데,  이때 중요한 도구 중 하나가 바로 Screaming Frog SEO Spider입니다.   a.k.a 업계에서는 소리지르는 개구리 라고도 불리죠 :D   Screaming Frog SEO Spider     Screaming Frog는 SEO 전문가들 사이에서 널리 사용되는 도구로, 웹사이트의 크롤링 및 분석을 통해  사이트의 SEO 상태를 점검하고, 문제점을 파악하는 데 유용합니다. Screaming Frog의 주요 기능 7 가지 Screaming Frog는 강력한 기능을 제공하는 도구로,  웹사이트의 SEO 상태를 점검할 수 있는 다양한 기능을 갖추고 있습니다. 주요 기능을 살펴보겠습니다.   1. 사이트 크롤링 Screaming Frog는 지정된 URL을 크롤링하여 사이트 내의 모든 페이지를 확인합니다. 이 과정에서 페이지 제목, 메타 설명, 헤더 태그, 이미지 alt 태그 등 SEO에 중요한 요소들을 수집합니다. 크롤링 후, 각 페이지의 상태를 분석하여 문제를 일으킬 수 있는 요소들을 찾아냅니다.   2. Broken Links (깨진 링크) 탐지 웹사이트에 있는 깨진 링크는 사용자 경험을 저하시킬 뿐만 아니라, 검색 엔진 크롤러에게도 좋지 않은 신호를 보냅니다. Screaming Frog는 사이트 내의 모든 내부 및 외부 링크를 체크하여 깨진 링크를 쉽게 찾아냅니다. 이렇게 식별된 깨진 링크는 즉시 수정하여 SEO 문제를 해결할 수 있습니다.   3. 메타 데이터 분석 페이지 제목(title), 메타 설명(description), 헤더 태그(H1, H2 등)는 SEO에 매우 중요한 요소들입니다. Screaming Frog는 각 페이지의 메타 데이터를 확인하여, 중복되거나 누락된 메타 정보를 알려줍니다. 이 정보를 바탕으로 검색 엔진 최적화 작업을 진행할 수 있습니다.   4. 이미지 최적화 확인 웹사이트 속도는 SEO에 중요한 요소입니다. 이미지 파일의 크기가 크면 페이지 로딩 속도가 느려져 검색 엔진에 불리하게 작용할 수 있습니다. Screaming Frog는 이미지 파일의 크기를 분석하여, 최적화되지 않은 이미지나 alt 태그가 빠진 이미지를 찾아냅니다. 이를 통해 이미지 최적화 작업을 할 수 있습니다.   5. 사이트 구조 및 내부 링크 분석 웹사이트의 구조가 검색 엔진 최적화에 큰 영향을 미칩니다. Screaming Frog는 사이트의 내부 링크 구조를 분석하고, 잘못된 링크나 중복된 콘텐츠, 불필요한 리디렉션 등을 식별합니다. 이 정보를 바탕으로 더 나은 사이트 구조를 설계할 수 있습니다.   6. 리디렉션 확인 Screaming Frog는 페이지 리디렉션 상태를 검사하고, 301(영구적 리디렉션) 및 302(임시 리디렉션)의 사용 여부를 점검합니다. 잘못된 리디렉션은 검색 엔진 크롤링에 문제를 일으킬 수 있기 때문에, 이를 확인하고 수정하는 것이 중요합니다.   7. XML 사이트맵 생성 Screaming Frog는 웹사이트의 XML 사이트맵을 생성할 수 있는 기능을 제공합니다. 사이트맵은 검색 엔진에게 웹사이트의 구조를 알리는 중요한 파일이므로, 이를 통해 검색 엔진이 웹사이트를 효율적으로 크롤링하도록 도울 수 있습니다. Screaming Frog 의 주요 기능 사용 방법  Screaming Frog 상단에는 기초적인 설정을 진행할 수 있는 메뉴들이 있는데요, File, View , Mode, Configuration, Bulk Export, Reports, Sitemaps, Visualisations, Crawl Analysis , License , Help   여러가지가 많지만, 실제로 여기 중 사용하게 되는 항목을 많지 않습니다   아래에서 주요 메뉴의 기초적인 세팅 방법을 소개해드릴게요! 1.    Screaming Frog – Mode 설정 Screaming Frog – Mode 설정   스크리밍 프로그를 통해서 사이트를 크롤링 할 때 많이 사용되는 옵션은 Spider 와 List 가 있습니다   1-1  Screaming Frog – Mode – Spider   Screaming Frog – Mode – Spider   Spider 모드는 상단에 진단하고자 하는 사이트의 url 을 상단 빈 칸에 입력한 후  초록색 START 버튼을 누르면 크롤링이 시작됩니다.   전체 URL 을 긁어오는 것이기 떄문에 시간이 좀 더 오래 걸릴 수 있지만, 전체적인 상황을 파악하기에 유용하죠.   1-2  Screaming Frog – Mode – List Screaming Frog – Mode – List   List 모드는 전체 사이트 파악이 아닌 일부 URL 들에 한하여 타겟을 한 후 진단을 할 때 사용됩니다. 이 네모 박스 입력칸 안에 원하는 url 들을 직접 붙여넣어 주세요   2.    Screaming Frog – Configuration – Robots.txt 설정 다음으로는 Robots.txt 설정입니다. Screaming Frog – Configuration – Robots.txt 설정   상단 메뉴에서 Config 를 누르면 Content – Robots.txt 항목이 있는데 Respect robots.txt 와 Ignore robots.txt 중에서 Ignore.robots.txt 를 권장드립니다. Robot.txt 는 네이버 , 구글 , 다음 등 검색 엔진의 봇들의 접근을 허용/방지 하는 필터링 역할을 해주는데, 사이트에서 Robots.txt 로 특정 봇을 제한한 상태라면 크롤링이 잘 안될 수 있으니 사이트의 설정을 Ignore 하 여 전체적인 URL 을 가져오겠다는 옵션입니다.     3.    Screaming Frog – Configuration – User Agent 설정 Screaming Frog – Configuration – User Agent 설정   위의 Robots.txt 와 비슷한 맥락인데요, Ignore Robots.txt 를 하더라도, 해당 사이트에서 크롤링 작업을 이상하게 감지하지 않도록 Screaming frog 도 일정의 Bot 처럼 방문하게 됩니다. 이때, 기본적으로 많은 사이트가 허용해두는 Googlebot 처럼 갈 수도 있고, 종종 크롤링이 잘 안되면 ‘Screaming Frog SEO Spider’ 로 설정하시면 수월할 때가 많이 있습니다.   4.    Screaming Frog – Configuration – API Access Google analytics | Google Search Console 연동 방법           Screaming Frog – Configuration – API Access Google analytics | Google Search Console 연동 방법   SEO 를 하고 계신 분들이라면 Organic 유입 데이터를 확인하기 위해 Google Analytics 같은 유저 로그 분석 툴을 이미 사용하고 계시거나 Google search console 같은 Organic 키워드 유입 현황 데이터도 트래킹 하고 계실 것 같은데요 , 이런 유명한 GMP 솔루션 외에도 SEO 관련 데이터를 함께 확인할 수 있는 API 연동 서비스가 지원됩니다.     Screaming Frog – Configuration – API Access Google analytics | Google Search Console 연동 방법       보통 이렇게 켜져있는 브라우저에서 연결되어 있는 구글 계정을 선택하도록 뜹니다.  4-1 Screaming frog Google Analytics4 연동 Screaming frog Google Analytics4 연동     스크리밍 프로그에 구글 애널리틱스를 연결할 땐 이렇게 연결할 계정 – 속성 – 데이터 스트림을 선택할 수 있고,   Screaming frog Google Analytics4 연동   이어서 날짜를 조정할 수 있으며     Screaming frog Google Analytics4 연동   GA4 에 수집되고 있는 전자상거래 이벤트 값 (구매, 조회,장바구니 넣기) 및 페이지 조회수, 세션수, 참여율 등의 정보도 가져올 수 있어요   Screaming frog Google Analytics4 연동     SEO 중점 툴이다 보니 측정 기준은 기본적으로 일반적인 랜딩페이지로 잡혀 있고, URL 은 옵션이 몇 가지 더 있어 원하시는 항목을 선택할 수 있습니다. 4-2 Screaming frog Google search console 연동               Screaming frog Google search console 연동     구글 서치 콘솔 역시 구글 계정을 로그인하면 사용하고 있는 구글 서치 콘솔 중 원하는 옵션을 선택할 수 있습니다.     Screaming frog Google search console 연동   날짜와 디바이스 정보 등을 확인할 수 있죠,       Screaming frog Google search console 연동   추가적으로 권장드리는 옵션은 URL Inspection 메뉴에 있는 ‘Enable URL Inspection’ 옵션을 활성화 하는 것 입니다.   그렇게 되면 구글에서 현재 인덱싱에 성공한 것 , 즉 다른 사람들이 뭔가 검색했을 때, 그 검색 결과에 우리 사이트의 특정 url 이 노출되고 있는지 여부를 확인할 수있고,   인덱싱이 안되어 있는 url 들을 한번 더 점검할 수 있습니다.       Screaming frog 를 사용하여 테크니컬 SEO 현황 점검 그럼, 위에서 설명드린 Screaming frog 기초 세팅 사항들을 참고하여 스크리밍 프로그를 돌렸을 때, 결론적으로 무엇을 체크해야할까요?   저희가 Screaming frog로 체크할 수 있는 사항을 기본적으로 다음과 같습니다. 1.    Meta data : Meta title, Meta description 이 해당 페이지를 설명하며, 권장되는 글자수 이내로 써져있는가? 2.    Heading tag : H1 태그가 각 페이지에 1개씩 있는지, 또, 적정한 계층 구조로 설정되어 있는가 3.    Redirection (Status type) : 해당 페이지가 404 Error 같은 문제 없이 200 으로 정상으로 작동하고 있고, 302 나 301 Redirection 이 발생하고 있는지? 4.    Canonical tag : 해당 웹 사이트에 여러개의 url 로 동일한 중복 컨텐츠가 조회되고 있을 때, 특정 페이지가 Canonical tag 설정이 잘 되어 있는지? 5.    OG Tag : SNS 에서 해당 페이지가 공유될 때 적절한 컨텐츠 문구가 노출되고 있는가? 6.    ALT TAG : 이미지 알트 태그에 텍스트가 적절히 설정되어 있는가? ... 등 Screaming frog 를 사용하여 테크니컬 SEO 현황 점검       오늘은 이렇게 테크니컬 SEO (Technical SEO) 를 진행할 때 많이 쓰이는 툴인 Screaming FROG SEO Spider (스크리밍 프로그 SEO) 의 활용 방법 및 기초 설정에 대해 공유드렸습니다   궁금하신 부분들은 댓글로 남겨주세요!   감사합니다.