גלה איך לתקן בקלות שגיאות 'חסום על ידי robots.txt' ולשפר את דירוג האתר שלך בגוגל!

איך לתקן שגיאות 'חסום על ידי robots.txt' ו'מדוד, אם כי חסום על ידי robots.txt' ב-Google Search Console

אתם יכולים להיות מבולבלים מהשגיאות שה-Google Search Console (GSC) מציג לכם: "חסום על ידי robots.txt" ו"מדוד, אם כי חסום על ידי robots.txt". שגיאות אלו מרמזות על בעיות בקובץ ה-robots.txt שלכם שיכולות להשפיע על קידום האתר שלכם במנועי החיפוש. במאמר זה נבין מה ההבדלים בין השגיאות הללו וכיצד ניתן לטפל בהן ביעילות.

מה ההבדל בין 'חסום על ידי robots.txt' ל'מדוד, אם כי חסום על ידי robots.txt'?

ההבדל המרכזי בין השגיאות הללו הוא ההיבט של האינדוקס:

חסום על ידי robots.txt: URL זה לא יופיע בתוצאות החיפוש של גוגל.
מדוד, אם כי חסום על ידי robots.txt: URL זה כן מדוד ונמצא באינדוקס, כלומר הוא יופיע בתוצאות החיפוש למרות שניסיתם לחסום אותו בקובץ ה-robots.txt.

האם ה-URL שלי באמת חסום ממנועי החיפוש אם חסמתי אותו בקובץ robots.txt?

התשובה היא לא. אף URL לא חסום לחלוטין ממנועי החיפוש אם חסמתם אותו בקובץ ה-robots.txt. גוגל מפורטת במדריכים שלה שהיא לא יכולה להבטיח שהדף לא ייכנס לאינדוקס אם הוא חסום בקובץ זה. זכור שהשימוש בקובץ robots.txt הוא בלבד כדי לשלוט על crawl (סריקה) ולא על האינדוקס.

איך לתקן 'חסום על ידי robots.txt' ב-Google Search Console?

סקירה ידנית של כל הדפים המסומנים בשגיאה

בצעו סקירה ידנית של כל הדפים המופיעים בדיווח "חסום על ידי robots.txt" ב-GSC. כדי לגשת לדיווח, פתחו את Google Search Console > דפים > בדקו את החלק "חסום על ידי robots.txt". לאחר מכן, אתם יכולים לייצא את הנתונים לגיליון Google, Excel או קובץ CSV כדי לסנן את המידע.

קבעו אם התכוונתם לחסום את ה-URL ממנועי החיפוש

בדקו אם ה-URL שציינתם הוא באמת צריך להיות חסום ממנועי החיפוש. יתכן שאתם חסמתם דפים כמו דפי תודה או דפים עבור צוותי מכירות.

הסרת הוראת חסימה אם חצי בטעות

אם חסמתם בטעות URL על ידי הוספת הוראת disallow לקובץ ה-robots.txt, הסירו את ההוראה והגישו את ה-URL מחדש לקול פרוייקט ה-GSC עם בקשה לאינדוקס.

איך לתקן 'מדוד, אם כי חסום על ידי robots.txt' ב-Google Search Console?

סקירה ידנית של כל הדפים המסומנים

כיצד לגשת לדיווח "מדוד, אם כי חסום על ידי robots.txt"? תמיד כדאי לבדוק את הדפים המופיעים בדיווח זה על מנת לקבוע אם הם צריכים להיות חסומים ממנועי החיפוש.

קבעו אם ה-URL הזה באמת צריך להיות מדוד

האם ה-URL הזה מכיל תוכן יקר ערך עבור המשתמשים?
האם התכוונתם לחסום את הדף למנועי החיפוש?

הסרת הוראת חסימה ובקשה לאינדוקס

אם אתם רוצים שהדף ייכנס לאינדוקס, עליכם להסיר את ההוראת חסימה ולאחר מכן לבקש מגוגל לסרוק את הדף מחדש.

שגיאות ופתרונות נוספים

אם אתם נתקלתם בשגיאות נוספות, תמיד מומלץ לעדכן את מדיניות הסריקה שלכם ולהתאים את קובץ robots.txt לצרכים שלכם. וודאו שאתם מבינים את המטרה של כל שורה בקובץ זה.

היודעים והמקצועיים בתחום ה-SEO צריכים לעבור על כל השגיאות המופיעות ב-GSC ולהתאים את האסטרטגיה שלהם על מנת לקבל אינדוקס של התוכן החשוב להם.

נוסף על כך, מומלץ לעקוב אחרי הביצועים של הדפים שלכם לאחר תיקון הבעיות לדוחות מנתונים ב-GSC.

לסיום

הניסיון לתקן בעיות ב-Google Search Console יכול להיות מתסכל, אך הבנת השגיאות היא הצעד הראשון למנוע בעיות בהמשך. חשוב לבצע ניטור מתמיד של דפי האתר שלכם כדי לוודא שאין שגיאות שחוזרות על עצמן.

עם זמן, ניסיון וכלים מתאימים, תוכלו להבטיח שהאתר שלכם מתפקד באופן הטוב ביותר במנועי החיפוש ויוכל להביא לתוצאות טובות יותר בעסק שלכם. 💻🌐