העמודים שלכם שגוגל לא סרק – ואיך לאנדקס אותם בגוגל

ברגע שהאתר שלכם מחובר לגוגל סרצ’ קונסול, אחד הדברים היפים בכלי הזה הוא שאפשר לראות המון מידע נהדר על האתר.

הערה: המאמר הזה עוסק באיתור ובטיפול בעמודים ספציפיים שלא מופיעים בגוגל. אם כל האתר שלכם לא מופיע בכלל בגוגל, מציעה לכם לקרוא את המאמר למה האתר שלי לא מופיע בגוגל.

תחת הדוח כיסוי, אפשר לראות עמודים שנסרקו והכל תקין בהם (ירוק), עמודים שיש בהם שגיאות (אדום), זמין עם שגיאה (כתום) ועמודים שלא נסרקו (אפור).

דוח העמודים שלא נסרקו הוא הדוח המעניין מבין הארבעה.

עמודים תקינים שנסרקו (אדום) – הוא דוח פשוט. אם תקין – לא נוגעים, מקסימום משפרים.
עמודים שיש בהם שגיאה – מתקנים את השגיאה הכתובה.
עמודים שלא נסרקו – מציג נתונים הרבה יותר מעניינים.

Excluded – עמודים שלא כלולים בקונסול

כאמור, דוח העמודים הלא כלולים – הוא הדוח המעניין. דוח האקסקלודד בקונסול הוא מכרה זהב של דברים שכבר עשיתם וגוגל התעלמו מהם מכל מני סיבות. טיפול בהם, שבדרך כלל הוא פשוט – מאפשר לכם לאנדקס הרבה יותר עמודים באתר. אינדוקס כמה שיותר עמודים באתר הוא קריטי ל-SEO. אתרים גדולים יותר קל לקדם. לכן אי אפשר לקדם אתרים בלי בלוג.

לגוגל יש קטע מעצבן שהם לא סורקים אוטומטית את כל העמודים. ויותר מזה: יש עמודים שהם סורקים, אבל לא מכניסים ישר לאינדקס. לפעמים זה יכול לקחת גם חודשים. ככה אתם יכולים לקצר תהליכים.

ככה נראה דוח העמודים שלא אונדקסו:

נזחל ועוד לא אונדקס | התגלה – עוד לא אונדקס

שני הדוחות האהובים עלי הם עמודי “נסרק – לא נכלל באינדקס כרגע” ו”נסרק – אך לא הכלל באינדקס” (Crawled – currently not indexed; Discovered – currently not indexes).

כאמור גוגל לא מאנדקס עמודים באופן אוטומטי. צריך לשכנע את גוגל שיש להם ערך.

איך משכנעים את גוגל לאנדקס את העמוד שלכם?

הוספת קישורים פנימיים

הדרך הכי חכמה היא להוסיף קישור (או קישורים) פנימיים לעמוד. למשל ליצור קישור פנימי ממאמר אחר אליו. לפעמים אפשר גם לשים אותו בתפריט, למשל בפוטר. קישורים פנימיים היא דרך מצויינת לחזק את עמודי האתר, ולבנות קישורים למאמרים יעזור לעמוד לא רק להתאנדקס אלא גם לקפוץ במיקומים.

קישורים חיצוניים

אפשר להוסיף קישורים חיצוניים לעמוד. לקנות, להוסיף או להחליף קישורים שיפנו לעמוד שלא מתאנדקס. אם אתם לא מכירים עדיין בחשיבותם של קישורים לקידום האתר, תקראו את המאמר הזה על השגת קישורים.

הזרמת טראפיק לעמוד

הזרמת טראפיק לעמוד יכולה לשכנע את גוגל שהעמוד הזה חשוב. הדרכים הכי טובות להזרים טראפיק לעמודים הן באמצעות פרסום העמוד בניוזלטר ובאמצעות שיתופים ברשתות חברתיות.

שינוי URL

פעם עבדתי באתר שהתעסק במיניות בריאה. ללא מעט מהכתובות הURL כלל את המילה סקס. גוגל סירב לאנדקס את העמודים עד שהעפנו את המילה מכל URL שהוא.

אבל לא תמיד זה קיצוני כל כך. לפעמים שינוי הכתובת פשוט משנה את המזל של העמוד והוא מתאנדקס.

לבקש יפה מגוגל

1. מבקשים יפה. לחיצה על שם הדוח תוביל אותך לעמודים שכלולים בו.
2. לחיצה על זכוכית המגדלת תיקח אתכם לעמוד שלא נסרק
3. אתם יכולים לבקש ידנית שיסרקו לכם את העמוד

כדאי לעשות את זה אחרי שכבר הוספתם קישורים לעמוד הזה.

עוד סיבות שעמודים לא מופיעים בגוגל ומה לעשות את זה

Page with redirect – עמוד עם הפניה

אחלה. אין עם זה בעיה. מדובר העמוד ששונתה לו הכתובת בעקבות הפניה 301. כדאי רק לבדוק שהכתובת הנכונה של העמוד כן מופיעה בגוגל.

Excluded by ‘noindex’ tag –

תגית noindex אומרת מפורשות לזחלנים “אל תסרקו את העמוד הזה”. בדרך כלל נסמן עמודים שאין בהם ערך לגולשים. זה יכול להיות למשל עמוד עגלת קניות (להבדיל ממוצר), עמודי טמפלייטים ולא פעם גם עמודי תגיות שמציגים תוכן משוכפל מעמודי קטגוריות או עמודי תגיות אחרים. לא מתרגשת מזה בכלל.

Not found (404)

עמודים עם שגיאה 404: העמוד המבוקש לא נמצא. נוריד דוח של כל העמודים האלה ונעשה להם הפניה 301 לעמוד הרלוונטי. בדרך כלל מפנים אותם לעמוד הבית, אבל לפעמים מתפלק עמוד שנרצה להפנות לכתובת אחרת, למשל אם פעם היה בו דף נחיתה ישן שמחקנו והיום נרצה שהטראפיק המנותב יעבוד לדף הנחיתה החדש.

Alternative page with proper canonical tag

גוגל לא אוהב תוכן משוכפל, ואם עמוד כבר קיים באינטרנט – הוא לא יאנדקס אותו שוב. “תגית קנוניקל” אומרת “התוכן בעמוד הזה הוא התוכן המקורי”. זה טוב במקרה שמישהו מעתיק תוכן מכם באישור, זאת דרך להגיד “העמוד שלכם הוא המקורי”. עוד מקום שגוגל ישים את העמוד בקטגוריה הזאת היא אם הכתובת כוללת UTM או את הלינק הארוך שמופיע כשנכנסים לעמוד דרך פייסבוק.

ואז זה כאילו כתובות שונות – כשהכתובת הקצרה היא המקורית. הכתובת הארוכה שמופיעה במקום אחר (למשל בערוץ יוטיוב, בעמוד פייסבוק או באתר של מישהו). הכתובת הארוכה תהיה שכפול בעיני גוגל.

אבל מדי פעם יש שם עמודים אחרים ורלוונטיים. כן כדאי להציץ בדוח, ואם יש עמודים חשובים שלא נסרקו – לבקש לסרוק אותם.

בונוס למתקדמים: לנקות את הדוחות בקונסול מקבצי /feed

לצערי בלא מעט אתרים שאני מתעסקת איתם, דוחות העמודים שלא נסרקו בעמודים שנגמרים ב- /feed.

הבעיה בלמצוא דברים מעניינים בדוחות האלה, הוא שהם צריכים להיות נקיים באמת. שיופיעו בהם רק עמודים רלוונטיים.

מה זה הקבצים האלה?
דוגרי, אני לא בטוחה. אלו עמודים אני חושבת שהם נוצרו לי כשהקנתי את יוסט. באתרים עם RankMath – אין את העמודים האלה.

למה אני מנקה אותם מהקונסול?

• הם מזבלים לי את הדוחות. כדי לטפל באתר אני צריכה לראות בעיניים מה הבעיות שבו. בשביל לראות בעיניים מה הבעיות ואיזה עמודים חיוניים לא מאונדקסים לי – אני צריכה דוחות נקיים.
• אלו עמודים שאין בהם שום ערך לגולש או לגוגל. גוגל סורק אותם סתם ומבזבז לי את מה שנקרא בשפה המקצועית “תקציב זחילה”. זה אומר שהוא סורק לי עמודים חסרי תועלת בזמן שהוא יכול לסרוק עמודים שיש בהם תועלת.

איך לנקות אותם באמצעות עריכת קובץ robots.txt

קובץ robots.txt אומר לגוגל על אילו עמודים לא לזחול. הזחלנים של גוגל יעברו על האתר בין אם יש לו קובץ רובוט ובין אם לא.

הוא נקרא robots.txt כי זה קובץ מסוג txt (כמו שתמונות יכולות להיות jpg ו-png ומסמכי וורד הם doc) והוא פונה לרובוטים (שנקראים גם “זחלנים”).

אפשר לראות אותו בפשטות: כנסות לאתר שלכם ותוסיפו /robots.txt למשל: your-site.co.il/robots.txt

1. עריכת קובץ רובוטס

לקובץ אפשר להגיע בכל מני דרכים.
אם האתר שלכם בנוי בוויקס, אתם יכולים לערוך את קבצי הרובוטס שלכם ככה.
בוורדפרס אפשר לעשות את זה דרך תוספי SEO כמו יוסט ורנקמת’.

1. ביוסט נכנסים לכלים->
2. עריכת קבצים->
3. אם ליוסט עוד אין גישה לקובץ robots.txt תתבקשו ללחוץ על כפתור ליצירת קובץ כזה ->
4. יופיע לכם עמוד לבן עם מלא טקסט שחור. אל תיבהלו ->
5. תחזרו עמוד אחד אחורה ->
6. עכשיו יופיע לכם קובץ ה- robots.txt שלכם. יש בו רק שלוש שורות, וזה אחלה.

2. איך להעלים קבצי feed עם קובץ רובוטס

כדי לנקות את הדוחות החמודים שלי בקונסול מקבצי הפיד חסרי התועלת, הלכתי לקובץ robots.txt והוספתי שתי שורות:

Disallow: /*/feed/
Allow: /feed/atom/

השורה הראשונה אומרת “אל תרשה לזחלנים לעבור על כל הכתובות באתר שנגמרות ב-/feed. (למתקדמים: הכוכבית היא סימן מוסכם ל”הכל”. משתמשים בה גם במנוע החיפוש של גוגל, גם ב-regx ובעוד כל מני.)

עכשיו קובץ הרובוטס שלי נראה ככה: