למה דפי המוצר שלכם לא נכנסים לאינדקס של גוגל, ומה עושים עם זה?

יש לכם חנות עם אלף ומאתיים מוצרים, ובדוח הוספת הדפים לאינדקס (Page indexing) בכלי של גוגל לניהול אתרים (Search Console) מופיע שרק ארבע מאות מהם מאונדקסים. השאר יושבים בקטגוריות עם שמות שנשמעים כמו תקלה: Crawled – currently not indexed. Discovered – currently not indexed. Duplicate without user-selected canonical. התגובה הראשונה היא בדרך כלל ללחוץ על בקשת ההוספה לאינדקס (Request Indexing) בכמה כתובות ולקוות. זה לא יעבוד, ואחרי שבועיים המצב יהיה זהה. הסיבה היא שברוב החנויות מדובר לא בתקלה אחת אלא בשש סיבות שונות שמתערבבות בדוח אחד, וחלקן דורש תיקון מבני ולא נקודתי. במאמר הזה תדעו לקרוא את הדוח, לזהות באיזו סיבה מדובר בכל קבוצת כתובות, ומה ההבדל בין מה שמתקנים דף אחרי דף לבין מה שמתקנים פעם אחת בהגדרות.

תוכן העניינים 8 פרקים ▾

קודם כול, זה לא באג: גוגל לא מבטיחה לאנדקס כל דף

זו הנקודה שהכי חשוב להפנים לפני שנוגעים בקוד. גוגל כותבת בתיעוד שלה במפורש שהיא לא מאנדקסת כל דף שהיא סורקת, ושאין דרך להבטיח אינדוקס. סריקה ואינדוקס הם שני שלבים נפרדים: קודם היא מגיעה לדף, ואחר כך היא מחליטה אם להחזיק אותו. הכתובת יכולה להיתקע בכל אחד מהשלבים, ומכאן ההבדל בין שתי הקטגוריות שמבלבלות הכי הרבה.

Discovered – currently not indexed אומר שגוגל יודעת שהכתובת קיימת אבל עוד לא סרקה אותה. גוגל מציינת שבדרך כלל היא דחתה את הסריקה כי חששה להעמיס על השרת. כלומר בקבוצה הזאת יש בדרך כלל שילוב של אתר איטי ושל יותר מדי כתובות ביחס לערך שלהן.

Crawled – currently not indexed אומר שהיא כבר הייתה שם, קראה, והחליטה לא לאנדקס בינתיים. גוגל כותבת רק שייתכן שהדף ייכנס לאינדקס בהמשך, וייתכן שלא. מהניסיון שלי, הסיבה קשורה לרוב לאיכות ולייחוד של התוכן. תרגום לעברית פשוטה: הדף לא הוסיף שום דבר שלא קיים כבר במקום אחר.

ומילה על הכפתור. בקשת ההוספה לאינדקס נועדה לכתובות בודדות אחרי שינוי, יש לה מכסה יומית, וגוגל מציינת שהיא לא מבטיחה שהדף ייכנס לאינדקס. לעדכון של הרבה דפים גוגל ממליצה על מפת אתר מעודכנת. חנות עם שמונה מאות כתובות לא מאונדקסות לא תיפתר בכפתור.

איך קוראים את הדוח בלי ללכת לאיבוד

הסדר שאני עובד לפיו הוא תמיד מלמעלה למטה, לפי כמות ולא לפי חשש. פותחים את הדוח, מסתכלים על החלק של הדפים שלא נוספו לאינדקס, ומסדרים את הסיבות לפי מספר הכתובות. בכל סיבה נכנסים לרשימה, מסתכלים על עשר כתובות לדוגמה, ושואלים שאלה אחת: האם הכתובות האלה בכלל אמורות להיות בגוגל.

זו השאלה שחוסכת את רוב העבודה. בחנות ממוצעת, חלק ניכר מהכתובות שלא מאונדקסות הן כתובות שאתם לא רוצים באינדקס מלכתחילה: תוצאות סינון, דפי סל, מיון לפי מחיר, גרסאות הדפסה. עבורן המצב הנוכחי הוא לא בעיה אלא התנהגות רצויה, וכל מה שצריך זה לוודא שהן לא צורכות סריקה. רק מה שנשאר אחרי הסינון הזה, כלומר דפי מוצר וקטגוריה אמיתיים, הוא רשימת העבודה.

שתי בדיקות משלימות ששוות את הזמן. הראשונה, כלי בדיקת כתובת האתר (URL Inspection) על חמש כתובות מייצגות מכל קבוצה, כדי לראות איזו גרסה גוגל בחרה ככתובת הקנונית (canonical), כלומר הראשית, ומה היא ראתה בפועל. השנייה, השוואה בין מספר הכתובות במפת האתר (sitemap) למספר המוצרים הפעילים בחנות. פער גדול שם מגלה בדרך כלל שמפת האתר מכילה מוצרים שנמחקו או וריאציות שלא היו אמורות להיכנס אליו.

שש הסיבות שחוזרות בחנויות

סיבה שביעית שלא נכנסה לטבלה כי היא לא מופיעה שם ככותרת נפרדת: מהירות. חנות שמגיבה לאט תחת סריקה מקבלת פחות סריקות, וזה מתבטא בעיקר בקטגוריית Discovered. אם החנות שלכם איטית בשעות עומס, זה שווה בדיקה לפני שנוגעים בתוכן, כי הוא לא ייסרק בקצב סביר ממילא.

שימו לב שהסיבה השישית היא היחידה שהיא באמת תקלה. חמש הראשונות הן תוצאה של החלטות מבניות שנעשו כשהחנות נבנתה, לרוב בלי שאף אחד חשב על החיפוש באותו רגע.

וריאציות מוצר: המקרה שהכי מבלבל

חולצה בחמישה צבעים ובארבע מידות היא עשרים צירופים. אם כל צירוף מקבל כתובת משלו, יש לכם עשרים דפים שהתוכן שלהם כמעט זהה, וגוגל צריכה לבחור אחד. היא תבחר, וההחלטה שלה לא בהכרח תהיה זו שרציתם. ואז אתם רואים בדוח שתשע עשרה כתובות מסומנות ככפילות, ומתחילים לחפש באג.

ההחלטה הנכונה תלויה בשאלה אחת: האם אנשים מחפשים את הווריאציה. אם יש חיפוש אמיתי על הצבע או על המידה, למשל בנעליים או בכלי עבודה, יש הצדקה לדף נפרד, ואז הוא צריך תוכן משלו וכותרת משלו. אם אין חיפוש כזה, וזה המצב ברוב החנויות, כל הווריאציות צריכות להצביע על דף מוצר אחד, והבחירה נעשית בתוך הדף בלי ליצור כתובת חדשה.

הטיפול בקבוצות הכפילות האלה, כולל ההחלטה איזו כתובת היא הראשית בכל קבוצה והמעקב עד שהן חוזרות לסטטוס תקין, הוא בדיוק מה שנעשה בתיקון canonical וכפילויות, מ-₪690 חד-פעמי לפני מע״מ, עד 50 קבוצות כפילות.

סינון, מיון ודפי תגיות: איך נולדים אלפי דפים

מערכת סינון עם ארבעה שדות מייצרת מספר עצום של צירופים אפשריים, וכל צירוף הוא כתובת. גוגל מתייחסת לזה בתיעוד שלה על ניווט מבוסס סינון וממליצה לא לתת לסורקים גישה לצירופים שאין בהם צורך, כי הם צורכים משאבי סריקה שהיו יכולים ללכת לדפים אמיתיים. בחנות עם אלף מוצרים ומערכת סינון פתוחה, זה הסבר נפוץ לכך שמוצרים חדשים נסרקים לאט.

הפתרון המעשי הוא לא לחסום הכול, כי חלק מהצירופים כן שווים דף. הכלל שאני עובד לפיו: צירוף שיש עליו חיפוש ושיש בו מספיק מוצרים מקבל דף אמיתי, עם כותרת ותוכן, ונכנס למפת האתר. כל השאר לא אמור להיות מקושר בקישורים שאפשר לסרוק, וגוגל ממליצה לחסום את הסריקה שלו בקובץ robots.txt. חשוב לזכור שחסימת סריקה והוראת noindex לא מתחלפות: כתובת שכבר נכנסה לאינדקס ונחסמה בסריקה לא תצא ממנו, כי גוגל לא תיכנס כדי לראות את ההוראה. לכן מה שכבר באינדקס מקבל קודם noindex, ורק אחרי שיצא ממנו נחסם בסריקה.

דפי תגיות הם גרסה קטנה יותר של אותו סיפור. תגית עם שני מוצרים היא דף חלש, וחנות עם שלוש מאות תגיות כאלה מייצרת שלוש מאות דפים חלשים. הכלל פשוט: תגית שאין מאחוריה קהל שמחפש, לא צריכה דף.

תיאור של היצרן, ולמה זה לא מספיק

רוב החנויות מייבאות את תיאור המוצר מקובץ של הספק. אותו טקסט בדיוק יכול להופיע בעשרות חנויות אחרות בישראל, ולפעמים גם באתר של היצרן עצמו. מנקודת המבט של גוגל, הדף שלכם לא מוסיף כלום שלא קיים כבר, וזה הסבר סביר להרבה מאוד כתובות בקטגוריה של דפים שנסרקו ולא נכנסו לאינדקס.

אני לא ממליץ לשכתב אלף תיאורים, כי זה לא ריאלי ולא משתלם. הסדר שאני מציע: קחו את חמישים עד מאה המוצרים שמייצרים את רוב ההכנסה או שיש עליהם חיפוש, ותנו להם תוכן אמיתי. מה נחשב תוכן אמיתי כאן הוא לא פסקה שיווקית אלא מידע שהקונה צריך: למי זה מתאים, במה זה שונה מהמוצר הדומה שלידו, מה בקופסה, שאלות שחוזרות בטלפון. אחרי שהחמישים האלה עובדים, אפשר להחליט אם ממשיכים.

לשאר המוצרים, המהלך הנכון הוא לרוב מבני ולא תוכני: לחזק את דפי הקטגוריה, שהם ממילא מה שמדורג על השאילתות הרחבות, ולוודא שהמוצרים מקושרים מהם היטב. את התמונה הכוללת של קידום חנות, כולל תוכן לדפי קטגוריה ומוצר ואופטימיזציה לתוצאות מבוססות AI, אני מנהל בקידום SEO לחנויות איקומרס, ₪750-₪9,999 לחודש לפני מע״מ.

מה דורש תיקון מבני ומה נקודתי

הכלל שאני עובד לפיו הוא כמותי. אם אותה סיבה מייצרת יותר מכמה עשרות כתובות, זו בעיה מבנית, ולתקן אותה דף אחרי דף זו עבודת סיזיפוס, כי המוצר הבא שיעלה ייצר אותה מחדש. אם הסיבה נוגעת לכתובות בודדות, זה תיקון נקודתי.

מבני: מדיניות canonical לווריאציות, אופן הטיפול בסינון ובמיון, מה קורה למוצר שאזל, מה נכנס למפת האתר ומה לא, מהירות השרת בזמן סריקה. את אלה מגדירים פעם אחת, בקוד או בהגדרות המערכת, וכל מוצר חדש נולד כבר נכון.

נקודתי: מוצר מסוים עם תוכן חלש, קטגוריה שאין לה כותרת, כתובת ישנה שצריך להפנות. את אלה עושים ביד, ברשימה, ואפשר לחלק לסבבים.

בפועל, כמעט כל חנות שאני נכנס אליה צריכה גם וגם, והסדר חשוב: קודם המבני, אחר כך הנקודתי. מי שמתקן מאתיים דפים לפני שסגר את הסיבה שמייצרת אותם, יגלה בעוד חודשיים מאתיים חדשים.

יש גם החלטה שלישית שרוב האנשים מפחדים לקבל, והיא מחיקה. לא כל מוצר צריך דף, ולא כל קטגוריה צריכה להתקיים. חנות עם אלף ומאתיים כתובות שבפועל מוכרת שלוש מאות מוצרים תרוויח מכך שתשע מאות הכתובות האחרות יקבלו הפניה או ייצאו מהאינדקס בכוונה. זה נשמע כמו ויתור, אבל מבחינת החיפוש זה ההפך: פחות דפים, כל אחד מהם חזק יותר, וסריקה שמגיעה לאן שצריך. אני מעדיף חנות של שלוש מאות דפים שכולם מאונדקסים על אלף שרבעם.

לוח זמנים, עלות ומה נחשב סיום

המחיר של ניקוי דוח הוספת הדפים לאינדקס הוא ₪650 חד-פעמי + ₪180 לחודש לפני מע״מ. החלק החד-פעמי כולל סיווג של כל הכתובות לקטגוריות, החלטה לכל קבוצה אם משאירים, מפנים או מוציאים, יישום השינויים ובקשת אימות התיקון (Validate fix) מול גוגל. החלק החודשי הוא המעקב, שבלעדיו הדוח חוזר להתמלא.

לגבי זמן, אני עובד בטווח של שלושים עד שישים יום עד שהדוח נקי, וזה תלוי בקצב שבו גוגל חוזרת לסרוק. זה לא זמן שאני שולט בו, ואף אחד לא שולט בו. מה שכן בשליטה הוא שהשינויים ייושמו נכון ושבקשת האימות תוגש כמו שצריך.

ומה נחשב סיום. לא אפס כתובות מחוץ לאינדקס, כי זה מצב שלא קיים ולא צריך להתקיים. מצב תקין הוא שכל הכתובות שאתם רוצים בגוגל נמצאות שם, ושמה שנשאר בחוץ נמצא בחוץ בכוונה ובידיעה. אם אתם רוצים ליווי רחב יותר על החנות, זה נמצא בקידום אורגני בגוגל וב-AI, החל מ-₪750 לחודש לפני מע״מ.

אני ארתור קלנדרוב, ואני מנהל את עבודת הקידום בשיווקנט. אם דוח האינדוקס שלכם נראה כמו קיר של מספרים אדומים, שלחו לי צילום מסך שלו ואגיד לכם מה מתוכו בכלל בעיה, ומה פשוט התנהגות נכונה של חנות. משם נחליט אם צריך ניקוי מסודר או תיקון אחד בהגדרות. הטלפון שלי הוא 054-238-3789, ואפשר גם לכתוב לי בוואטסאפ ←