שיווקנט HE EN 054-238-3789
שירות SEO · robots.txt

אודיט ותיקון robots.txt לפי GSC

אודיט ותיקון קובץ robots.txt לפי דוחות Google Search Console

robots.txt חוסם בטעות דפים חשובים, או לא חוסם /wp-admin/ ו-/cart/ שמבזבזים crawl budget. אני סורק את הקובץ, מאתר חסימות שגויות, ובונה גרסה שמכוונת את Googlebot לדפים שמכניסים כסף תוך 24-48 שעות.

למה robots.txt תקין חשוב ל-SEO

מה כולל אודיט robots.txt?

robots.txt הוא הקובץ הראשון ש-Googlebot קורא לפני שהוא נוגע באתר. שגיאה אחת בשורה - Disallow לא נכון, חוסר ב-Allow ל-CSS, או חסימת sitemap - יכולה למחוק מאות דפים מהאינדקס תוך שבועיים.

אני מתחיל מסריקת הקובץ הקיים, השוואה ל-Coverage report ב-GSC, ובדיקה ב-robots.txt Tester. אני מחפש חסימות שגויות (דפים שאמורים להיות מואנדקסים אבל חסומים), חסרי חסימה (URLs כמו ?utm_*, /cart/, /search/ שמבזבזים crawl budget), וחסימות שמונעות רינדור משאבים.

אחרי האודיט אני בונה גרסה חדשה: User-agent מדויקים, Disallow ממוקדים, Allow ל-resources, sitemap directive, ו-Crawl-delay רק היכן שצריך. בודק שוב ב-Tester, מעלה לפרודקשן, ומאמת ב-URL Inspection ש-Googlebot מקבל גישה תוך 24-48 שעות.

למה עסקים בוחרים אודיט robots.txt אצלי

איך פועל אודיט robots.txt אצלי - 4 שלבים

  1. 1

    סריקת הקובץ הקיים

    אני שולף את robots.txt הנוכחי, סורק כל שורה ומשווה לדוח Coverage ב-GSC כדי לאתר חסימות שגויות.

  2. 2

    מיפוי crawl budget

    אני מאתר דפי בזבוז כמו /cart/, /?utm_*, /search/ ומכין רשימת Disallow ממוקדת.

  3. 3

    בנייה + Tester

    אני כותב גרסה חדשה עם Allow ל-CSS/JS, sitemap directive, ובודק ב-robots.txt Tester של GSC.

  4. 4

    העלאה + אימות

    אני מעלה לפרודקשן, מאמת ב-URL Inspection שהדפים החשובים נגישים, ומספק דוח שינויים תוך 24-48 שעות.

מחיר אודיט robots.txt
₪290 חד-פעמי

כולל סריקה, אופטימיזציית crawl budget, sitemap directive ובדיקה מלאה ב-Tester.

מחיר מותאם לכם

חישוב הצעת מחיר ל-robots.txt

קחו 30 שניות וחשבו את המחיר לפי הצרכים שלכם - לא צריך להזין פרטים.

שירותי GSC נוספים

שאלות נפוצות

האם robots.txt מונע אינדוקס?

לא ישירות. robots.txt חוסם את הזחילה (crawl) - גוגל לא קורא את התוכן - אבל URL חסום עדיין יכול להופיע באינדקס אם יש אליו קישורים חיצוניים, פשוט ללא תיאור. כדי למנוע אינדוקס לחלוטין צריך תג noindex בדף עצמו, לא Disallow ב-robots.txt.

מה ההבדל בין Disallow ל-noindex?

Disallow ב-robots.txt אומר ל-Googlebot "אל תזחל את ה-URL הזה" - הוא מגן על crawl budget אבל לא מבטיח הסרה מהאינדקס. noindex הוא תג meta בדף עצמו שאומר "אל תכלול את הדף באינדקס". לדפים שצריכים להיות מחוץ לאינדקס — צריך noindex, לא Disallow.

האם לחסום /?utm_*?

לרוב כן. פרמטרי UTM יוצרים אינסוף URLs כפולים שמבזבזים crawl budget בלי תועלת SEO. אני מוסיף Disallow: /*?utm_ ל-robots.txt בשילוב עם canonical tags לגרסה הנקייה - ככה גוגל מתמקד בדף הראשי במקום בעשרות וריאציות.

robots.txt תקין הוא רק שלב אחד

אחרי robots.txt צריך לעקוב שגוגל מבין את האתר נכון - דרך ניטור שוטף ב-/seo/gsc-monitoring/ או חבילת SEO מלאה ב-/seo/.

לדף הראשי של קידום אתרים ←
חזרה לקידום אורגני בגוגל וב-AI
SEO

שירותים נוספים בתחום קידום אורגני בגוגל וב-AI