מה תפקידו האמיתי של קובץ robots.txt בקידום אתרים
קובץ robots.txt עדיין רלוונטי לקידום אתרים, אבל לא בתור טריק שמעלה דירוג. הוא לא מחליט לבדו אם תדורגו, אבל כן קובע אילו אזורים באתר ייסרקו, היכן גוגל תשקיע את תקציב הזחילה שלה, ואילו כתובות מיותרות עדיף להרחיק מהסריקה. קובץ קטן עם השפעה גדולה, בעיקר באתרים עם הרבה עמודים, פרמטרים או אזורים טכניים שאין סיבה שישרפו משאבי סריקה.
מה הקובץ הזה עושה בפועל
מדובר בקובץ טקסט שיושב בשורש האתר, למשל example.co.il/robots.txt, ומכוון את הזחלנים אילו נתיבים לסרוק ואילו להשאיר בחוץ. הוא בנוי מכמה הנחיות פשוטות:
- User-agent מגדיר לאיזה בוט מיועדות ההוראות
- Disallow חוסם סריקה של נתיב מסוים
- Allow פותח חריג בתוך אזור חסום
- Sitemap מפנה את הזחלן למפת האתר
למשל, אפשר לחסום את תיקיית הניהול של וורדפרס עם Disallow: /wp-admin/, ובאותה נשימה להשאיר קובץ נחוץ פתוח עם Allow: /wp-admin/admin-ajax.php. שימוש מדויק כזה מצמצם סריקה מיותרת בלי לפגוע בפונקציונליות של עמודים ציבוריים.
גוגל מחפשת את הקובץ במקום אחד בלבד: בשורש הדומיין. אם שמרתם אותו בתיקייה פנימית, או בשם שגוי במקום robots.txt באותיות קטנות, הוא פשוט לא יעבוד. גם הגודל מוגבל, ולפי הנתונים שבידינו הוראות שחורגות מ-500 קילובייט עלולות להישאר בלי השפעה.
מה ההבדל בין robots.txt לבין noindex
זו אחת הנקודות הטכניות שאנחנו מסבירים הכי הרבה בשיחות התמיכה. בעלי עסקים רבים מנסים להסיר דף מהאינדקס דרך robots.txt, בזמן שהכלי הנכון למטרה הזו הוא תגית noindex. הכלל ברור: robots.txt חוסם סריקה, noindex מונע כניסה לאינדקס.
אם דף כבר מוכר לגוגל דרך קישור חיצוני, הוא עדיין עשוי להופיע בתוצאות גם כשחסמתם את הסריקה שלו. לפעמים תראו כתובת בלי תיאור, כי הבוט הכיר את ה-URL אבל לא קיבל הרשאה לקרוא את התוכן.
בתהליך עבודה מסודר, הסדר להסרת דף מהחיפוש תמיד זהה. קודם מאפשרים סריקה ומוסיפים תגית noindex, או כותרת HTTP מסוג X-Robots-Tag. רק אחרי שמוודאים בגוגל שהדף אכן ירד מהאינדקס, שוקלים אם בכלל צריך לחסום את הסריקה. דילוג על השלב הראשון הוא טעות נפוצה שרק מייצרת תסכול.
האם כל אתר צריך robots.txt ומה לגבי תקציב זחילה
לא כל אתר צריך קובץ robots.txt מורכב. הכלל המעשי ברור: אתר תדמית קטן עם כמה עשרות עמודים מסתדר עם קובץ בסיסי ומסודר, שמצהיר איפה מפת האתר ומונע טעויות. באתר גדול או בחנות, עם אלפי כתובות ופרמטרים, ניהול תקציב זחילה הופך לשיקול אמיתי.
כשיש אלפי כתובות, פרמטרים של סינון, חיפוש פנימי, עגלות ועמודי תודה, robots.txt מכוון את גוגל לעמודים שמקדמים את העסק במקום לשרוף סריקה על כתובות חסרות ערך. פרמטרים וסינונים מייצרים גם לא מעט כתובות כפולות, וצמצום הסריקה שלהן תורם למניעת תוכן משוכפל שמבלבל את גוגל. באתר קטן המנוע בדרך כלל יסתדר גם בלי אופטימיזציה אגרסיבית.
כדאי להוסיף גם את הוראת Sitemap. גם אם כבר שלחתם מפת אתר דרך Google Search Console, השארת הכתובת בתוך robots.txt נותנת שכבת בהירות נוספת לבוטים אחרים.
- בדקו את הקובץ בכתובת הדומיין שלכם עם /robots.txt
- ודאו שההרשאה היא 0644 כדי שהקובץ יהיה קריא לזחלנים
- אל תחסמו קבצי CSS ו-JavaScript שנדרשים לרינדור
- באתר וורדפרס, בדקו במיוחד את /wp-admin/ ואת admin-ajax.php
כשאנחנו בוחנים אתר, אנחנו עוברים על המרכיבים האלה כחלק מדו"ח HTML מסודר: מבנה הכותרות H1 עד H6, תגיות המטא, ה-URL, התמונות וה-Schema, הכל בעברית ברורה. הרבה פעמים בעיית השורש יושבת בחיבור בין כל השכבות הטכניות, והקובץ הוא רק חלק ממנה.
האם כדאי לחסום בוטים של מנועי חיפוש מבוססי AI
חסימת בוטים של מנועי חיפוש מבוססי AI יכולה להיות החלטה נכונה בחלק מהמקרים, אבל היא לא אוטומטית ולא טכנית בלבד. אם המטרה שלכם היא למנוע שימוש בתוכן לאימון מודלים, אפשר לחסום בוטים מסוימים. אם אתם רוצים לשמור נראות בתוצאות מבוססות AI, חסימה רחבה מדי עלולה לעבוד נגדכם.
אילו בוטים קיימים ומה אפשר לעשות
בשנים האחרונות נוספו בוטים כמו GPTBot ו-Google-extended. חלקם אוספים מידע לאימון מודלים, וחלקם קשורים לשימוש בתוכן במוצרי חיפוש מבוססי AI. מבחינה טכנית אפשר לכתוב עבורם כללים ייעודיים ב-robots.txt עם User-agent נפרד. זה החלק הקל. ההחלטה עצמה מורכבת יותר.
מה שבאמת קובע כאן הוא המטרה העסקית שלכם. יש לכם תוכן מקורי שאתם לא רוצים שייאסף לאימון? חסימה הגיונית. רוצים להגדיל סיכוי לחשיפה במערכות תשובה? ייתכן שדווקא תשאירו חלק מהבוטים פתוחים. אין תשובה אחת שמתאימה לכל עסק.
מה לא כדאי לעשות עם Content Signals
כאן העמדה שלנו ברורה. ג'ון מולר מגוגל אמר שלהנחיית Content Signals של Cloudflare, שנוספה בשנה שעברה, יש "no effects whatsoever for any crawler or LLM." לכן, אין לה שום השפעה בפועל על זחלן או על מודל שפה.
הוא הוסיף שההנחיה הזאת "just adds bloat and future maintenance to your robots.txt file." במילים אחרות, היא רק מנפחת את הקובץ ומוסיפה עומס תחזוקה עתידי. נכון לעכשיו הוא לא מכיר זחלנים או מודלי שפה שמשתמשים בהנחיות האלה בתוך robots.txt בכלל.
אל תעמיסו על הקובץ הוראות בלי השפעה מעשית. בעלי אתרים נוטים להוסיף שכבות שלמות רק כי הן נשמעות מתקדמות, אך בפועל זה מוסיף תחזוקה, בלבול וסיכוי לטעות.
איך מחליטים אם לחסום
לפני שמחליטים, בדקו מה אתם מנסים להגן עליו או לקדם. תוכן פרטי או רגיש לא אמור להישען על robots.txt, כי בוטים זדוניים פשוט יתעלמו ממנו. הגנה על פרטיות ואבטחה נעשית עם סיסמה, הרשאות גישה או חסימה ברמת השרת.
כאן אנחנו בדרך כלל מחזירים את השאלה לבעל העסק: מה המטרה שלכם? יש לכם תוכן ייחודי שחשוב להגן עליו מפני שימוש לאימון מודלים, או שהחשיפה בממשקי תשובה קריטית יותר? זו החלטה אסטרטגית לפני שהיא טכנית, ולכן התשובה משתנה מעסק לעסק.
- אם המטרה היא חשיפה, אל תחסמו אוטומטית
- אם המטרה היא למנוע שימוש לאימון, שקלו חסימה ייעודית של בוט מסוים
- אם מדובר בתוכן רגיש, אל תסתמכו על robots.txt בכלל
עברו על robots.txt, כתבו כל User-agent שאתם באמת רוצים לנהל, והסירו הוראות ניסיוניות בלי תועלת מוכחת. אחר כך בדקו בלוגים של השרת או ב-Google Search Console אם השתנו דפוסי הסריקה.
האם קובץ robots.txt שונה בין אתר וורדפרס לחנות אונליין
קובץ robots.txt שונה בין אתר וורדפרס לחנות אונליין כי מבנה הכתובות, כמות הדפים וסוגי העומס שונים מאוד. באתר וורדפרס רגיל המיקוד הוא בעיקר בתיקיות מערכת ובמשאבים טכניים. בחנות אונליין הוא עובר לפרמטרים, סינונים, דפי עגלה, מיון וחיפוש פנימי, שמייצרים בקלות אלפי כתובות מיותרות.
מה שונה באתר וורדפרס
בוורדפרס ההגדרה המוכרת היא חסימת /wp-admin/ והשארת /wp-admin/admin-ajax.php פתוח. בחומר שבידינו הופיעה גם המלצה לחסום את תיקיית /plugins/. אל תחסמו קבצי CSS, JavaScript או ספריות תמונות שנדרשים לרינדור, כי חסימה כזו עלולה לגרום לגוגל לראות עמוד שבור או ריק.
באתרי וורדפרס קטנים הטעויות בדרך כלל גסות וברורות. קובץ עם Disallow: / ששרד מסביבת פיתוח. חסימה של /wp-includes/ בלי לבדוק מה נפגע. או קובץ שנשמר במקום הלא נכון. תקלות כאלה חוסמות אתר שלם תוך דקה.
מה שונה בחנות אונליין
בחנות אונליין הבעיה בדרך כלל מגיעה מעודף כתובות. סינון לפי צבע, מידה ומחיר, מיון ותוצאות חיפוש פנימי מייצרים המון וריאציות. כאן robots.txt מצמצם סריקה של כתובות חלשות, כדי להפנות את גוגל לדפי קטגוריה ומוצר שבאמת מביאים תנועה ומכירות. הבנה טכנית קטנה כאן מספיקה כדי לוודא שתקציב הזחילה מנוצל למטרות עסקיות.
דוגמה נפוצה היא חסימת דפוסים עם סימן שאלה כדי לצמצם פרמטרים, למשל הכלל Disallow: /*?*. הוא יכול לעזור, אבל רק כשמבינים את מבנה האתר. אם החנות מסתמכת על פרמטרים גם בדפים חשובים, חסימה גורפת תפגע בכם. זה כלל שעלול להזיק אם מפעילים אותו עיוור.
שימוש גורף בכלל הזה עלול לשתק פונקציונליות חשובה בחנות. לכן אנחנו ממליצים לבדוק תמיד את מבנה הפרמטרים הספציפי שלכם לפני שמפעילים חסימה רחבה.
| נושא | אתר וורדפרס | חנות אונליין |
|---|---|---|
| מה חוסמים בדרך כלל | /wp-admin/ ולעיתים /plugins/ | חיפוש פנימי, עגלה, קופה, פרמטרי סינון ומיון |
| מה חייב להישאר נגיש | /wp-admin/admin-ajax.php וקבצי רינדור | דפי מוצר, קטגוריות עיקריות ומשאבים לטעינה |
| הסיכון המרכזי | חסימת משאבים חיוניים או חסימה מלאה בטעות | בזבוז תקציב זחילה על אלפי כתובות דומות |
| מתי robots.txt משפיע יותר | כשיש תבניות, תוספים או אזורי מערכת שנחשפים לזחלנים | כשיש הרבה URL דינמיים, סינונים ומלאי משתנה |
איך בודקים שהקובץ באמת משרת אתכם
בדקו את הקובץ מול שלושה סוגי עמודים: עמוד חשוב לקידום, עמוד טכני שלא אמור להיסרק, ועמוד עם פרמטר. אחר כך פתחו את כלי בדיקת ה-URL ב-Google Search Console וראו אם גוגל מצליחה לסרוק ולרנדר את מה שצריך. אם יש בעיית רינדור חלקי, חזרו קודם לקבצי המשאבים ורק אחריהם לכללי החסימה.
אתר קטן? אל תבנו קובץ מסובך רק כדי להרגיש שעשיתם SEO טכני. אתר שמוכר הרבה מוצרים או מנהל אלפי כתובות? כאן שווה להשקיע מחשבה. סדר עדיפויות טכני חוסך לכם הרבה בלגן בהמשך.
פתחו עכשיו את /robots.txt ובדקו אם יש שם הוראה שחוסמת יותר ממה שהתכוונתם. אם אתם לא בטוחים שלא חסמתם עמוד חשוב, אם יש חשד לבעיית סריקה, או אם החנות מייצרת יותר מדי כתובות, סריקת אתר תעזור לזהות את זה. אצלנו בלקסה זה חלק מסריקת אתר של עד 50 עמודים עם תובנות ברורות לכל עמוד.
