טעויות בבניית אתר שחוסמות אתכם מגוגל

איך תגית noindex או חסימה בקובץ ה-robots.txt מונעות מהאתר להופיע בגוגל

כשאתר חדש נעלם לגמרי מתוצאות החיפוש, הסיבה היא לרוב תגית noindex בקוד העמוד או שורת חסימה בקובץ ה-robots.txt. זו תקלה טכנית שקל לאתר את הגורם שלה. ברוב המצבים זו לא "ענישה" של גוגל, אלא הוראה שהאתר עצמו מחזיר, במודע או בטעות, וגורמת לחסימת זחילה ואינדוקס. בשלב הפיתוח מקובל להסתיר אתר שעדיין לא מוכן.

התקלה מתחילה כשהגדרת ההסתרה נשארת גם אחרי העלייה לאוויר. זה קורה ב-WordPress, קורה באתרים מותאמים אישית, ולפעמים גם כשמישהו מעתיק הגדרות מסביבת פיתוח בלי לבדוק מה עבר לייצור.

למה גוגל מתעלם לגמרי מהאתר החדש?

בעל עסק פנה אלינו מתוסכל ומודאג. הוא חיפש בגוגל את שם המותג המדויק והייחודי שלו, והאתר לא הופיע כלל, גם לא בעמוד 2 או 3. פתחנו חשבון Google Search Console, ובדוח האינדוקס חיכתה אזהרה אדומה שלפיה "הדף לא נוסף לאינדקס: נראה שנוספה לו תגית noindex".

אם חיפוש השם המדויק של העסק שלכם לא מחזיר את האתר, אפילו לא בעמודים הבאים, בדקו קודם את המחסומים הכבדים ביותר:

• שורת Disallow: / בקובץ robots.txt שחוסמת את כל האתר.
• תגית meta robots עם הערך noindex בתוך קוד העמוד.
• הגנת סיסמה או סביבת staging שגוגל לא יכול להיכנס אליה.
• מפת אתר XML שבורה, חסרה או כזאת שלא הוגשה ל-Search Console.

ההבדל בין חסימת סריקה לבין מניעת אינדוקס

קובץ ה-robots.txt אומר לזחלן לאן לא להיכנס. תגית noindex אומרת שגם אם העמוד נגיש ונטען, אין להכניס אותו לאינדוקס. אלה שתי תקלות שונות, והטיפול בכל אחת שונה.

אם חסמתם סריקה, גוגל עשוי לא לראות את התוכן בכלל. אם סימנתם noindex, גוגל יכול להגיע לעמוד ועדיין להחליט לא להציג אותו בתוצאות. בדקו גם את קוד העמוד וגם את תגובת השרת, ואל תסתמכו על ההנחה ש"אם האתר באוויר, גוגל כבר ימצא אותו".

יש גם תקלות משניות שמבלבלות את גוגל, למשל תגית canonical שמפנה לעמוד אחר, או מצב שבו כמה עמודים דומים מתחרים ביניהם. אלה בדרך כלל לא מעלימים אתר שלם, אבל הם כן עלולים לגרום לכך שעמודים חשובים יישארו בחוץ.

מה גורם למהירות טעינה איטית במיוחד ול-Bounce Rate גבוה באתר

יש אתרים שלא נעלמים מגוגל, אבל כמעט לא מייצרים תנועה או פניות כי הם פשוט איטיים מדי. הגורם הנפוץ ביותר הוא תמונות כבדות שעלו כמו שהן, בלי התאמה לרשת ולמובייל. אחריהן באים בוני עמודים עמוסים וסקריפטים חיצוניים שמכבידים על הדפדפן ועל השרת. מהירות טעינה איטית במיוחד הופכת עיצוב יפה לבעיה תפעולית, כי הגולש עוזב לפני שהספיק לקרוא מה אתם מציעים.

תמונות כבדות ותוספים עודפים שחונקים את השרת

תמונה גדולה אחת לא תמיד תפיל עמוד. עשר תמונות במשקל מלא וחלון צ'אט שנטען מבחוץ, כבר כן. היעדר אופטימיזציה בסיסית כמעט תמיד מצטבר.

באתרי WordPress זה נפוץ במיוחד כשבונים מהר עם תבנית ובונה חזותי, ואז מוסיפים תוסף לכל צורך קטן. התוצאה היא קבצי CSS ו-JavaScript שחוסמים טעינה וזמן תגובה איטי יותר. בחלק מהמקרים אפשר לשפר הרבה בצמצום מדיה ובביטול תוספים מיותרים. במקרים אחרים הבעיה עמוקה יותר.

כשאנחנו מזהים שהאיטיות הקיצונית מגיעה משרת גרוע או מקוד מיושן, זה כבר לא תיקון של הגדרת תוסף אחת. זמן העבודה במקרים כאלה מתארך מיומיים-שלושה לשבועות.

חוויית מובייל לקויה ומדדי ליבה (Core Web Vitals)

אתר שנטען סביר במחשב יכול לייצר Bounce Rate גבוה בנייד גם כשזמן הטעינה הסופי בסדר. מספיק שהכפתורים קטנים ושהטקסט קופץ בזמן טעינה. מספיק גם שהמסך זז בגלל אלמנטים שנכנסים באיחור, או שהעמוד מגיב באיחור ללחיצה.

מדדי הליבה של גוגל מודדים בדיוק את החוויה הזאת. אחד החשובים היום הוא Interaction to Next Paint, או INP, שבודק כמה זמן לוקח לעמוד להגיב לפעולה אמיתית של המשתמש. אם יש עיכוב מורגש בלחיצה על תפריט או כפתור, המשתמש מרגיש אתר תקוע גם אם מבחינה חזותית משהו כבר הופיע.

גוגל מסתכלת קודם על גרסת המובייל. לכן אתר שנראה מצוין על מסך מחשב רחב, אבל נשבר בטלפון, פוגע גם בהמרות וגם בדירוג האורגני לאורך זמן.

איך אפשר לבדוק לבד אם האתר שלי סובל מהטעויות האלה

בבניית אתר לעסק קטן אפשר לבדוק לבד חלק גדול מהמלכודות הטכניות והאסטרטגיות האלה, בתוך זמן קצר. המטרה בשלב הזה היא להבין אם לפניכם הגדרה פשוטה שאתם יכולים לשנות בעצמכם, בעיה נקודתית בקוד, או תיקון רחב יותר שדורש איש מקצוע. את הבדיקות האלה אתם יכולים לעשות בעצמכם, ואנחנו חושבים שכדאי.

בדיקה עצמאית ב-Search Console ובקוד העמוד

הבדיקה הראשונה פשוטה. חפשו בגוגל את שם העסק שלכם, ואם אפשר גם את הפקודה site:domain.co.il. אם האתר לא מופיע, היכנסו ל-Google Search Console ולכלי בדיקת כתובת URL. שם תראו אם העמוד נכנס לאינדוקס או נחסם.

הבדיקה השנייה היא בקוד העמוד. לחצו על צפייה במקור וחפשו noindex ו-Meta Tags בסיסיים כמו title ו-description. אחר כך עברו על כמה כתובות מרכזיות ובדקו שאין דפי 404 מיותרים ושאין מבנה כתובות URL לא ידידותי שנוצר אחרי מעבר אתר. בדקו גם שעמודי השירות החשובים נפתחים תקין בנייד.

כמה עולה לתקן שגיאות SEO ומה משפיע על המחיר?

עלות התיקון תלויה בעיקר בגודל האתר, במערכות בניית אתרים שעליהן הוא יושב, במצב הקיים ובעומק השגיאות, וגם בזהות מי שמבצע את העבודה. אתר תדמית של 5-10 עמודים אפשר לעיתים לתקן בתוך שעות ספורות. אתר חנות עם מאות מוצרים כבר דורש סריקה רחבה, טיפול בקטגוריות, כפילויות תוכן ובעיות קוד, ולכן העלות קופצת משמעותית.

מהמחירים שאנחנו פוגשים בשוק, פרויקט תיקון בסיסי מתחיל קרוב ל-1,500 ש"ח אצל פרילנסר מתחיל, ואצל סוכנות SEO מנוסה או מומחה טכני בכיר הוא לרוב מ-4,000 ש"ח ומעלה. עבודה על WordPress או Wix בדרך כלל מהירה וזולה יותר. קוד סגור, מערכת ישנה או פלטפורמה מורכבת כמו Magento כבר דורשים מתכנת, ושעות העבודה מתייקרות.

לפני שאתם משלמים על בנייה מחדש או על ריטיינר יקר, עשו בדיקה טכנית מסודרת של האתר הקיים. קודם החסימות הכבדות שמונעות אינדוקס, אחר כך המהירות והמובייל. המטרה היא לדעת מה לתקן קודם. את סדר הבדיקה הזה אתם יכולים להריץ בעצמכם, בכלים של גוגל או בעזרת לקסה.