A Google indexe több 100 milliárd weboldalt tárol. Maga az indexelés az a folyamat, amikor információkat töltünk le a webhelyről, kategorizálunk, és tárolunk egy adatbázisban. Ez a tárhely a forrása minden olyan információnak, amelyet a Google Keresőn keresztül találhatunk.
Az indexben nem szereplő oldalak nem jelenhetnek meg a keresési eredmények között, függetlenül attól, hogy mennyire relevánsak, mennyire egyeznek meg egy adott lekérdezéssel.
Hogyan működik az indexelés?
A folyamat a következő. Ha egy új oldalt adtunk hozzá a blogunkhoz, vagy csak készítettünk egy új bejegyzést, akkor meg kell várnunk amíg a Google indexeli az adott tartalmat és csak ezután kerülhet a keresési találatok közé. Érdemes tudni, hogy a Google nem korlátozza, hogy egy webhelyen hány url indexelhető, bár egyes oldalak elsőbbséget élvezhetnek az indexelési sorban. Az is igaz, hogy nagy webhely esetében lemaradhatnak bizonyos oldalak az index palettájáról, mert így is több millió átnézendő friss content vár mindennap a botokra.
Amikor a Google bot meglátogatja webhelyünket, a feltérképezési sebességhez igazodik azon lekérdezések száma alapján, amelyeket túlterhelés nélkül tud elküldeni a szervernek.
A Google nem akarja, hogy az indexében olyan oldalak szerepeljenek, amelyek rossz minőségűek, ismétlődő tartalmúak, vagy olyan oldalak, amelyeket a felhasználók valószínűleg nem fognak keresni. A spamek távoltartásának egyik legjobb módja, ha nem indexelik őket.
Mennyi idő az indexelés?
Egy oldal indexelése néhány órától több hétig is eltarthat. Átlagosan az oldalak 83%-a átesik a folyamaton a megjelenés első hetében. Egy blog esetében már bonyolultabb a képlet, mivel ilyenkor a Google botoknak újra fel kell térképezniük az eredeti tartalmat és csak ezután képesek átvizsgálni az új hozzáadott részeket, változásokat. Fontos tudni, hogy Google el akarja kerülni az ismétlődő tartalom indexelését, tehát ha két olyan oldalt talál, amelyek egymás másolatának tűnnek, valószínűleg csak az egyiket indexeli.
Mi zajlik a háttérben?
Feltérképezés közben a Google bot információkat gyűjt egy adott oldal fő témájáról, arról, hogy milyen fájlokat tartalmaz, milyen kulcsszavak jelennek meg rajta. Miután megtalálta a hivatkozásokat az oldalon, követi azokat a következő oldalra, és a ciklus így folytatódik egészen a végéig. A Google bot követi a robots.txt által felállított szabályokat, így nem fogja feltérképezni azokat az oldalakat, amelyeket a fájlban megadott utasítások blokkolnak.
Mielőtt egy oldalt átirányítana az indexelési folyamatba, a Google bot feltérképezi azt, és sok esetben megjeleníti a beágyazott képeket, videókat és JavaScript-elemeket, amelyek a webhely végső megjelenéséhez szükséges összetevők. Az ilyen típusú fájlok mindig nagyobb küzdelmet jelentettek a Google számára, mint a HTML.
Mikor indexelhető egy oldal?
Két fontos szabályt kell betartani, hogy a Google plecsnit megkaphassa a site!
- Az első, hogy kerülni kell a robots.txt vagy a noindex utasítás általi letiltást.
- A második, hogy egy adott tartalomrész kanonikus változatát kanonikus címkével kell megjelölni.
A Robots.txt egy olyan fájl, amely utasításokat tartalmaz a webhelyet felkereső robotok számára. Segítségével megadható, hogy mely botok nem látogathatnak meg bizonyos oldalakat vagy mappákat. Mindössze a disallow opciót kell használni ehhez.
Ha, például nem szeretnénk, hogy a robotok meglátogassák az „example” nevű mappa oldalait és fájljait, akkor a robots.txt fájlnak a következő utasításokat kell tartalmaznia:
X-Robots-tag az oldal URL-címének HTTP-fejléc válaszában.
Meta robots címke az oldal <head> részében.
Érdemes különböző módszerekkel segíteni az indexelés folyamatát:
- Segít, ha van egy átlátható honlapszerkezetünk, menüpontokkal, kulcsszavakkal, aloldalakkal.
- Regisztráljuk az oldaltérképet! Ezze a lépéssel a Google Search Console-ban megjelenünk és ez gyorsítja az indexelést. Ennek értelme azonban csak olyan honlapokon van, ahol napi szinten kerülnek fel új tartalmak a weboldalra (hírportálok, blogok, rendszeresen frissülő tartalmú webshopok).
- Használjunk belső linkeket! Ez segítheti egy oldal jobb indexelését, ha a honlap (domain) más aloldalairól linkek mutatnak az oldalra.
- A külső linkek nagy mértékben segítik az egyes aloldalak indexelését. A külső link főként akkor hatásos, ha a linkelő oldal is azonos témájú, mint a linkelt oldal. A SEO munka fontos része a linképítés. A linképítés nem csak az indexelést, de az indexben való előre jutást is biztosítja!
Végül ne felejtsük el biztosítani a szerver megfelelő sávszélességét, hogy a Google bot ne csökkentse webhelyünk feltérképezési sebességét. Inkább kerüljük a megosztott tárhelyszolgáltatók használatát, és rendszeresen teszteljük a szervert, hogy megbizonyosodjunk arról, hogy a program képes kezelni az adatokat.
Összefoglalva
Az adatok szerveren való tárolását, vagyis az indexelést a Google végzi. Nehéz pontosan megjósolni, hogy mikor kerül indexelésre egy honlap url-je. Általánosságban elmondható, hogy két hét alatt a legtöbb esetben számíthatunk a pozitív elbírálásra. A Google kis robotprogramokkal kiolvassa egy weboldal tartalmát, majd követik a weboldalon lévő linkeket, ahogy a linkelt weboldalakat is beolvassa, majd ezeket is átnézi és így tovább. Az eljárás nem rajtunk múlik, de lehet rá hatásunk még a honlapunk építésekor, ezért célszerű SEO szemszögből is nézni minden aprónak tűnő lépést!
Forrás: How Long Before Google Indexes My New Page (And Why It Depends)?
