Моят уебсайт (www.example.com) има всички мои изображения, хоствани чрез CDN под различен поддомейн (cdn.example.com).

Напоследък забелязахме странно поведение, което изглежда сякаш Googlebot-Image/1.0 се опитва да обходи валидно образ URL адреси от CDN домейна, но с префикс към домейна на нашия сайт (или добавяне на водеща наклонена черта?).

напр. вместо да поискате изображението на https://cdn.example.com/product/12345.jpg, се опитва да поиска https://www.example.com/https:/cdn.example.com/product/12345.jpg

Това доведе до регистриране на стотици хиляди изключения на седмица на нашия основен сайт, тъй като действителните URL адреси са невалидни.

Има ли нещо, което мога да направя, за да смекча това, освен програмирането на самия сайт за обработка на неправилно оформените URL адреси?

Ще забрани Googlebot-Image на www домейн не му позволява да обхожда успешно cdn домейн?

Трябва ли ми файл robots.txt на cdn самият домейн?

Това вероятно се дължи на неправилно оформен URL във вашите уеб страници. Забележи това https://www.example.com/https:/cdn.example.com/product/12345.jpg има само една наклонена черта https:/cdn вместо две. Ако вашата страница има може да се тълкува като относителна връзка.

Решението би било да намерите всички URL адреси на изображения във вашия сайт и да се уверите, че са добре оформени с две наклонени черти. Като алтернатива можете да използвате относително свързване на протокол, което започва с две наклонени черти: .

На вашия уеб сървър можете да пренасочвате URL адреси, които съдържат "http: /" по следния начин:

RewriteEngine On RewriteCond %{THE_REQUEST} .*(https?):/{1,2}(cdn\.example\.com/.*) [NC] RewriteRule ^(.*)$ %1://%2 [R=301,L] 

Това ще се справи с всички следващи заявки http или https, една или две наклонени черти и по желание префикс на пътя:

  • https://www.example.com/https:/cdn.example.com/product/12345.jpg
  • https://www.example.com/http:/cdn.example.com/product/12345.jpg
  • https://www.example.com/https://cdn.example.com/product/12345.jpg
  • https://www.example.com/some-path/https:/cdn.example.com/product/12345.jpg

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?