Имаме hashbang URL адреси с разширени utf-8 символа. Например:

https://example.com/#!каталог 

Bing bot извлича html снимката https://example.com?_escaped_fragment_=каталог кодиран URL като \xD0\xB0.... Нашият сървър отговори с грешка 400 за това. Те приемат само процентно кодирани URL адреси. %D0%B0... ще получи 200 OK статус.

Как мога да разреша този проблем?

например:

  • Сигурни ли сте, че това е истински бингбот? Виждал съм (в дневниците на sever) много зле написани ботове, които се правят на напр. Googlebot.
  • Добавена е 1 снимка [актуализирана]. Проверка на IP: dig.whois.com.au/ip/40.77.167.196
  • 1 може ли да е вид, как вашият tomcat се справя с URL адресите, не?
+25

Трябва да кодирате името на изображението, преди да го дадете за обхождане за всякакви ботове, т.е.името на изображението трябва да бъде както %2F%D0%B7%D1%83%D1%80%D0%B0%D0%B3.jpg в изходния код на вашата страница. Всички съвременни браузъри го декодират и за потребителите ще показват UTF-8 символите по удобен за човека начин.

Така че, направете кодиране от страна на сървъра и кодирайте всички тези знаци, преди да включите във вашия изходен код.

Вижте изходния код на тази страница в Уикипедия и ще разберете: https://ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0% D0% BC% D0% BC% D0% B0_% D1% 80% D0% B0% D0% B7% D0% B2% D0% B8% D1% 82% D0% B8% D1% 8F_% D0% 9E% D0% 9E% D0% 9D

Актуализация: Въз основа на по-задълбочен преглед на уебсайта и други коментари на потребителите на StackExchange по-долу. Изглежда, че трябва да кодирате всичките си URL адреси във вашия уебсайт и XML карта на сайта. Във вашия уебсайт нямате кодирани URL адреси, както и не кодирани URL адреси в XML карта на сайта. Моля, използвайте UTF-8 кодирани URL адреси навсякъде. Имайте предвид, че Bingbot изостава от Googlebot и наскоро започна да прави уебсайт, базиран на JS, в по-широк мащаб. Използването на символи, различни от ASCII, може да причини грешки в Bingbot.

URL адресите във вашия изходен код и DOM, както и във вашата XML карта на сайта трябва да бъдат кодирани по този начин въз основа на вашия пример:

https://example.com/#!%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3 

Тук можете да прочетете повече за правилното кодиране на Sitemap: https://www.sitemaps.org/protocol.html#escaping

  • Мислите, че те се свързват с зураг.jpg отколкото %D0%B7ураг.jpg ?
  • Да, предполагам, че в изходния код името на изображението е: зураг.jpg
  • 1 @ ts.tsogtgerel благодаря за споделянето на вашия уебсайт. Сега всичко е ясно. Основният проблем е, че вашият уебсайт е в JS и Bing е изключително нов за рендиране на JS съдържание и индексиране на JS базиран уебсайт. Google е доста напреднал в изобразяването на JS файлове и вижда съдържанието доста добре, но Bing е начинаещ тук. Може би можете да говорите с екипа си за опция за предварително представяне на вашето съдържание или нещо подобно? Ето доста добро ръководство за уебсайтове, предоставени от JS. Тази информация ще ви даде много информация за проблема.
  • 1 @ ts.tsogtgerel допълнителна бележка. Във вашия уеб сайт DOM виждам, че и вашите URL адреси не са кодирани. Но във вашия случай Bing bot дори не може да види съдържанието ви.
  • 1 „Основният проблем е, че вашият уебсайт е в JS“ - JS елементът може да попречи на Bing да обхожда / индексира сайта, за да започне, но това не трябва да е причината Bing да обхожда неправилно кодирани URL адреси. (?) Между другото, изглежда, че некодираните URL адреси присъстват и в XML картата на сайта, която, предполагам, вероятно се изпраща на Bing's Webmaster Tools?

Вероятно трябва urlencode изображения src атрибут в html тагове.

  • 2 Това се счита за отговор с ниско качество. Можете ли да обясните повече мислите си и да включите някои подробности? Да приемем, че ОП няма почти никаква представа за какво говорите. Наздраве !!

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?