Техническое: Поиск по сайту

Аватар пользователя alexsword

Каждый день пишут про проблемы с поиском на сайте.  В курсе, камрады!  Суммирую типовые вопросы и ответы на них здесь: 

1. Так как новый домен запущен "непланово" (= не как зеркало старого домена, а как новый сайт), требуется переиндексация "с нуля".  

2. В поддержку Яндекса, естественно, сообщили о ситуации, и запросили, можно ли просто имеющиеся индексы перенести на новый домен - ответ, нет, нельзя.  

3. Естественно, в итоге, для поисковых систем мы выглядим как дикое НЛО - из "ниоткуда" появился сайт с сотнями тысяч записей. Они на это не заточены и оперативно отрабатывать не умеют.

4.  Было много нареканий об использовании Гугл-поиска (шпионаж и все такое), поставил сейчас Яндекс. После того как обе системы завершат индексирование, оценим качество и выберем.  Сделаны настройки обеих систем для индексирования (через "пользовательский поиск"), поэтому хоть показывается сейчас только Яндекс, качество сможем оценить по обеим. 

5. Пока поиск толком не работает, санкций (= премодерация на Пульсе) за баяны не будет.  Но это касается старых записей, если в течении суток, кто-то горячую новость в пятый раз постит, это бардак, ресурс нужно читать, не только писать!

Комментарии

Аватар пользователя Ocean
Ocean(12 лет 10 месяцев)

Глобальная битва а-шока: Гугл- Яндекс.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Шпионаж имхо, надуманно (не вообще, а именно в данном вопросе), так как особо много инфы они от наличия поиска на сайте  собрать не смогут.   Так что можно потом обе системы поиска запустить одновременно на сутки, чтобы люди оценили и выбрали. 

Аватар пользователя Ocean
Ocean(12 лет 10 месяцев)

Согласен. Можно просто растянуть запуск обоих систем на 7 суток, с учетом глобальности битвы.

 

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Не понял.  Что значит "растянуть на 7 суток" запуск?  пользовательский поиск настроен (с нашей стороны) по обеим, но переиндексация по обеим идет.  Вопрос о том, как будем делать выбор, когда обе завершат.  

Аватар пользователя Ocean
Ocean(12 лет 10 месяцев)

7 суток на тестирование обеих, как делать выбор- хороший вопрос.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

ИМХО, если обе работают и доступны одновременно, читатель может зайти сделать поиск пару раз, сравнить.    Этого будет достаточно, после этого он остановится и будет пользоваться одной конкретной системой, которая ему понравилась больше.   

То есть неделя избыточно.

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 9 месяцев)

При добавлении материалов включите поиск по ключевым предложениям и по контенту статьи, и ставьте мини-статус вероятности "баяна", если совпадений более 90% - включается премодерация или просто запрет. Для mysql или pgsql - это достаточно простая функция, пишется "на коленке" за 15 минут.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

1. это не простая функция, а очень дорогая (= в плане ресурсов) при богатом контенте, если делать это силами собственного сервера, это либо свои индексы строить и поддерживать, что дорого, либо к базе каждый раз запрос делать, что еще дороже.

2. а вот попытаться использовать для этого яндекс / гугл - звучит интересно, подумаем. 

Аватар пользователя Rashad_rus
Rashad_rus(12 лет 9 месяцев)

А-вот и нет! При добавлении материала создаётся частотное дерево и оно-же хранится вместе с самим материалом(размер - 1кб, не более, состоящее из двух частей - частотный словарь и частотное дерево, которое можно и не сохранять), достаточно сравнить частотный словарь при добавлении и всё... Но поскольку статей УЖЕ много - делать это будет сложно чисто по ресурсам(долго), а вот для новых статей - самое оно!

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

В том то и дело, нам нужен поиск не только по новым, а по всем.  А то что ты описываешь, это и есть индексация. 

Аватар пользователя всеПРОсто
всеПРОсто(9 лет 5 месяцев)

Можно ли сделать уведомление о коментах не на почту? с телефона оч. неудобно

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

А куда, СМС?  

Аватар пользователя всеПРОсто
всеПРОсто(9 лет 5 месяцев)

прямо на аккаунт сюда. не видно отвечали тебе или нет.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

отправьте "штатным" способом (= в отзывы и предложения), чтобы не забылось, вопрос не высшего приоритета, но будем помнить при формировании задач по развитию.

Аватар пользователя Igoris
Igoris(10 лет 11 месяцев)

А меня устраивают ответы именно на почту. Пишу со смарта.

Так что, "не всё так однозначно", мне лично удобно.

 

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Мне тоже.  Но если говорить о других вариантах, не "чтобы заменить", а чтобы дать возможность выбора между вариантами, почему бы и нет.

Аватар пользователя Смех
Смех(9 лет 9 месяцев)

Отзывы вроде не корректно работают, большинство запросов( открыть страницу/комментарии/показать все идеи/проблемы) ведут в 404 или в Рекомендованные.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Да, вижу барахлит.

Пока не починим виджет "Отзывы", можете писать напрямую сюда - http://aftershock.reformal.ru/

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

починили

Аватар пользователя Смех
Смех(9 лет 9 месяцев)

Спасибо. Добавил идею всеПРОсто. Мне она кажется полезной.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Не возражаю против полезности, просто не высший приоритет.

Так что пусть пока будет в общем списке запросов, а там посмотрим с учетом приоритетов других задач, в том числе с учетом голосов.  

Аватар пользователя Сан Саныч
Сан Саныч(9 лет 6 месяцев)

+++ мало комментирую, но тоже очень напрягает. Только в комментариях  мне не надо отвечать, не найду )))

Аватар пользователя Romzim
Romzim(12 лет 7 месяцев)

только что нашел куда сайт переехал. потому что вспомнил про ЖЖ, и туда залез, а так бы и не знал. Может стоит сделать рассылку на почту с новым адресом? еще в вконтакте у вас вроде группа была.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

1.  По "официальным"  зеркалам / аккаунтам (RSS, твиттер, ЖЖ) рассылки были.

2.  Есть неофициальные, кто камрады запускали / поддерживали по собственной инициативе - за ними проследить не могу. 

3. Почтовая рассылка была по зарегенным пользователям, но в силу массовости прошла не везде.  20 тысяч адресов - не шутка!

4.  По статистике ~90% читателей нас уже нашли.

Аватар пользователя Wasp
Wasp(12 лет 8 месяцев)

Алекс. Раньше в профиле пользователя была отличная кнопка позволявшая "посмотреть все комментарии пользователя" можешь вернуть? Было очень удобно искать потерявшуюся переписку,

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Она есть, просто немного в другом виде.   После того, как профили пользователей кардинально переработали, кнопку убрали, чтобы не дублировать - ссылка теперь в строке "Комментариев написано":

799fe03b1046b4494b063bffa67a7de7.png

Аватар пользователя Wasp
Wasp(12 лет 8 месяцев)

Благодарю!

Аватар пользователя Homo 2.0
Homo 2.0(11 лет 6 месяцев)

поиск ничего толком не ищет. Часто материалы проще и надежнее найти напрямую из Яндекса, чем из АШ-окошка.

Комментарий администрации:  
*** Средний россиянин нищ не только энергетически, но и мозгами (c) ***
Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

АШ-окошко - это Яндекс и есть.

И он не работает толком, пока переиндексация не завершена.  А то что ты находишь "напрямую из Яндекса" это как правило ссылки со старого домена (или с других сайтов).  "АШ-окошко" - это поиск по самому сайту.

Аватар пользователя Homo 2.0
Homo 2.0(11 лет 6 месяцев)

сколько лет на АШ - столько и проблемы с поиском. Был краткий миг, когда поиск реально что-то находил, но счастье кончилось слишком быстро.

Комментарий администрации:  
*** Средний россиянин нищ не только энергетически, но и мозгами (c) ***
Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Сгущаешь, последние полтора года прекрасно работало (сам постоянно пользовался для вычисления баянов, так что знаю).

Аватар пользователя Homo 2.0
Homo 2.0(11 лет 6 месяцев)

баянами никогда особо не интересовалсо, а вот найти коммент, который помнишь, что был - огромная проблема. Сложные запросы толком не обрабатываются, выдача идет странная, - не с учетом релевантности АШ, а  с учетом предпочтений самого Яндекса.

Комментарий администрации:  
*** Средний россиянин нищ не только энергетически, но и мозгами (c) ***
Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Основной приоритет все же и должен быть по записям, а не по комментам.  

Сейчас пусть хотя бы записи проиндексируют, уже польза будет.

 

Аватар пользователя Красный аноним

А мне до сих пор не приходят уведомления на почту.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Если не в спаме, то админу почтового сервера задай вопрос, сейчас это уже проблема не АШ, по логам видно ,что почта прекрасно ходит.

Аватар пользователя Homo 2.0
Homo 2.0(11 лет 6 месяцев)

А птичку 

Уведомлять меня о новых комментариях

и выбор в 

  •  Все комментарии 
  •  Ответы на мой комментарий 
  •  Подписаться не комментируя

кто будет делать? Сделайте и все появится

 

Комментарий администрации:  
*** Средний россиянин нищ не только энергетически, но и мозгами (c) ***
Аватар пользователя Красный аноним

И так всё включено.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Посмотрели твою почту, и лог почты - именно твой.

Скинул в личку, что не светить почту публично.

 Строки там типа:

delay=21:12:45, xdelay=00:00:00, mailer=esmtp, pri=3991520, relay=in2-smtp.messagingengine.com., dsn=4.0.0, stat=Deferred

говорят что именно сервер-получатель не "захотел получать".

Свяжись с админом, чтобы уточнить причины. и дай ему тот полный лог, что я отослал в личку.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

вот даже, конкретно носом ткну:

Dec 19 15:04:15 aftershock sm-mta[26490]: tBJC4ACG026488: to=***, delay=00:00:05, xdelay=00:00:05, mailer=esmtp, pri=30929, relay=in2-smtp.messagingengine.com. [185.68.180.20], dsn=4.0.0, stat=Deferred: 451 4.7.1 <DATA>: Data command rejected: aftershock.news is blacklisted - RLR812 - ip=<185.12.92.203>, host=<after.deserv.net>, helo=<aftershock.news>, from_domain=<aftershock.news

Аватар пользователя Красный аноним

Вот спасибо. Как раз уже строчу им поддержку и хотел попросить какие-либо логи.

Аватар пользователя Серж
Серж(10 лет 11 месяцев)

Алекс, так на какой Аш теперь ходить, а то оба работают и статьи постят и тут и там?

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Не понимаю, о чем ты говоришь.  В ДНС старый адрес мертв давно.  Если там что-то появится, сам решай куда ходить. 

Аватар пользователя Серж
Серж(10 лет 11 месяцев)

не знаю кто такой ДНС, но ссылки http://aftershock.su/?q=blog и http://aftershock.news/?q=blog работают и вроде как зеркалят. Об этом и спрашиваю: ходить на старый АШ или новый?

Аватар пользователя Podvalny
Podvalny(10 лет 8 месяцев)

У Вас после этих событий осталась строчка в /etc/hosts

Уберите её и увидите, что будет

Аватар пользователя Серж
Серж(10 лет 11 месяцев)

я спрашивал с точки зрения обывателя, который в хомтах дэнээсов ваших серверов не понимает. Вчера случайно открыл старый АШ и увидел, что он заработал, холя доменное имя у нового АШ изменилось, но статьи и там и там есть новые, вот и решил поинтересоваться...

Аватар пользователя Igoris
Igoris(10 лет 11 месяцев)

Здесь мы, здесь... (aftershock.news)

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Если первая ссылка у тебя в hosts прописана, так она вечно будет работать. Проблема в том, что она у остальных не работает.

Сервер в любом случае один, независимо от способа адресации.

Аватар пользователя Серж
Серж(10 лет 11 месяцев)

какие-то вы неконкретные:)) буду ходить на новый АШ, раз нет внятного ответа.

Аватар пользователя alexsword
alexsword(13 лет 1 месяц)

Мы неконкретные потому что ты невежда, и вопрос ставишь типа, что будет если закат на луну смотрит при том что нога у козы серая?

Hosts менял? Если так, тебе новый сервер вообще без разницы.