
Dmitry
20.10.2016
07:53:49

Lina
20.10.2016
07:54:31
Тогда пусть Андрей в лс отпишет, если надо

Dmitry
20.10.2016
07:55:51
если не @smmruschat то мне тоже скинь

Алёна
20.10.2016
07:57:12
Доброе утро, посоветуйте, как поступить со страницами пагинации на отзывах? В гугле дубли

Google

Dmitry
20.10.2016
07:57:39

Алёна
20.10.2016
07:58:49

Dmitry
20.10.2016
07:59:48

Sergey
20.10.2016
07:59:50

Max
20.10.2016
08:00:06

Dmitry
20.10.2016
08:00:52
кстати, оператор VKmobile это мегафон же по сути, да?

Алёна
20.10.2016
08:01:04

Dmitry
20.10.2016
08:01:32

Алёна
20.10.2016
08:02:42
а это вообще нормально? не совсем красиво получится ведь или я чего-то не понимаю?

Dmitry
20.10.2016
08:03:27

Stas
20.10.2016
08:05:08
Ребят, есть кто может помочь, подсказать или направить в нужном направлении....с индексацией чёт все плохо(

Dmitry
20.10.2016
08:06:55

Max
20.10.2016
08:08:25

Google

Dmitry
20.10.2016
08:08:39

Max
20.10.2016
08:09:25

Dmitry
20.10.2016
08:33:08
#вопрос
как из лягушки выгрузить урлы определенного уровня вложенности?

Илья
20.10.2016
08:36:02
Привет, кто-то использует символы юникода в тайтлах? Типо как у ф.уа?

Igor KN ?
20.10.2016
08:38:16
только в дескрипшн используем

Илья
20.10.2016
08:40:16

Александр
20.10.2016
08:42:24

Dmitry
20.10.2016
08:42:55

Александр
20.10.2016
08:43:44

Dmitry
20.10.2016
08:45:27
он что-то не то показывает(

Александр
20.10.2016
08:45:38
??
что именно не так

Dmitry
20.10.2016
08:46:08
site/catalog/category/item
он показывает 1 лвл

Александр
20.10.2016
08:46:18
так
а вы знаете что такое уровень вложенности?
site.ru/catalog/cat/iteam/234234/324234/324234.html - это тоже может быть 2 уровень вложенности )

Dmitry
20.10.2016
08:47:32
да, я понял
глубина мне нужна)

Александр
20.10.2016
08:47:50
количество слешей?

Google

Dmitry
20.10.2016
08:47:57
ага

Александр
20.10.2016
08:48:11
excel ))

Dmitry
20.10.2016
08:48:39
так я и спрашиваю, как это сделать)

Александр
20.10.2016
08:49:02
считайте в строке количество слешей)
далее как-нибудь сами

eg0r
20.10.2016
08:49:25
Всем привет! У кого нибудь получилось проверить непроиндексированные урлы с помощью метода который вчера на серче опубликовали? хтппс://www.searchengines(точка)ru/urls-not-indexed-google(точка)html
чё-та нифига не палит этот скрипт ((


Igor KN ?
20.10.2016
09:03:16
Есть чуть доработанный, для Python. (2.7) попробуй его
# Original post http://searchengineland.com/check-urls-indexed-google-using-python-259773
# Google says don't use this script: https://twitter.com/methode/status/783733724655517696
# This script is a violation of Google Terms of Service. Don't use it.
import requests
import csv
import os
import time
from bs4 import BeautifulSoup
from urllib import urlencode
seconds = input('Enter number of seconds to wait between URL checks: ')
output = "output.csv"
urlinput = "urls.txt"
urls = open(urlinput, "r")
proxies = {
'https' : 'https://localhost:8123',
'https' : 'http://localhost:8123'
}
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
headers = { 'User-Agent' : user_agent}
f = csv.writer(open(output, "wb"), delimiter='\t')
f.writerow(["URL", "Indexed"])
for line in iter(urls):
query = {'q': 'info:' + line}
google = "https://www.google.com/search?" + urlencode(query)
data = requests.get(google, headers=headers, proxies=proxies)
data.encoding = 'ISO-8859-1'
soup = BeautifulSoup(str(data.content), "html.parser")
try:
check = soup.find(id="rso").find("div").find("div").find("h3").find("a")
href = check['href']
f.writerow([line,"True"])
print(line + " is indexed!")
except AttributeError:
f.writerow([line,"False"])
print(line + " is NOT indexed!")
print("Waiting " + str(seconds) + " seconds until checking next URL.\n")
time.sleep(float(seconds))
urls.close()


eg0r
20.10.2016
09:06:12
Есть чуть доработанный, для Python. (2.7) у меня 3.5 уже)
проблема не в скрипте, а в том что он не стартует.
по ходу разобрался, надо доустановить библиотеки requests

Igor KN ?
20.10.2016
09:07:14
вообще нетпик спайдер используем для этих целей

eg0r
20.10.2016
09:07:15
ща буду тестить
у меня ИМ на 90к страниц

Igor KN ?
20.10.2016
09:07:36
скнирование по google Там есть

eg0r
20.10.2016
09:07:46
ни один из известных парсеров пока не справился

Dmitry
20.10.2016
09:07:49
тем, кому тоже нужно будет вытащить определенный диапазон страниц по слешам с сайта даю формулу для экселя =ДЛСТР(A3)-ДЛСТР(ПОДСТАВИТЬ(A3;"/";"")) а дальше уже сортируете по числам

Igor KN ?
20.10.2016
09:08:08

eg0r
20.10.2016
09:08:20
правдо нетпиком не пробовали. компарсер не схавал

Google

Igor KN ?
20.10.2016
09:09:43
@Alex_Wise

Anton
20.10.2016
09:14:38
ребят, всем привет. у вас такая же фигня?
да как тут скрин отправить Ёп))

Max
20.10.2016
09:15:12

Dmitry
20.10.2016
09:15:19

Anton
20.10.2016
09:15:41
если словами - Процент запросов в топе за неделю меняется от 6% до 38% туда-сюда

Admin
ERROR: S client not available

Vitaliy
20.10.2016
09:15:54

Anton
20.10.2016
09:16:40
это да, но чтот с конца сентября вообще по жести. раньше не такой разброс был

Николай
20.10.2016
09:28:27
#вопрос Достаточно ли присвоить региональность одним из способов в Яндексе (Каталог, Справочник, Вебмастер, Автоприсовение) или лучше присвоить региональность разными способами? Т.е. имеет ли один сайт при прочих равных с другим сайтом преимущество в ранжировании по геозависимым запросам, если для первого сайта региональность присвоена через Каталог, Справочник, Вебмастер, а для другого - только через Яндекс.Вебмастер? Т.е. имеет ли региональность количественную меру или она просто либо есть, либо нет?

Vitaliy
20.10.2016
09:29:49

Андрей
20.10.2016
09:29:52
чот очень странная стата

Vitaliy
20.10.2016
09:29:56
Даже иногда просто справочник

Николай
20.10.2016
09:32:22

Ditmar
20.10.2016
09:32:46

Vitaliy
20.10.2016
09:32:55
Вообщем то потому све свелось к тому что проще делать поддомены и на них вешать регионы

Николай
20.10.2016
09:33:55

Vitaliy
20.10.2016
09:34:28

Dmitry
20.10.2016
09:35:08
опять обсасывание поддоменов, тогда задам уже сто раз заданный вопрос. с текстом на поддоменах что делать? ну в каталожных разделах

Google

Vitaliy
20.10.2016
09:35:34

Николай
20.10.2016
09:35:54

Krikovtsov
20.10.2016
09:36:14

Dmitry
20.10.2016
09:36:20

Vitaliy
20.10.2016
09:37:06
главное аффилировать себя
я реализую банально картой сайтов - регионов
т.е. осознано показываю что это одна контора

Dmitry
20.10.2016
09:38:21
хм, на основе просто добавляешь в карту 5 ссылок на поддомены например?

Андрей
20.10.2016
09:38:30

Vitaliy
20.10.2016
09:38:55
просто в футере - наши сайты в регионах
а там хтмл карта

Dmitry
20.10.2016
09:39:56

Krikovtsov
20.10.2016
09:40:58
Www.nielsen.com
Первый раз не то
Не смотри