это примерно из области "а они говном на стене пишут, классная идея"

а что можно?

Где там девчонка, которая спрашивала про плохой тон в коммьюнити? Надо ей про ртл рассказать

я тут)

Ну я уже скинул

Когда в определённых чатах каждый второй с такой фигнёй сидит вроде особо мозга не надо додумываться :)

http://cs5631.vk.me/u134913832/-7/x_86bc33c9.jpg

А существуют ли хэши обладающие следующим свойством: чем меньше различаютсяя две хэшу-суммы, тем меньше различаются оригинальные сообщения?

Чтобы было изи подобрать? :3

обычно это не называется словом хэш 8)

Да, самописный алгоритм "хеширования" какой-нибудь по идее

Иначе нахуй такой хеш нужен

обычно это не называется словом хэш 8)

Ну, хэш - это функция приведения сообщения произвольной длины к фиксированному размеру Вот то что этот хэш не будет криптографическим - это да

а, ок

просто взять ксор - уже лучше

Суть в том, что нужно сравнить два сообщения на близость, не храня сами сообщения

sum(map(ord, message))

хэш функция это отображение из пространства сообщений в пространство хэшей. Обычно его пытаются сделать сильно разрывным, но в данном случае лучше непрерывное. И такое сделать проще

Что такое близость? Общие слова, расстояние левенштейна? Размер сообщение разный?

sum(map(ord, message))

Кстати вот это один из вариантов

скорее левенштейна

тут беда в том, что хэш это всегда потеря информации об оригинальном сообщении

Суть в том, что нужно сравнить два сообщения на близость, не храня сами сообщения

обычно для этого используют быстрые и медленные хеши,как в рсинке. црц 32 какой-нибудь

можно взять в качестве хэша просто начало сообщения - тогда у сообщений с одинаковым началом хэш будет одинаковый, а у сообщений с мало отличающимся началом хэши будут близкие. Но это неинтересно

Что такое близость? Общие слова, расстояние левенштейна? Размер сообщение разный?

Представь у тебя есть наборы чисел И ты хочешь сравнить два набора, не сравнивая их напрямую При этом это должна быть евклидова метрика

То есть блин

Евклидово-подобная Забыл как называется

ну вот расстояние левенштейна

ну вот расстояние левенштейна

Проблема в том, что для вычисления этого расстояния надо хранить сами сообщения

Если сообщения небольшие или разнятся не сильно, можно придумать велосипед и накидать реперных точек по пространству сообщений. И хеш - это склеенные два числа - айди точки и расстояние от нее.

звучит достаточно безумно?

чот вдруг подумал, а насколько сильно различаются коды хэмминга у двух разных сообщений?

ну да, там отличие в 1 бит в сообщении дает очень сильное изменение кода - вплоть до произвольного

там наоборот подобрано так, что все сообщения с расстоянием 1 имеют все допустимые значения хэша

Если сообщения небольшие или разнятся не сильно, можно придумать велосипед и накидать реперных точек по пространству сообщений. И хеш - это склеенные два числа - айди точки и расстояние от нее.

Я бы так и сделал Дело в том, что сообщения могут быть произвольной длины и очень большлй при том

ну во-первых можно сначала сравнить длину

ну во-первых можно сначала сравнить длину

Да Но сообщения одной длины могут очень сильно различатся

А минхешинг никак сюда не воткнуть?

А это кстати то, что нужно

Однако спасибо

С небольшой модификацией должно работать

Ура!

народ может кто подскажет ? Ситуация такая, есть скрипт, скрипт на python, который работает на нескольких серваках. на одних установлен MySql на других MariaDB. нужно из скрипта определить к какой базе подключен скрипт. как это можно сделать? взможно запросом. в идеале с использованием sqlalchemy.

народ может кто подскажет ? Ситуация такая, есть скрипт, скрипт на python, который работает на нескольких серваках. на одних установлен MySql на других MariaDB. нужно из скрипта определить к какой базе подключен скрипт. как это можно сделать? взможно запросом. в идеале с использованием sqlalchemy.

select version()?

а что это даст ?

SHOW VARIABLES LIKE "%version%";

по теории для mysql выдаст 5.*.* для мариа 10.*.*

а что это даст ?

https://mariadb.com/kb/en/mariadb/version/ SELECT VERSION(); +------------------------------+ | VERSION() | +------------------------------+ | 10.0.3-MariaDB-1~precise-log | +------------------------------+

хорошо спасибо, попробую

по теории для mysql выдаст 5.*.* для мариа 10.*.*

тогда select version(); прокатит, попробовал на одной из mysql, пишет "5.5.49-0+deb8u1"

Коллеги , кто работал с logstash + elastic ???

ELK stack так называемый

я работаю

и страдаю

эластик виснет и ведёт себя как хочет

немного работал, то тоже не научился готовить эластик

я написал скрипт который шлет сктроки лога через TCP сокет

по 50 штук в секугду всего

запускаю их штук 5 - итого 250 месаг в секунду

через буквально 2-3 минуты он отпадают по сокет таймауту

пока не останется только 2 скрипта - это около 100 сообщений/сек

ну такого ж не может быть что б он не успеевал обрабатывать больше 100 EPS ?

увеличил ES и LS heap size в init скриптах до 8 и 4 соот-но на серваке SSD и 16 гБ RAM и i7 3.5 ГГц

for i in xrange(1, self.number_of_lines + 1): line_to_send = self.generate_line() if self.debug: print line_to_send sock.send(line_to_send) time.sleep(0.02) sock.close() Есть какие-то трезвые мысли по этому поводу ?

А что с загрузкой в пике? top что говорит

250 eps это конечно немного

for i in xrange(1, self.number_of_lines + 1): line_to_send = self.generate_line() if self.debug: print line_to_send sock.send(line_to_send) time.sleep(0.02) sock.close() Есть какие-то трезвые мысли по этому поводу ?

не трезвая мысль: написать скрипт, который будет висеть на порту вместо эластика, и тупо отправлять в /dev/null весь получнный трафик. Чтобы понять, это ось гадит или на уровне приложения проблемы.

А еще что эластик о себе говорит

ERROR: S client not available

Я забыл уже, как все называется, но у него есть какая-то диагностика

про состояние кластера и вот это все

ну такого ж не может быть что б он не успеевал обрабатывать больше 100 EPS ?

схему напиши для хранения полей

8 ядер

https://www.elastic.co/guide/en/elasticsearch/reference/2.3/cluster-health.html

у меня шлет поболее через сислог, все работает более менее со схемой

про схему не понял

конфиг лог стеша ?

output ?

Привет LOCK = threading.RLock() with LOCK: # заменяет acquire и release ? ...

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html

8 ядер

Многопоточность

Привет LOCK = threading.RLock() with LOCK: # заменяет acquire и release ? ...

да

спасибо

зайди в коде посмотри что делают __aenter__ и __aexit__

оо логстеш ваще здох

даже kill не убивает его

Привет LOCK = threading.RLock() with LOCK: # заменяет acquire и release ? ...

А разве не так нада? with threading.RLock() as LOCK: pass

если подряд, то так

может у него там общий лок для чего-то

threading.RLock() для нескольких потоков 1 объект будет?

Коллеги , кто работал с logstash + elastic ???

А чо не грейлог?

какой еще грейлог

[x for x in numbers if x < 5]

Кончил и закурил

[x for x in numbers if x < 5]

это где такое?)

Эт в питончике

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html

curl -XGET 'http://localhost:9200/_cluster/health?pretty=true' { "cluster_name" : "elasticsearch", "status" : "yellow", "timed_out" : false, "number_of_nodes" : 1, "number_of_data_nodes" : 1, "active_primary_shards" : 150, "active_shards" : 150, "relocating_shards" : 0, "initializing_shards" : 0, "unassigned_shards" : 150, "delayed_unassigned_shards" : 0, "number_of_pending_tasks" : 0, "number_of_in_flight_fetch" : 0, "task_max_waiting_in_queue_millis" : 0, "active_shards_percent_as_number" : 50.0 }

кто-то знает чего статус yellow а не green ?

Кто знает в если в телеграмм создать канал, а не группу, там смогут все писать?

Кто знает в если в телеграмм создать канал, а не группу, там смогут все писать?

Нет, не смогут.