@dlangru

Страница 651 из 719
Toha
09.08.2018
11:10:51
что-то еще без них сделать тоже не можем

Pavel
09.08.2018
11:11:09
Дело ваще не в этом!

веб-сервис - это система массового обслуживания

В очереди стоят N клиентов и ждут пока сервис их обслужит. Пока ты получаешь данные для одного клиента, надо получить данные от для другого.

Google
Pavel
09.08.2018
11:12:33
Вот где конкурентность, а не в линейном пути получить_данные -> отрендерить_их

Toha
09.08.2018
11:13:06
крч я не отрицаю того, что я чего то не пойму)

я бы обслуживание клиента отдавал в отдельный поток, а в этот момент принимал бы коннект от другого)

Pavel
09.08.2018
11:13:51
Так это же боян

И работает на порядок медленнее асинка

В этом и смысл асинков

Toha
09.08.2018
11:14:14
на этом мои полномочия все :)

видимо я прост не понимаю как это робит)

Pavel
09.08.2018
11:15:30
А поток - ты думаешь это магическая трубочка в которой все само собой получается? Это можно сказать тот же файбер, только он сидит в ядре и оно бешено переключает контексты чтобы дать поработать каждому потоку.

Maxim
09.08.2018
11:18:03
асинк на бекенде не нужен по большому счету
Нужен, например, когда вебсокеты

Или система ивентов

Зависит от задачи

Pavel
09.08.2018
12:01:48
Так когда он не нужен-то на бэкенде? =) Почти всегда нужен

Google
elias
09.08.2018
12:57:09
Привет! оффтоп: кто-нибудь с iperf2 работал? если да, как там с ключом -d определить, где аплоад, где даунлоад в выхлопе?

Toha
09.08.2018
14:50:35
Ребят

Нужен совет

смотрите, есть 12 гигабайт емейлов, лежат в базе

и есть партномера, которые нужно искать в этих емейлах, их несколько сотен тысяч

и есть таблицы партномеров, и связей партномер-емейл

Как можно эфффективно искать партномера по такому массиву данных?

Грузить все партномера в память, и потом запросом батчами получать емейлы из базы, и искать там эти партномера по очереди?

Igor
09.08.2018
14:55:32
а загрузить таблицы партномеров, и связей партномер-емейл в базу и пусть она ищет?

Toha
09.08.2018
14:56:08
как раз таблицу связей и нужно наполнять во время поисков)

Igor
09.08.2018
14:56:47
а, так их нет. а написано что есть )

Pavel
09.08.2018
14:57:18
ну берешь емейл, ищешь в нем партномера, затем вставляешь в таблицу связей

Toha
09.08.2018
14:57:55
короче тупо strpos

:)

я понел :))

Pavel
09.08.2018
14:58:14
как так то

Если strpos значит ты уже знаешь подстроку

что есть партномер? И как его искать

Oleg
09.08.2018
15:18:46
что есть партномер? И как его искать
номер партийного билета?))

Google
Oleg
09.08.2018
15:21:19
эффективность понятие относительное... что нужно? быстро это делать часто? сделать один раз с минимум кода?

Toha
09.08.2018
15:36:52
нужно делать быстро

и довольно часто

что предпочтительнее использовать?

json, или sdl?

люди, кто какой либой пользуется для подключения к постгре?

.dub/packages/database-master/database/source/database/pool.d(65): Don't support database driver: postgresql

мда ;D

DarkRiDDeR
09.08.2018
16:36:49
да, dpq2 самое то

Andrey
09.08.2018
16:41:19
как бы можно попробовать и sql запросом обойтись, типа with a as (select id, unnest(regexp_matches(val, 'партнум', 'g')) as a from mail ) insert into mail_part(mail_id, partnum) select * from a;

Toha
09.08.2018
16:58:34
Короче

Toha
09.08.2018
16:58:41
заюзал ddbc

Если загрузить все строки в базу, то он ищет довольно быстро)

документацию не понимаю))

капец :)

ди крутой, пока не начнешь на нем писать, я так отупел с этими вашими го, пхп, питон))

Pavel
09.08.2018
17:49:23
У меня ровно те же чувства. Уже пару лет.

Toha
09.08.2018
17:49:47
))

Google
Toha
09.08.2018
17:50:03
еще я не понимаю документацию))

Pavel
09.08.2018
17:50:37
Ну она не идеальна, но впринципе если разобраться то хорошо идет

И примеры там иногда встречаются

Toha
09.08.2018
17:50:57
кучи примеров - и это круто)

я вынужден признать, что на голанге проще говнокодить)

А чем можно в json сериализовать? какой либой?

Maxim
09.08.2018
18:35:32
я вынужден признать, что на голанге проще говнокодить)
На любом языке можно говнокодить. Более того, говнокод не всегда зло.

Pavel
09.08.2018
18:41:05
А чем можно в json сериализовать? какой либой?
О там тоже есть куча нюансов, тебе надо сериализовывать в структуры, рассериализовывать или что еще.. )

Admin
ERROR: S client not available

Toha
09.08.2018
18:42:11
А обычный хэш нельзя?

Toha
09.08.2018
18:42:59
Корое поздно, я уже туплю

Я тут простяцкий алгоритм написал для поиска партномеров)

При старте табличка в память тупо грузится, и уже в оперативке ищется)

6 гиг памяти сжирает ;D

Toha
09.08.2018
18:43:40
это если хэшмап использовать

Google
Oleg
09.08.2018
18:43:56
это если хэшмап использовать
они более прожорливы

Toha
09.08.2018
18:43:59
string[int] messages

Oleg
09.08.2018
18:44:04
чем обычные массивы

Toha
09.08.2018
18:44:22
int - айди записи, string - текст по которому искать

и дальше тупо форычем)

который возвращает массив id, в которых подстрока найдена

не более 4 секунд ищет любую подстроку)

если раскидать по потокам, возможно еще быстрее будет))

Oleg
09.08.2018
18:53:46
если раскидать по потокам, возможно еще быстрее будет))
аккуратно с типами, есть некоторая замочка, чтобы не отстреливать ноги

shared

такие типы слабо совместимы с обычными (числа норм совместимы, АА нет)

Toha
09.08.2018
18:58:18
ща посмотрим сколько времени займет поиск найти все партномера во всех письмах в 1 поток)

1931000 партномеров, 1230000 писем

зафигачил пул из 12 воркеров)



:D

9 часов примерно нужно чтоб распарсить все партномера во всех письмах

Oleg
09.08.2018
23:10:52
кстати D на 23 месте в tiobe

если всю инфу гуглить, а не сразу на офф сайт заходить, то можно в 20 загнать)))

DarkRiDDeR
10.08.2018
02:53:27
https://www.youtube.com/watch?time_continue=48&v=RFwaumzbxCk )))

Dark
10.08.2018
03:23:57
хипсторского
Если для тебя оно хипстерское - то мне тебя искренне жаль

Toha
10.08.2018
05:04:47
Если для тебя оно хипстерское - то мне тебя искренне жаль
а мне тебя :) Наши мнения не обязаны совпадать :)

Страница 651 из 719