Tishka17
хотя удаление вроде было
Михаил
просто мне это 100 млн потом еще "обойти" надо, данные собрать. Так что 100 или 170 млн - разница доя меня ахренительная 😂
Anonymous
"надо вставить ~170 млн строк в таблицу, с контролем уникальности, уникальных строк ~100 млн"
ээээ, а куда нормальнее?
https://www.postgresql.org/docs/current/populate.html
STN
Коллеги, привет! Можете доступно пояснить алгоритм работы стандартного API. задача вытащить данные из Яндекс Директ.
Anonymous
поч?
Andrew
Коллеги, привет! Можете доступно пояснить алгоритм работы стандартного API. задача вытащить данные из Яндекс Директ.
Не понятно что ты имеешь в виду
nacknime
Это только у меня гитхаб не открывается?
Daniil
у меня всё ок
Tishka17
nacknime
У тебя вероятно провайдер блокирует
С чего бы он блочил гитхаб? это же не ВК с маилом и прочим заблоченным в Украине сервисам
Andrew
nacknime
или это уже мелкософт шалит
Михаил
https://www.postgresql.org/docs/current/populate.html
норм, в первом приближении - подойдет. Ща попробую пошаманить с настройками...
Andrew
норм, в первом приближении - подойдет. Ща попробую пошаманить с настройками...
Ставлю что не поможет)
Andrew
поставь то что поможет 😂
Я тебе уже предложил
В общем то вставить в таблицу без PK, свернуть, результат вставить и добавить PK
Михаил
"свернуть" - а по русски это что?
Михаил
Сгруппировать блядь
группировка на неидексированном поле, 170 млн записей....
та я даже боюсь представить сколько это времени займет :)
Andrew
Хочу написать сам. Ищу блок схему, как это работает вообще.
Т.е. тебе нужна блок-схема работы стандартного API
Andrew
группировка на неидексированном поле, 170 млн записей....
та я даже боюсь представить сколько это времени займет :)
А кто сказал про неиндексированное? Тебе вообще все подсказать надо?
Tishka17
Я тебе уже предложил
В общем то вставить в таблицу без PK, свернуть, результат вставить и добавить PK
а при добавлении PK мы не огребем? При таком количестве данных
Tishka17
или это будет все равно в пару раз быстрее?
Andrew
а при добавлении PK мы не огребем? При таком количестве данных
Полная версия
Вставить в таблицу без PK, проиндексировать, сгруппировать, результат вставить и добавить PK
Tishka17
а "проиндексировать, сгруппировать и вставить в другую таблицу" - разве будет быстрее?
Tishka17
как минимум меня пугает копирование такого количества данных
Andrew
Tishka17
у него там промахов около половины всего
Tishka17
вообще на таком колчисетве я бы сначала зашардировал всё по PK
Anonymous
не понятно - таблица новая или нужно в существующую (добавить к имеющимся данным)?
Anonymous
думаю, быстрее всего COPY, а потом создавать любые индексы
Andrew
думаю, быстрее всего COPY, а потом создавать любые индексы
Ну первоначальная вставка через copy, согласен
tpouuhk
Andrew
вообще на таком колчисетве я бы сначала зашардировал всё по PK
Можно группировку для последующей вставки разделить просто по PK индексу таблицы
Egor
@Tishka17 @cutwater короче все же решил оставить celery в своем кейсе. Размазывание нагрузки и стабильность вне всяких похвал.
Egor
а по поводу поведения воркера кажется все действительно прозаично
Egor
юзал с —concurently=20 и с —autoscale=20,1
Egor
по сути генерятся до 20 (или жестко 20) процессов-воркеров которые в рамках одного запущенного celery worker забирают мои "стримы" в себя и живут
Egor
на тесте сейчас прогнал с таймаутом итерации в 0.1 сек - все ядра равномерно нагружаются на 60% - на практике таймаут должен быть 2 сек - таким раком нагрузка на каждое ядро прыгает от 5 до 25%
Pavel
Mixail
Дикий миссклик
Mixail
Прошу прощения
Anonymous
17
Anonymous
как правильно будет?
Vlad🍁
Andrew
Что это?
У тебя в коде есть условие с переменной, значение которой на момент исполнения неизвестно. Это переменная type
Tishka17
Anonymous
Чё, все в ПайЧарме?
Anonymous
Marsel
А где надо быть?)
Vlad🍁
с тем что туда код не попадает
Vlad🍁
Tkinter может не поддерживает отладку и он не может отрисовать интерфейс?
Tishka17
Vlad🍁
Просто пишет Connected и дальше не идет
Tishka17
Tishka17
и длину data
Vlad🍁
А когда в отладке, то нет
Tishka17
а в дебаге?
Tishka17
а