@dba_ru

Страница 591 из 718
Nariman
01.08.2018
10:30:17
Доброго времени суток Какая книга подойдёт начинающему, для изучения баз данных?

Ilia
01.08.2018
10:32:42
Доброго времени суток Какая книга подойдёт начинающему, для изучения баз данных?
Для изучения SQL -- 100% Мартин Грабер. А вот для изучения (Р)БД вообще... Ну, Дейт или Ульман наверное... Но думаю их не достать нынче.

Такой уж совсем для начинающих не знаю книжки.

Google
ко?TEXHIK
01.08.2018
10:34:11
не книжка, но для начинающих

Nariman
01.08.2018
10:34:16
Ilia
01.08.2018
10:34:45
Кстати, вот всмомнил, мои преподаватели из ИТМО же писали книгу... https://studfiles.net/preview/6070808/

Vladislav
01.08.2018
11:33:43
У меня тут спор возник, вопрос на миллион, представьте, что вам надо вставить данные из одной таблицы в другую, в новой партиции, будет ли прирост скорости от сортировки запроса?

Виктор
01.08.2018
11:37:57
"в новой партиции" не очень понятно, что имеется ввиду. Может пример приведешь.

Vladislav
01.08.2018
11:39:02
таблица, куда вставляем данные, партицирована

сортировка идет по ключу партиции

Fike
01.08.2018
11:39:54
too broad to answer

Vladislav
01.08.2018
11:40:36
абстрактный пример: insert into table2 select * from table1 order by dttm table2 - партицирована по dttm

Fike
01.08.2018
11:41:15
я честно не очень хорош в партициях в sql, потому что еблан и не нашел времени до сих пор

но партиции у тебя могут работать как параллельно, так и последовательно

т.е. в несколько потоков или в один

так что все очень зависит от контекта

Google
Vladislav
01.08.2018
11:43:14
получается, сортировкой мы уменьшаем параллельность, т.к. батч будет литься скорее в одну партицию

Fike
01.08.2018
11:43:28
если она там есть

это мы еще не говорим про всякие штуки типа компрессии, которые могут наоборот выиграть от последовательности (опять же, ни черта в этом не смыслю)

Vladislav
01.08.2018
11:44:10
https://blogs.oracle.com/warehousebuilder/parallel-direct-path-inserts-into-partitioned-tables

?

Vladislav
01.08.2018
11:49:13
Поясни.
что именно?

Ilia
01.08.2018
11:49:55
Что значит "от сортировки запроса"...

Vladislav
01.08.2018
11:51:15
что будет быстрее работать: с сортировкой или без

Pavel
01.08.2018
12:02:12
Привет. Подключить Zeppelin к Клуадера кластеру не получилось. Попробовал установить с юзером hdfs и его keytab. Что я сделал криво? Вот ошибки и скрин interpreter: java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation$AuthenticationMethod at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.zeppelin.jdbc.security.JDBCSecurityImpl.getAuthtype(JDBCSecurityImpl.java:73) at org.apache.zeppelin.jdbc.JDBCInterpreter.isKerboseEnabled(JDBCInterpreter.java:215) at org.apache.zeppelin.interpreter.KerberosInterpreter.open(KerberosInterpreter.java:64) at org.apache.zeppelin.jdbc.JDBCInterpreter.open(JDBCInterpreter.java:174) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617) at org.apache.zeppelin.scheduler.Job.run(Job.java:188) at org.apache.zeppelin.scheduler.ParallelScheduler$JobRunner.run(ParallelScheduler.java:162) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

Fike
01.08.2018
12:04:03
> java.lang.ClassNotFoundException что бы это значило ???

джарников короче ты не докинул

вот он и не может найти класс, который хочет использовать

Pavel
01.08.2018
12:06:19
Вопрос какие? Добавил JDBC джар клаулеры 2.6.4

Fike
01.08.2018
12:21:02
> java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation какие же ???

Ilia
01.08.2018
12:33:52
что будет быстрее работать: с сортировкой или без
ЗАпрос с сортировкой почти наверняка будет работать медленнее, потому как сортитовку надо ещё делать.

Vladislav
01.08.2018
12:36:10
ЗАпрос с сортировкой почти наверняка будет работать медленнее, потому как сортитовку надо ещё делать.
мне тут сейчас опыт привели обратный, хотя я вот согласен с этим мнением

Ilia
01.08.2018
12:39:00
Неужели запрос с сортировкой будет быстрее чем без сортировки?

Виктор
01.08.2018
12:40:32
Почти наверняка, нужно проверять практически. Неизвестно какие оптимизации та или иная субд умеет делать при вставке, может она неявно и делает, что то типо сортировки или какую-нибудь другую дичь ради каких-то оптимизаций.

Ilia
01.08.2018
12:41:17
А вставка тут при чём?

Google
Vladislav
01.08.2018
12:41:47
Неужели запрос с сортировкой будет быстрее чем без сортировки?
Ну я только что разбил эту теорию практикой

Maksym
01.08.2018
12:42:14
Думаю, еще завист от того куча ли или индексировання и по какому полю сортировка

Vladislav
01.08.2018
12:42:20


Fike
01.08.2018
12:43:07
Ну я только что разбил эту теорию практикой
ты проверил один (один!) эдж-кейс с непонятным контекстом

на однйо машине

верификация не так делается

Ilia
01.08.2018
12:44:13
Ну я только что разбил эту теорию практикой
Есть возможности в некоторых СУБД (MSSQLServer, ASE) создавать индексы без сортировки данных, если данные были правильно вставлены, в нужном порядке. Тогда будет существенный прирост. Но для этого надо данные уже иметь в этом виде, отсортированном. Иначе бесссмысленно.

Vladislav
01.08.2018
12:55:21
create table t(n number, x number, y number, z number); create table t1(n number, x number, y number, z number) partition by range(x) interval(10) (partition x0 values less than (0)); create table t2(n number, x number, y number, z number) partition by range(x) interval(10) (partition x0 values less than (0)); begin insert into t select round(dbms_random.value * 1000), round(dbms_random.value * 1000), round(dbms_random.value * 1000), round(dbms_random.value * 1000) from dual connect by LEVEL <= 1000000; commit; end; begin insert into t1 select * from t; commit; end; begin insert into t2 select * from t order by x; commit; end;

ты проверил один (один!) эдж-кейс с непонятным контекстом
я взял статистически объективную модель

Admin
ERROR: S client not available

Fike
01.08.2018
12:55:41
нету никакой объективности без гипотезы и четкого прцоесса доказательства гипотезы

Fike
01.08.2018
12:56:02
тем более на одном сэмпле

Vladislav
01.08.2018
12:56:05
исключение, если у тебя ПК партицируется

Dagarik
01.08.2018
13:43:46
всем привет

народ у меня вопрос где можно почитать как получить JSON из PostgreSQL запроса со всеми связями?

Terminator
01.08.2018
14:40:01
@goodboy_7 будет жить. Поприветствуем!

g
01.08.2018
14:40:53
Приветствую! Здесь могу задать вопросы по MsSQL?

Vladislav
01.08.2018
14:42:03
да

Ilia
01.08.2018
14:43:23
А можно я скажу "нет", чтобы был плюрализм?

Google
Dagarik
01.08.2018
14:45:58
К примеру

Покроет мою задачу данный пример

Maksim
01.08.2018
17:26:09
Добрый день подскажите пожалуйста, может кто нибудь сталкивался с такой задачкой. есть табличка с категориями (id, title, parent_id). надо сделать select с доп полем path который рекурсивно заполнит path, например Продукты - Молочные продукты - Молоко





как пример что необходимо. а и да Mysql

lost
01.08.2018
19:09:35
Почти наверняка, нужно проверять практически. Неизвестно какие оптимизации та или иная субд умеет делать при вставке, может она неявно и делает, что то типо сортировки или какую-нибудь другую дичь ради каких-то оптимизаций.
вы делаете bulk insert с заранее неизвестным кол-вом строк на выхлопе, вам скорее надо было покопаться в доке каким образом конкретная субд проверяет кондишн для партиции

Страница 591 из 718