
Nariman
01.08.2018
10:30:17
Доброго времени суток
Какая книга подойдёт начинающему, для изучения баз данных?

Ilia
01.08.2018
10:32:42
Такой уж совсем для начинающих не знаю книжки.

ко?TEXHIK
01.08.2018
10:33:58

Google

ко?TEXHIK
01.08.2018
10:34:11
не книжка, но для начинающих

Nariman
01.08.2018
10:34:16

Ilia
01.08.2018
10:34:45
Кстати, вот всмомнил, мои преподаватели из ИТМО же писали книгу...
https://studfiles.net/preview/6070808/

Vladislav
01.08.2018
11:33:43
У меня тут спор возник, вопрос на миллион, представьте, что вам надо вставить данные из одной таблицы в другую, в новой партиции, будет ли прирост скорости от сортировки запроса?

Виктор
01.08.2018
11:37:57
"в новой партиции" не очень понятно, что имеется ввиду.
Может пример приведешь.

Vladislav
01.08.2018
11:39:02
таблица, куда вставляем данные, партицирована
сортировка идет по ключу партиции

Fike
01.08.2018
11:39:54
too broad to answer

Vladislav
01.08.2018
11:40:36
абстрактный пример:
insert into table2 select * from table1 order by dttm
table2 - партицирована по dttm

Fike
01.08.2018
11:41:15
я честно не очень хорош в партициях в sql, потому что еблан и не нашел времени до сих пор
но партиции у тебя могут работать как параллельно, так и последовательно
т.е. в несколько потоков или в один
так что все очень зависит от контекта

Google

Vladislav
01.08.2018
11:43:14
получается, сортировкой мы уменьшаем параллельность, т.к. батч будет литься скорее в одну партицию

Fike
01.08.2018
11:43:28
если она там есть
это мы еще не говорим про всякие штуки типа компрессии, которые могут наоборот выиграть от последовательности (опять же, ни черта в этом не смыслю)

Vladislav
01.08.2018
11:44:10
https://blogs.oracle.com/warehousebuilder/parallel-direct-path-inserts-into-partitioned-tables
?

Ilia
01.08.2018
11:46:11

Vladislav
01.08.2018
11:49:13

Ilia
01.08.2018
11:49:55
Что значит "от сортировки запроса"...

Vladislav
01.08.2018
11:51:15
что будет быстрее работать: с сортировкой или без


Pavel
01.08.2018
12:02:12
Привет. Подключить Zeppelin к Клуадера кластеру не получилось. Попробовал установить с юзером hdfs и его keytab. Что я сделал криво? Вот ошибки и скрин interpreter:
java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation$AuthenticationMethod at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at org.apache.zeppelin.jdbc.security.JDBCSecurityImpl.getAuthtype(JDBCSecurityImpl.java:73) at org.apache.zeppelin.jdbc.JDBCInterpreter.isKerboseEnabled(JDBCInterpreter.java:215) at org.apache.zeppelin.interpreter.KerberosInterpreter.open(KerberosInterpreter.java:64) at org.apache.zeppelin.jdbc.JDBCInterpreter.open(JDBCInterpreter.java:174) at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617) at org.apache.zeppelin.scheduler.Job.run(Job.java:188) at org.apache.zeppelin.scheduler.ParallelScheduler$JobRunner.run(ParallelScheduler.java:162) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)


Fike
01.08.2018
12:04:03
> java.lang.ClassNotFoundException
что бы это значило ???
джарников короче ты не докинул
вот он и не может найти класс, который хочет использовать

Pavel
01.08.2018
12:06:19
Вопрос какие? Добавил JDBC джар клаулеры 2.6.4

Fike
01.08.2018
12:21:02
> java.lang.ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation
какие же ???

Ilia
01.08.2018
12:33:52

Vladislav
01.08.2018
12:36:10

Ilia
01.08.2018
12:39:00
Неужели запрос с сортировкой будет быстрее чем без сортировки?

Виктор
01.08.2018
12:40:32
Почти наверняка, нужно проверять практически. Неизвестно какие оптимизации та или иная субд умеет делать при вставке, может она неявно и делает, что то типо сортировки или какую-нибудь другую дичь ради каких-то оптимизаций.

Ilia
01.08.2018
12:41:17
А вставка тут при чём?

Google

Vladislav
01.08.2018
12:41:47

Maksym
01.08.2018
12:42:14
Думаю, еще завист от того куча ли или индексировання и по какому полю сортировка

Vladislav
01.08.2018
12:42:20

Fike
01.08.2018
12:43:07
на однйо машине
верификация не так делается

Ilia
01.08.2018
12:44:13
Ну я только что разбил эту теорию практикой
Есть возможности в некоторых СУБД (MSSQLServer, ASE) создавать индексы без сортировки данных, если данные были правильно вставлены, в нужном порядке.
Тогда будет существенный прирост. Но для этого надо данные уже иметь в этом виде, отсортированном.
Иначе бесссмысленно.

Vladislav
01.08.2018
12:55:21
create table t(n number, x number, y number, z number);
create table t1(n number, x number, y number, z number) partition by range(x) interval(10) (partition x0 values less than (0));
create table t2(n number, x number, y number, z number) partition by range(x) interval(10) (partition x0 values less than (0));
begin
insert into t
select round(dbms_random.value * 1000), round(dbms_random.value * 1000), round(dbms_random.value * 1000), round(dbms_random.value * 1000) from dual
connect by LEVEL <= 1000000;
commit;
end;
begin
insert into t1 select * from t;
commit;
end;
begin
insert into t2 select * from t order by x;
commit;
end;

Admin
ERROR: S client not available

Fike
01.08.2018
12:55:41
нету никакой объективности без гипотезы и четкого прцоесса доказательства гипотезы

Fike
01.08.2018
12:56:02
тем более на одном сэмпле

Vladislav
01.08.2018
12:56:05
исключение, если у тебя ПК партицируется

Dagarik
01.08.2018
13:43:46
всем привет
народ у меня вопрос
где можно почитать как получить JSON из PostgreSQL запроса со всеми связями?

Terminator
01.08.2018
14:40:01
@goodboy_7 будет жить. Поприветствуем!

g
01.08.2018
14:40:53
Приветствую! Здесь могу задать вопросы по MsSQL?

Vladislav
01.08.2018
14:42:03
да

Ilia
01.08.2018
14:43:23
А можно я скажу "нет", чтобы был плюрализм?

Google

Ilia
01.08.2018
14:43:55

Dagarik
01.08.2018
14:45:58
К примеру
Покроет мою задачу данный пример

Maksim
01.08.2018
17:26:09
Добрый день подскажите пожалуйста, может кто нибудь сталкивался с такой задачкой. есть табличка с категориями (id, title, parent_id). надо сделать select с доп полем path который рекурсивно заполнит path, например
Продукты - Молочные продукты - Молоко
как пример что необходимо. а и да Mysql

Kir
01.08.2018
17:47:27

lost
01.08.2018
19:09:35

Al
01.08.2018
19:22:13