Всем привет

Что по статистике посоветуете?

По-порядку вспоминать/повторять: матан линал теорию вероятностей/статистику методы оптимизации (а Куна-Такера зазубрить так, чтоб от зубов отскакивало) Потом можно на machinelearning.ru переходить #godnota

Добрый день,ребят!) Подскажите кто в РФ занимается БД (городская тематика-Москва) Может есть сообщества целевые,статейки интересные,какие базы открытые и какие закрытые,личный контакт человека компетентного в этом вопросе)) Буду признателен!)

Если вы ставите вопрос "занимается БД" в данной группе, то я боюсь, что вам нужно, для начала, спуститься по ниже и почитать, какие сейчас есть БД и что они умеют.

Что по статистике посоветуете?

ширяева задачник

ширяева задачник

опять ширяев, его уже лет 20 предлагают

опять ширяев, его уже лет 20 предлагают

он не стареет =)

Ширяев довольно адский)

Что по статистике посоветуете?

Гмурман:)

У него отдельно статистика есть? А то я теорвер видел, но уровень не позволил читать его)

У него отдельно статистика есть? А то я теорвер видел, но уровень не позволил читать его)

По ширяеву)

а как ты собрался статистику без теорвера?

Теория вероятности и математическая статистика - полное название

Если вы ставите вопрос "занимается БД" в данной группе, то я боюсь, что вам нужно, для начала, спуститься по ниже и почитать, какие сейчас есть БД и что они умеют.

Сильно вникать мне не нужно, мало времени ) Вопрос вроде понятен)

Теория вероятности и математическая статистика - полное название

вероятностей

тогда уж

Очепятка вкралась. Очень хорошая книга Стентон Гланц Биологическая статистика

Сильно вникать мне не нужно, мало времени ) Вопрос вроде понятен)

Вы как бы группой промахнулись, тут матстат обсуждают, а не работу с БД

Вернее, Медико-биологическая статистика

для студентов 2 курса меда?)

Гмурман:)

У нас в универе по нему курс читали, но мне не понравился. Проверка гипотез дается просто формулами, а даже простые онлайн курсы их объясняют

Очень элементарная, проще всяких гмурманов

Вы как бы группой промахнулись, тут матстат обсуждают, а не работу с БД

Хм... Что то ребята посоветовали постучаться сюда с этим вопросом 0-0 Понял.Учту.

для студентов 2 курса меда?)

Для детей от 2 до 102

Вы как бы группой промахнулись, тут матстат обсуждают, а не работу с БД

Технически и работу бд тоже ) тут не все занимаются статистикой )

Хм... Что то ребята посоветовали постучаться сюда с этим вопросом 0-0 Понял.Учту.

А можно не скромный вопрос, вы случаем не в "электронную Москву" недавно устроились работать? ?

А можно не скромный вопрос, вы случаем не в "электронную Москву" недавно устроились работать? ?

Можно.Но вы ошиблись)

Можно.Но вы ошиблись)

Тогда хорошо, а то был я там на собеседование как-то два раза ?

Тогда хорошо, а то был я там на собеседование как-то два раза ?

А с чего такое предположение ?))

Технически и работу бд тоже ) тут не все занимаются статистикой )

Ну так то да, но с другой стороны объяснять реляционки, неструктурированные документы, колоночные и прочее, явно надо не тут, а на более раннем этапе...

А как жить с незакрытыми блокамин а hdfs ? типа приложенька начала писать блок, подохла, попытка чтения файла вызывает проблемы после этого.

А с чего такое предположение ?))

"городская тематика - Москва"

Ну так то да, но с другой стороны объяснять реляционки, неструктурированные документы, колоночные и прочее, явно надо не тут, а на более раннем этапе...

справедливо )

А как жить с незакрытыми блокамин а hdfs ? типа приложенька начала писать блок, подохла, попытка чтения файла вызывает проблемы после этого.

If a close hasn't been committed to the file, the associated blocks/files disappear in both client crash and namenode crash scenarios.

он по умолчанию так не делает вроде ?

"городская тематика - Москва"

Нет нет) Есть портал открытых данных Москвы. Вот и хотелось узнать, кроме правительства в РФ ещё кто-то занимается БД. Что открыто,что нет, какие Приложения и Т.д. Технически часть меня не интересует, мне надо понять,что есть на рынке))

он по умолчанию так не делает вроде ?

чёйта

а что он у тебя кажет при попытке доступа к нему?

ну тойта ) у меня вот проблема, влюм писал писал, и коннекшон пропал, потом флюм сдох, и вернулся чистенький, в результате сейчас один из файлов с ошибкой Cannot obtain block length for....

*флюм

при чем самое странное, если по логам смотреть, то видно что флюм умудрился сделать ренейм файлика, потому что allocate block для другого имени, тоесть для live файлика, если понимаешь.

When a failure occurs, unclosed files are deleted.

Нет нет) Есть портал открытых данных Москвы. Вот и хотелось узнать, кроме правительства в РФ ещё кто-то занимается БД. Что открыто,что нет, какие Приложения и Т.д. Технически часть меня не интересует, мне надо понять,что есть на рынке))

Ну я крутил пару вещей из открытых данных, но не понимаю суть вопроса. Есть данные, какие нужны, такие забирай, обычно под каждый источник нужен свой инструмент ETL

When a failure occurs, unclosed files are deleted.

если бы ) hdfs dfs -ls .... -rw-r--r-- 2 flume hadoop 631 2016-08-23 00:03 /flume/....

Ну я крутил пару вещей из открытых данных, но не понимаю суть вопроса. Есть данные, какие нужны, такие забирай, обычно под каждый источник нужен свой инструмент ETL

Угу,они есть и все так как ты говоришь)) Но мне интересно, что ещё есть кроме правительственных ОД. Я вот читал,что в Европе есть приложение (не гос) которе считывает неровности на дороге (составляет отчет,выявляет проблемные места,статистика,аналитика) и отправляет результат в правительство, а те уже реагируют. Т.е. огребают проблему до обращения с жалобами)Прогнозы и все такое)) Вот и интересно, что есть в РФ и самое главное где можно посмотреть,почитать)

если бы ) hdfs dfs -ls .... -rw-r--r-- 2 flume hadoop 631 2016-08-23 00:03 /flume/....

Гугол

Угу,они есть и все так как ты говоришь)) Но мне интересно, что ещё есть кроме правительственных ОД. Я вот читал,что в Европе есть приложение (не гос) которе считывает неровности на дороге (составляет отчет,выявляет проблемные места,статистика,аналитика) и отправляет результат в правительство, а те уже реагируют. Т.е. огребают проблему до обращения с жалобами)Прогнозы и все такое)) Вот и интересно, что есть в РФ и самое главное где можно посмотреть,почитать)

Боюсь в рф не так много... Все что есть, гуглиться по "открытым данным в России"

Те бигданные с которыми я работал вокруг везде закрыты NDA, хотя они и госданные, и вроде даже из открытых источников.

при чем самое странное, если по логам смотреть, то видно что флюм умудрился сделать ренейм файлика, потому что allocate block для другого имени, тоесть для live файлика, если понимаешь.

твоя проблема гуглится

Гугол

да я облазил вдоль и поперек, говорят просто делайте релиз и снимайте лок. но проблема в том что по логам отловить такие файлы нельзя, только на неймноде смотреть как то долгие edits походу и все.

Те бигданные с которыми я работал вокруг везде закрыты NDA, хотя они и госданные, и вроде даже из открытых источников.

взаимоисключающие параграфы детектед

мой NDA истекает через 4 месяца, возможно я смогу что-то рассказать путного

Боюсь в рф не так много... Все что есть, гуглиться по "открытым данным в России"

Все что есть в гугле ) гос))

взаимоисключающие параграфы детектед

ты работал с государственными службами?

мой NDA истекает через 4 месяца, возможно я смогу что-то рассказать путного

Это мне ответ да?))

ты работал с государственными службами?

росстат, гмц и цэми ран считаются?

росстат, гмц и цэми ран считаются?

тогда я категорически удивлён что ты до сих пор удивляешься взаимоисключениям

Это мне ответ да?))

да )

тогда я категорически удивлён что ты до сих пор удивляешься взаимоисключениям

а я не удивляюсь)

после работы с госами я в цирке перестал смеяться

Росстат вкусный, но в открытом доступе нет ничего почти

после работы с госами я в цирке перестал смеяться

плюсую жёстко

один росстат чего стоит

парсишь и плачешь

парсишь и плачешь

У тебя тоже нда?)

У тебя тоже нда?)

с росстатом? неее

оу, у меня нда до февраля 2017 )

да )

4 месяца)) конечно подожду))))

Интересно изучать данные в каком нибудь телекоме крупном, но там нда точно ?

Кстати, смотрели базы росстата для Москвы?

а ещё есть база какая-то по преступности

там тоже, наверняка, москва есть

там тоже, наверняка, москва есть

Да, полицейская база. Только смотрел)

егрюл

http://uisrussia.msu.ru/ тут можно сами источники поискать

http://crimestat.ru/analytics крайм

Ещё там у ФМС какой-то супер-пупер ресурс есть

у меня нет сохранённой линки

Глубоко внутри чипа Exynos в Galaxy S7 обнаружена нейросеть для предсказания переходов⁠ ? Гиктаймс:  Программирование, Производство и разработка электроники, Процессоры, Смартфоны, Электроника для начинающих 14-нанометровая система на кристалле FinFET Exynos 8890 Вчера на специализированной конференции по микроэлектронике Hot Chips в Калифорнии инженеры Samsung впервые показали на презентации чертежи таинственных процессорных ядер M1 (кодовое название Mongoose), которые работает в смартфонах S7 и S7 Edge. В международных версиях этих Android-смартфонов установлен 14-нанометровая система на кристалле FinFET Exynos 8890. На ней четыре стандартных ядра ARM Cortex-A53 (1,6 ГГц) и четыре проприетарных ядра M1, работающих на частотах 2,3 ГГц и 2,6 ГГц. Читать далее ➡ https://shbr.xyz/gt279738

Ещё там у ФМС какой-то супер-пупер ресурс есть

Может посмотришь а?)))) Линк бы хотелось)