иначе по дефолту он встанет на фейле и будет пытаться его повторно отправить

иначе по дефолту он встанет на фейле и будет пытаться его повторно отправить

проблема в том, что он всё льет судя по логу и ошибок нет

но в топике пусто

ну ты же по поведению видишь что не работает) значит или льешь не туда, или смотришь не там, или ошибки все же есть

ну а где смотреть кроме /var/log/flume ?

видно что чанел освобождается

уверен что топик верный? что среда верная? что хардкодом или системным окружением не переопределяешь эндпоинты?

у тебя может там try { Future(...) } или еще какая-нибудь фигня, без обработки ошибок

видно, что для проьюсера выставлена опция .requiredAcks = 1

я весь конфиг задаю conf файлом для флюма

логи кафки опять же можно глянуть

нет никакой обработки ошибок, я консоле консьюмером топик смотрю

у тебя синк кастомный?

org.apache.flume.sink.kafka.KafkaSink

hdp 2.5 идёт в поставке

а-а, я думал самопальный версия кафки совпдает с тем, что этот синк поддерживает?

никто не знает, можно ли сделать чтобы scala.concurrent.Future была первой в подсказке?

Idea само собой

Ну наверное только попросить разрабов идеи сменить направление сортировки

а-а, я думал самопальный версия кафки совпдает с тем, что этот синк поддерживает?

да

ну сорс той же версии

по алфавиту отсортированы подсказки

это я вижу

но ни разу не пользовался первыми двумя)

теоретически, чем чаще ты выбираешь Future, тем выше оно будет в списке

smart чего-то там

товарищи, а если хочется пощупать reinforcement learning, с чего лучше начать? раньше я с data science совсем не работал, думаю пройти пару курсов на Udacity а потом перейти к чтению научных работ по этой теме.

ну сорс той же версии

смотри логи кафки, куда трафик ходит с флюмовской тачки

но ни разу не пользовался первыми двумя)

их можно исключить

товарищи, а если хочется пощупать reinforcement learning, с чего лучше начать? раньше я с data science совсем не работал, думаю пройти пару курсов на Udacity а потом перейти к чтению научных работ по этой теме.

в слаке opendatascience сообщество, лучше такое там спрашивать

но ни разу не пользовался первыми двумя)

Editor -> General -> Autoimport

@rockjam когда всплывает окно комплишена, нажми стрелку вправо, там есть "exclude from auto-import", оставляешь только один вариант

обидка. виза в ноябре кончилась =(

http://www.lagomframework.com/blog/lagom-scala-api-preview.html

воу воу воу

@rockjam когда всплывает окно комплишена, нажми стрелку вправо, там есть "exclude from auto-import", оставляешь только один вариант

то что нужно! спасибо большое

то что нужно! спасибо большое

у самого жутко бомбило из-за этого)

Никто не знает, как сделать чтобы Http().singleRequest сваливалось по истечении какого-нибудь времени?

таймаут конфигурируется в akka.http {}

akka.http.client.request-timeout

спасибо

никто не знает, можно ли сделать чтобы scala.concurrent.Future была первой в подсказке?

ты можешь com.sun.corba заэксклудить для всех проектов

я так для всяких javadsl сделал и радуюсь

смотри логи кафки, куда трафик ходит с флюмовской тачки

какой именно лог

ну вот же они , книженьки

смотри логи кафки, куда трафик ходит с флюмовской тачки

лог по данному топику пустой :)

по идее должна быть запись о подключении продюсера

можно и сорцы этого синка глянуть

диагностика простая по сути, кто-то говорит что-то отправляет, но получатель недоумевает значит либо не отправили, либо потерялось проверяй последовательно, куда идет трафик, а не поганец ли этот синк

в логах самого флюма есть инфа о подключении к кафке?

да

Повесьте kafka-console-consumer на топик и станет понятней, пишет ли кто-то в топик и что именно пишет

он уже проверял, нет там ниче

Понятно, а штатный косольный писатель с аналогичными настройками пишет в топик?

Kafka-console-producer

akka.http.client.request-timeout

для server есть такой параметр, а вот для клиента, что-то нет ?

да, пишет

я и топики менял и всё сделал :(

для server есть такой параметр, а вот для клиента, что-то нет ?

в смысле? я прям в своём конфиге смотрел

А у тебя акка какая?

я на 2.4.4 смотрю

2.4.11

ERROR: S client not available

http://doc.akka.io/docs/akka/2.4.11/scala/http/configuration.html

Версия кафки на сервере совпадает с клиентом?

http://doc.akka.io/docs/akka/2.4.11/scala/http/configuration.html

akka.http.server

чёрт, да(

я и топики менял и всё сделал :(

версия кафки какая?

10

короче всё то, что идет в hdp 2.5.3

у флюма в сорцах для версии 1.8 в зависимостях кафка 0.9.0.1

10

Там даже 10.1.0 от 10.0.1 отличается по части апи,такчто не зря тебя спрашивают.

протокол у 10 другой

напиши свой синк с нужными зависимостями и логами

Log.debug наше все, и одинаковые версии клиента и сервера

у флюма в сорцах для версии 1.8 в зависимостях кафка 0.9.0.1

там своя версия для хдп

Кафки еще бывают для разных версий скалы собраны, 2.10 или 2.11

да всё замечательно, просто это то что идет в поставке самого hdp

кафка и кафка синк поставляются вместе

по каким причинам вообще может не комплититься Http().singleRequest ?

А уровнем подробности логов там рулить можно?

у клаудеры флюм от каноничного проекта отличается примерно ничем хз как у хортона, в либах можно версию еще посмотреть

А уровнем подробности логов там рулить можно?

да, там обычный slf4j

Логи, исходники, глаза ((

в hdp 2.5.3 флюм 1.5.2 версии, но в ванильном флюме этой версии кафка синка нет

ты не сам флюм смотри, а какую кафку он тащит в зависимостях

Dependency Versions Apache Flume - 1.5.0 Apache Kafka - 0.8.1.1

Но 10 кафка совместимая обратно с 0.8

Но 10 кафка совместимая обратно с 0.8

там же ошибки apiKey валятся, даже если пытаешься подключиться клиентом 10.0.0.1 к 10.0.1.0

там есть обратная совместимость, у нас все бибилиотеки используют 0.8 кафку пока что ( стриминг )

Но по факту: hdp 2.5.3 идёт с этой версией кафки и флюма, ну и сорс работает кафка

вруби уже дебаг или трейс лог

по каким причинам вообще может не комплититься Http().singleRequest ?

Отвечу сам себе. Be sure to consume the response entities dataBytes:Source[ByteString,Unit] by for example connecting it to a Sink (for example response.entity.dataBytes.runWith(Sink.ignore) if you don't care about the response entity), since otherwise Akka HTTP (and the underlying Streams infrastructure) will understand the lack of entity consumption as a back-pressure signal and stop reading from the underlying TCP connection! This is a feature of Akka HTTP that allows consuming entities (and pulling them through the network) in a streaming fashion, and only on demand when the client is ready to consume the bytes - it may be a bit suprising at first though. There are tickets open about automatically dropping entities if not consumed (#18716 and #18540), so these may be implemented in the near future.

они что, добавили это в compile error?)

если бы...