9
ответов
Не удалось запустить kafka с помощью zookeeper (kafka.common.InconsistentClusterIdException)
Ниже шаги, которые я сделал для решения этой проблемы: Запустить ZooKeeper Запустить Kafka:. \ Bin \ windows \ kafka-server -start.bat. \ config \ server.properties Также обратите внимание, что моя ОС - это Windows. И на втором этапе ...
вопрос задан: 6 January 2020 12:12
3
ответа
скрипты kafka в каталоге bin завершаются с ошибкой «Address already in used» (выполняется в кубернетах)
У меня есть настроенная кафка, работающая в миникубе. Он запущен и работает, и я могу создавать в нем сообщения и потреблять их обратно. Однако, когда я вхожу в систему одного из брокеров (используя kubectl exec ...
вопрос задан: 4 April 2019 16:24
3
ответа
ZooKeeper не запускается, потому что acceptEpoch меньше, чем currentEpoch
У меня есть zookeeper.version = 3.4.10, и я вижу: https://issues.apache.org/jira/browse / ZOOKEEPER-2307, который, однако, находится в нерешенном состоянии. Проблема возникла из-за переполнения дискового пространства. Теперь ...
вопрос задан: 22 January 2019 12:12
3
ответа
Местоположение файла журнала Kafka
Чтобы прояснить некоторые вещи: я говорю о файле журнала процесса, который содержит сообщения stdout и stderr. Это мой файл модуля systemd: [Unit] Я говорю о файле журнала процесса, который содержит сообщения stdout и stderr. Это мой файл модуля systemd:
вопрос задан: 11 February 2017 02:15
2
ответа
apache, kafka, docker, on domain/URL
Мне нужно запустить Kafka на docker с web UI на определенном домене И LINK, например:
http://somesite.com/kafka Я использую этот docker-compose.yml.
версия: '3.3'
сервисы: zookeeper: image: '...
вопрос задан: 27 July 2021 22:46
2
ответа
Включить логическую репликацию в Google Cloud Postgres
Можно ли каким-либо образом включить логическую репликацию wal_level = logical в экземпляре Google Cloud Postgres? Я хочу выполнить CDC (изменение данных) для потоковой передачи записи WAL в Apache Kafka.
Спасибо за вашу помощь!
вопрос задан: 24 August 2019 16:24
2
ответа
Какой каталог является идеальным для сообщений kafka
Значение по умолчанию logs.dir = / tmp / kafka-logsin server.properties. Обычно / tmp избегают хранить какие-либо важные файлы, и мы храним сообщения и смещения! Любая конкретная причина, по которой можно ...
вопрос задан: 27 July 2018 14:46
2
ответа
Определить идентификатор брокера Kafka из JMX
Имеется ли способ опросить его, чтобы узнать идентификатор брокера, для получения идентификатора брокера, кроме ZK? Я пытаюсь сопоставить IP-адрес с идентификатором брокера для мониторинга. ZK аутентифицирован, и у меня нет ...
вопрос задан: 12 July 2018 18:49
2
ответа
Кластер Kafka: Устойчивость к отключению сети
У нас есть кластер кафка. И сеть. Ура. Сеть будет недоступна на всех стойках нашего дата-центра в течение 5-10 минут (!), Потому что этого требует техническое обслуживание. Меня беспокоит, что это слишком долго ...
вопрос задан: 29 June 2018 01:04
2
ответа
Что означают параметры MBean в collectd?
Я использую JMX для мониторинга кластера Apache Kafka с помощью подключаемого модуля GenericJMX от collectd . Однако я не уверен, что означают некоторые параметры MBean. В частности, у меня есть одна метрика, называемая kafka.server: ...
вопрос задан: 25 January 2017 13:37
2
ответа
Rsyslog. Disk-assisted queue for omkafka
I have following pipeline: nginx -> unix_socket -> rsyslog -> omkafka module -> kafka For omkafka I am using following config: module( load="impstats" interval="10" # ...
вопрос задан: 4 October 2016 15:00
2
ответа
Как правильно экспортировать значения окружающей среды с помощью ansible playbook?
Я написал ansible playbook, который должен установить инструмент под названием kafkacat. Большинство задач в playbook работают, кроме одной (самой важной). Я компилирую инструмент из исходных текстов и ...
вопрос задан: 26 April 2016 07:41
1
ответ
Kafka -Получить IP-адрес или имена хостов, подключенных к кластеру
У меня есть тестовый кластер Kafka в AWS MSK с тремя брокерами. Я хотел бы знать, как получить информацию о том, кто подключается к кластеру для создания или потребления сообщений. Например, MSSQL Server регистрирует успешные соединения
вопрос задан: 11 October 2021 23:23
1
ответ
Kafka + Запрос подробной конфигурации всех тем
у нас есть кластер серверов Kafka с Kafka версии 2.6 на машинах Linux RHEL машины в кластере -kafka1, kafka2, kafka3 обычно мы используем следующий cli, чтобы получить подробную конфигурацию всех тем kafka-topics.sh --zookeeper 172.78
вопрос задан: 2 September 2021 11:47
1
ответ
zookeeper ssl alert «предупреждение о неверном сертификате»
Я использую Kafka (версия 2.3.0) и Zookeeper (версия 3.5.5-3) - стабильная версия - 3.6.3.
Когда я тестирую SSL своего Zookeeper с помощью этой команды:
openssl s_client -showcerts -connect 127.0.0.1:2280 -CAfile /certs/ca-chain.cert
вопрос задан: 14 August 2021 21:15
1
ответ
kafka confluent vs Apache kafka [closed]
на данный момент у нас есть версия HDP 2.6.5, с кластером Kafka с версией Kafka 0.1
все машины Kafka установлен на RHEL версии 7.6
все машины с RHEL 7.6 находятся на физических машинах DELL
мы хотим ...
вопрос задан: 17 June 2021 17:19
1
ответ
Как сделать управлять переполнением хранилища / постоянством в диаграмме Bitnami Kafka Helm?
Я развертываю диаграмму Bitanmi Kafka Helm на AWS, подготовленном с помощью Terraform. Я считаю, что хранение документации и постоянное распределение очень сбивают с толку. Из того, что я понял из документации; журналы ...
вопрос задан: 1 June 2021 15:55
1
ответ
Брокер Kafka Работает локально через docker compose, но не работает в кубернетах с почти идентичной конфигурацией
Брокер Kafka прекрасно работает при локальном запуске через docker-compose.
version: "3"
services: zookeeper: image: 'bitnami / zookeeper: latest' ports: - '2181: 2181' ...
вопрос задан: 30 May 2021 22:00
1
ответ
Как повернуть сжатый файл журнала на centos 7?
Я настроил сервер kafka, приложение создает файлы журнала и настраивает ротацию журнала. Моя проблема в том, что мне нужно сжать журналы ротации, которые были созданы.
Я пытался создать новый журнал ...
вопрос задан: 2 February 2021 13:24
1
ответ
Налада ўласцівасці KAFKA_ADVERTISED_LISTENERS на аснове Debezium Kafka ігнаруецца
I ёсць Swarm на аснове Docker Compose са службай Zookeeper, якая пачынаецца нармальна, але служба Kafka не можа запусціцца.
Ён працягвае выкарыстоўваць уласцівасць KAFKA_ADVERTISED_LISTENERS па змаўчанні:
debezium_kafka.1 ....
вопрос задан: 20 October 2020 11:04
1
ответ
Очередь сообщений PUB / SUB с фильтрацией на стороне сервера?
Я ищу очередь сообщений для реализации приложения чата .
Наиболее важное требование: когда подписчик указывает критерии фильтрации, все сообщения должны быть отфильтрованы на сервере ...
вопрос задан: 26 August 2020 17:54
1
ответ
Как установить фиксированный частный IP-адрес для контейнеров ECS?
У меня есть определение задачи под названием kafka-zookeeper, в нем есть брокер Apache Kafka и узел Zookeeper. Эти контейнеры должны взаимодействовать друг с другом (это легко), а также с кафкой и ...
вопрос задан: 13 April 2020 22:43
1
ответ
Filebeat kafka input with SASL?
Я пытаюсь чтобы заставить filebeat принимать сообщения от kafka с использованием ввода kafka. По какой-то причине я не могу пройти аутентификацию с помощью SASL, и я не уверен, почему это так. Документация как для Kafka, так и для ...
вопрос задан: 30 January 2020 22:38
1
ответ
kafka в kubernetes pod
Я новичок в работе с kubernetes setup, и пытаюсь запустить kafka pod с persistence volume, так что в случае падения pod, память не теряется, и я могу запустить новый кластер, используя ...
вопрос задан: 18 December 2019 21:30
1
ответ
mkfs + xfs + каков правильный mkfs cli для создания файловой системы xfs на огромном диске
Нам нужно создать файловую систему xfs на диске kafka. Особенность диска kafka заключается в том, что размер диска kafka составляет 20 ТБ. case Я не уверен насчет следующих mkfs, но мне нужен совет ...
вопрос задан: 15 December 2019 15:56
1
ответ
Linux + папка контейнера докеров, подключенная к тому ОС + как узнать реальный ограниченный размер
внутри докера - compose.yml мы настроили следующий образ тома: confluentinc / cp-kafka: latest
тома: - / grid / kafka-data: / var / lib / kafka / data. docker-compose ps Имя ...
вопрос задан: 6 November 2019 15:04
1
ответ
Poate fi folosit logstash ca expeditor kafka?
Mă uit la plugin-uri pentru Logstash și am observat că are ambele un plugin de intrare și ieșire pentru kafka. Pentru un singur subiect, Logstash poate fi folosit pentru a redirecționa mesajele subiectului kafka către un alt kafka ...
вопрос задан: 14 October 2019 07:04
1
ответ
Способ перенаправления IP-адреса и порта удаленной внутренней сети на тот же IP-адрес и порт на локальном Mac
В целях разработки я хочу подключить свой локальный компьютер (macos) к удаленная частная сеть кластера kafka / zookeeper. Когда я выполняю переадресацию портов с помощью ssh (скрытый) -N -L 10.0.0.8:...
вопрос задан: 22 September 2019 11:46
1
ответ
Создание кластера RabbitMQ (Bitnami) и кластера Kafka (Bitnami) в Azure и подключение к ним из Kubernetes в другой v-net
Я пытаюсь создать архитектуру с: 1. Кластер Kafka (от Bitnami) 2. Кластер Rabbitmq (от Bitnami) 3. Кластер Kubernetes (AKS), который может использовать как Kafka, так и RMQ Когда я создал оба кластера (...
вопрос задан: 7 August 2019 13:57
1
ответ
Могу ли я контролировать, какие экземпляры терраформирования будут отброшены при уменьшении счетчика?
При наличии многоэкземплярной подготовки, которую необходимо сократить - могу ли я контролировать, какой из существующих ресурсов будет убит? У меня есть кластер Kafka с переменной нагрузкой, поэтому я хотел бы предоставить ...
вопрос задан: 16 July 2019 01:42