Как масштабировать атлас Apache
В документе атласа нет информации о том, как его масштабировать.
Атлас Apache подключен к cassandra или hbase в бэкэнде, который может масштабироваться, но я не знаю, как механизм атласа apache (остальная веб-служба и обработчик запросов) может масштабироваться.
Я могу установить несколько его экземпляров на разных машинах и поставить перед ним балансировщик нагрузки для разветвления запроса. Но поможет ли эта модель? Выполняет ли он какие-либо блокировки и транзакции БД, чтобы эта модель не работала.
Кто-нибудь знает, как масштабируется атлас apache?
Спасибо.
Ответы 2
Итак, Apache Atlas запускает Kafka в качестве скрытой очереди сообщений, и, по моему опыту, способ, которым они спроектировали очередь Kafka (группа потребителей, которая говорит, что у вас должен быть ТОЛЬКО ОДИН потребитель), является узким местом.
Мало того, когда вы смотрите на код, у потребителя есть время опроса брокера в 1 секунду, жестко запрограммированное в потребителе. Сложите эти два вместе, и это означает, что если потребитель не может обработать сообщения от различных производителей (HIVE, Spark и т. д.) В течение этой секунды, брокер затем отключает ЕДИНСТВЕННОГО потребителя и ждет, пока несуществующий потребитель забрать сообщения ...
Мне нужно создать что-то подобное, но это все, что у меня есть ...
Надеюсь, что это немного поможет ...
Пожалуйста, обратитесь к этой странице. http://atlas.apache.org/#/HighAvailability
Атлас не поддерживает фактическое горизонтальное масштабирование. Все запросы обрабатываются «Активным экземпляром». «Пассивные экземпляры» просто пересылают все запросы «Активным экземплярам».