Интернет журнал о промышленности и технологиях

От лямбды к каппе: руководство по архитектуре больших данных в реальном времени

  1. Требования в реальном времени
  2. Новые архитектуры для эры новых данных
  3. Один размер может не подходить всем

Когда речь идет об архитектуре больших данных в реальном времени, сегодня ... есть выбор. Сегодня в меню выбора есть больше, чем просто лямбда, и в этой серии блогов я расскажу о нескольких из них и сравню их, используя соответствующие варианты использования. Итак, как выбрать правильную архитектуру для нашего проекта в реальном времени? Давайте начнем.

Требования в реальном времени

Прежде чем мы углубимся в архитектуру, давайте обсудим некоторые требования к системам обработки данных в реальном времени в сценариях больших данных.

Наиболее очевидным из этих требований является то, что данные находятся в движении. Другими словами, данные являются непрерывными и неограниченными. Это действительно о том, когда вы анализируете эти данные, которые имеют значение. Если вы ищете ответы по текущему снимку данных или предъявляете особые требования к малой задержке, вы, вероятно, смотрите сценарий в реальном времени.

Посмотрите, как Beachbody модернизировали свою архитектуру данных и освоил большие данные с Talend.

Кроме того, очень часто деловые сроки должны соблюдаться. В конце концов, если бы не было никаких последствий для пропущенных сроков для анализа в реальном времени, тогда процесс мог бы быть сгруппирован. Эти последствия могут варьироваться от полного отказа до просто ухудшения качества обслуживания.

Поскольку мы говорим о больших данных, мы также ожидаем расширения ограничений по объему, скорости и, возможно, даже разнообразию данных.

Обработка данных в реальном времени часто требует таких качеств, как масштабируемость, отказоустойчивость, предсказуемость, устойчивость к несовершенствам потока и должна быть расширяемой.

Новые архитектуры для эры новых данных

Чтобы удовлетворить эту потребность, родились новые архитектуры ... или, другими словами, необходимость является матерью изобретения.

Лямбда-архитектура, приписывается Натану Марзу является одной из наиболее распространенных архитектур, которые вы увидите сегодня при обработке данных в реальном времени. Он предназначен для обработки операций чтения и обновления с малой задержкой линейно масштабируемым и отказоустойчивым способом.

Он предназначен для обработки операций чтения и обновления с малой задержкой линейно масштабируемым и отказоустойчивым способом

Поток данных, поступающий в систему, передается по двум каналам как на пакетный, так и на скоростной уровень .

Пакетный слой хранит необработанные данные по мере их поступления и вычисляет пакетные представления для потребления. Естественно, периодические процессы будут происходить на некотором интервале и будут долгоживущими. Объем данных варьируется от часов до лет.

Слой скорости используется для вычисления представлений в реальном времени, чтобы дополнить пакетные представления.

Любой запрос может получить полную картину, извлекая данные как из пакетных представлений, так и из представлений в реальном времени. Запросы получат лучшее из обоих миров. Пакетные представления могут обрабатываться по более сложным или дорогостоящим правилам и могут иметь лучшее качество данных и меньший перекос, тогда как представления в реальном времени предоставляют вам доступ к самым последним возможным данным. Со временем данные в реальном времени истекают и заменяются данными в пакетных представлениях.

Еще одним преимуществом этой архитектуры является то, что вы можете воспроизводить одни и те же входящие данные и создавать новые представления в случае изменения кода или формулы дела.

Самым большим недостатком этой архитектуры была необходимость поддерживать две разные (и, возможно, сложные) системы для генерации как пакетного, так и скоростного уровней. К счастью, с помощью Spark Streaming (уровень абстракции) или Talend (Spark Batch и генератор потокового кода) это стало гораздо меньшей проблемой… хотя операционная нагрузка все еще существует.

Далее мы обсудим архитектуру Kappa .

Архитектура Kappa была впервые описана Джеем Крепсом , Он ориентирован только на обработку данных в виде потока. Это не замена для Lambda Architecture, за исключением случаев, когда подходит ваш вариант использования. Для этой архитектуры входящие данные передаются через уровень в реальном времени, а результаты помещаются на обслуживающий уровень для запросов.

Идея состоит в том, чтобы обрабатывать как данные в реальном времени, так и непрерывную обработку в едином поточном процессоре. Правильно, повторная обработка происходит из потока. Это требует, чтобы входящий поток данных мог быть воспроизведен (очень быстро), либо полностью, либо из определенной позиции. Если есть какие-либо изменения кода, то второй процесс потока будет воспроизводить все предыдущие данные с помощью самого последнего механизма реального времени и заменять данные, хранящиеся на обслуживающем уровне.

Эта архитектура пытается упростить, сохраняя только одну кодовую базу, а не управляя одной для каждого пакетного и скоростного уровней в Lambda Architecture. Кроме того, запросы нужно искать только в одном месте обслуживания, а не в пакетном и скоростном просмотрах.

Сложность этой архитектуры в основном связана с необходимостью обработки этих данных в потоке, такими как обработка дублирующихся событий, перекрестные ссылки или поддержание операций заказа, которые обычно проще выполнять при пакетной обработке.

Один размер может не подходить всем

Многие варианты использования в реальном времени будут хорошо соответствовать архитектуре Lambda. Чего нельзя сказать об архитектуре каппа. Если пакетный и потоковый анализ идентичны, то, вероятно, лучшим решением будет использование Kappa. В некоторых случаях, однако, наличие доступа к полному набору данных в пакетном окне может привести к определенным оптимизациям, которые сделают Lambda более эффективной и, возможно, даже более простой в реализации.

Существуют также некоторые очень сложные ситуации, в которых алгоритмы пакетной обработки и потоковой передачи дают очень разные результаты (с использованием моделей машинного обучения, экспертных систем или, по сути, очень дорогостоящих операций, которые должны выполняться по-разному в режиме реального времени), которые требуют использования Lambda.

Итак, это относится к двум наиболее популярным архитектурам обработки данных в реальном времени. В следующих статьях этой серии мы углубимся в каждую из них, и мы обсудим конкретные варианты использования и технологии, которые часто встречаются в этих архитектурах.

Узнать больше о проектирование открытого озера данных с талендом.

Рекомендации:

«Как победить теорему CAP» Натана Марца
http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html

«Опрос лямбда-архитектуры» Джея Крепса
https://www.oreilly.com/ideas/questioning-the-lambda-architecture

«Большие данные» Натана Марца, Джеймса Уоррена
https://www.manning.com/books/big-data

Похожие

Volkswagen Golf 8 «установит новые стандарты», обещает исполнить…
... в производство в 2019 году. Высокопоставленный представитель Volkswagen обещает, что Golf 8 «установит новые стандарты», когда он дебютирует в 2019 году. Говоря с Автомобильные новости Европы Ральф Брандштеттер, главный операционный директор бренда VW, заявил, что версия популярного хэтчбека автопроизводителя следующего поколения будет
Новые правила дорожного движения вводятся с 2011 года.
Правила по-новому ... С 2011 года вводятся новые правила дорожного движения. Так, отменяется легальное превышение скорости на 20 км / ч., И в белый день придется передвигаться с ближним светом. Также автолюбители будут наказываться за езду с шинами не по сезону. В новых правилах будет четко расписана ситуация, при которой водители имеют право на включение аварийки - и возрастет
Практические занятия: почему Chevrolet Malibu Eco не имеет смысла
Этот сайт может зарабатывать партнерские комиссии по ссылкам на этой странице. Условия эксплуатации , Легко гибридизированная модель Chevrolet Malibu Eco 2013 года - это хорошая идея на бумаге: добавьте небольшую гибридную систему,
Ауди RS7 2019 года представлен, может прийти с 700-HP Hybrid
Audi A7 2019 это острее, изящнее и в целом более изысканным, чем его предшественник. Роскошный спортбэк дебютировал на прошлой неделе, но поклонники уже начали работу над созданием спортивного седана с еще более высокими характеристиками. Художник из Германии Тобиас Бюттнер (Tobias Büttner) из Германии представил в цифровом виде новый A7 с добавленными характеристиками RS - и это выглядит подло. Передняя
Говорящая бумага на Франкфуртской книжной ярмарке
Исследователи из Хемница интегрируют громкоговорители в бумагу - скоро должно стать возможным промышленное производство «Т-бумаги». Если речь пойдет о группе хемницких исследователей, то вскоре можно будет говорить листовки с пакетами, сами книги читать и фотоальбомы вспоминать воспоминания
Светодиодная лента 300 SMD 5630 24V 21W Neutral 4500K - мб
... ветодиодная лента 300 SMD 5630 24V IP20 White Neutral - одна из самых сильных моделей светодиодных лент, доступных в нашем ассортименте. Модель светодиодной ленты основана на известных диодах Samsung . Он излучает очень высокий световой поток 35-37 люмен на диод . Светодиодная лента рекомендуется особенно для клиентов, которые ценят качество изготовления, а также яркий и яркий свет , излучаемый диодами Samsung 5630.
Mercedes-Benz E-Class характеристики, размеры, факты и цифры
Просмотреть все характеристики Mercedes-Benz Поиск полный спектр фактов и цифр для автомобилей Mercedes-Benz E-Class. Parkers имеет полный список автомобилей Mercedes-Benz E-Class вплоть до текущего дня, так что если вы хотите узнать о дорожных налоговых диапазонах, показателях расхода топлива и производительности для автомобилей Mercedes-Benz E-Class, у нас есть все ответы здесь. Выберите интересующую вас модель Mercedes-Benz E-Class,
Нарушение правил дорожного движения как действовать, когда остановила полиция?
Новая полиция в Украине при остановке авто за нарушение правил дорожного движения часто злоупотребляет собственными полномочиями и довольно часто водители автомобилей не знают, как правильно вести себя с сотрудниками Национальной
Ford Ranger на продажу - новые и б / у, прайс-лист 2019
ОСНОВАНИЯ CARMUDI ДЛЯ FORD RANGER 2019 ДИЗАЙН ИНТЕРЬЕРА 3,7 звезды ДВИГАТЕЛЬ СПЕЦ. 4,4 звезды ВНЕШНИЙ ДИЗАЙН 3,6 звезды РАСХОД ТОПЛИВА 4 звезды ОСОБЕННОСТИ АВТОМОБИЛЯ
Как установить и настроить радар-детектор Escort Max 360c
Эскорт Макс 360с радар-детектор ( купить Макс 360с здесь ) поставляется с целым набором различных

Комментарии

Руна - это не то, что мне так понравилось, катаясь на ней?
Руна - это не то, что мне так понравилось, катаясь на ней? Как мега-крейсер, словно принявший заслуженное избиение байкера, выдержал все мои снобизм и предрассудки, связанные с мотоциклами, и ударил его по лицу. Руна доставила ощущение верховой езды, которого я никогда раньше не испытывал. Это не было похоже на прохождение трассы или покорение отдаленной горной тропы, но это заставляло меня чувствовать себя хорошо. Руна дала честный опыт верховой езды, рожденный из ее эффектной массивности и
Позвольте мне сказать вам, что никакого шума не было слышно и что все пешеходы, мимо которых я проезжал, были удивлены тем, что автомобиль не был услышан (термин «скрытное вождение»)?
Позвольте мне сказать вам, что никакого шума не было слышно и что все пешеходы, мимо которых я проезжал, были удивлены тем, что автомобиль не был услышан (термин «скрытное вождение»)? Первая легенда о доске, чтобы вы могли понять, что я имею в виду в фильме.
Тебе просто не повезло с машиной, тебя разве не насторожило что в таком хорошем состоянии продают и так дешево, то почему покупал ?
Тебе просто не повезло с машиной, тебя разве не насторожило что в таком хорошем состоянии продают и так дешево, то почему покупал ?! Надо было получше проверить перед покупкой а не лететь слепо на первую лучшую упаковку! Я, мой папа всю жизнь на Мерсах машин других марок вообще не хотим видеть, до 2004 года имели жигули потом сменили на мерса 1986 ГОДА ВЫПУСКА (190), больше никаких машин папа не хочет видеть ездит до сих пор к мотору, коробке и ходовой не лезли НИКОГДА. Одно, что меняли это
Если средства не растянутся так далеко, как насчет кожаной накладки или контрольного чехла из тисненой кожи?
Если средства не растянутся так далеко, как насчет кожаной накладки или контрольного чехла из тисненой кожи? На eBay есть из чего выбрать, и для болотной блюзовой атмосферы вы можете пойти на искусственного аллигатора. Если кожа не ваша вещь, проверьте выбор гравированных деталей Эльдорадо. Если это металл, они могут выгравировать его, хотя они разумно останавливаются за исключением кнопок ремешка и чашек гнезда. 25. Обновление тюнера
Вы не знаете, однако, что именно решать?
Вы не знаете, однако, что именно решать? При выборе часов стоит обратить внимание на материал, из которого они были изготовлены. Сегодня мы решили сравнить устройства из латуни и стали. Каковы наиболее важные преимущества? Какой из них выгоднее купить?
Парни у нас не тот менталитет что-бы раз и на барикады, а сколько подлецов нем в спину стелют бедет?
Парни у нас не тот менталитет что-бы раз и на барикады, а сколько подлецов нем в спину стелют бедет? И они в результате ГЕРОЯМИ окажуться. 15.08.11 17:12 И чтобы вам, падлы, повылезало от моих фар! И прочее, и прочее, и прочее (вместо мата) 30.05.11 20:07 Какая то Т В А Р Ю К А хочет нажиться на лродажу зимниж шин 29.04.11 16:23 Все знают, что доколупаться можно и в фонарного столба при большом желании.Отсюда-главный вопрос: какая гнида там, наверху просчитала такой
О чем это может свидетельствовать?
О чем это может свидетельствовать? В первую очередь, о безответственности водителей. Предупреждений о непогоде было достаточно. Время на "переобувания" автомобилей также был - ведь первые морозы пришли в Киев еще на прошлой неделе, а шиномонтаже в столице - едва на каждом шагу. ДТП на Гостомельской трассе // Автор фото: Анатолий Бурбеза В то же время,
Вам может быть интересно, в чем разница между перезаряжаемым гибридом и неперезаряжаемым гибридом?
Вам может быть интересно, в чем разница между перезаряжаемым гибридом и неперезаряжаемым гибридом? Аккумуляторные гибриды можно заряжать чистой энергией от внешнего источника питания, например, дома, в гараже или на рабочем месте. Диапазон чистого электрического тока, таким образом, больше, чем у неперезаряжаемых гибридных транспортных средств. Заряжаемые гибриды также могут использовать бензиновый двигатель для выработки энергии для аккумулятора, на которую гибридные автомобили
Однако, если вы влюблены в Jaguar F-PACE и не думаете, что это в пределах вашего бюджета, кто сказал что-нибудь о покупке?
Однако, если вы влюблены в Jaguar F-PACE и не думаете, что это в пределах вашего бюджета, кто сказал что-нибудь о покупке? Мы предлагаем выгодные предложения аренды Jaguar F-PACE для таких водителей, как вы, которые хотят испытать стиль и производительность этого очаровательного роскошного кроссовера. Мы собираемся предоставить вам несколько деталей о F-PACE Аренда, чтобы вы могли узнать больше о транспортном
Что не нравится в этом?
Что не нравится в этом? , , , Сатьян Сундарам [email protected] Сопутствующее оборудование Колонки - Wharfedale Diamond 8.2, сабвуфер PowerCube 10 Наушники - Grado SR80 Аналоговые источники - проигрыватель Goldring GR1, тонарм Rega Research RB100, картридж Goldring

Итак, как выбрать правильную архитектуру для нашего проекта в реальном времени?
Руна - это не то, что мне так понравилось, катаясь на ней?
Позвольте мне сказать вам, что никакого шума не было слышно и что все пешеходы, мимо которых я проезжал, были удивлены тем, что автомобиль не был услышан (термин «скрытное вождение»)?
Тебе просто не повезло с машиной, тебя разве не насторожило что в таком хорошем состоянии продают и так дешево, то почему покупал ?
Тебе просто не повезло с машиной, тебя разве не насторожило что в таком хорошем состоянии продают и так дешево, то почему покупал ?
Если средства не растянутся так далеко, как насчет кожаной накладки или контрольного чехла из тисненой кожи?
Вы не знаете, однако, что именно решать?
Каковы наиболее важные преимущества?
Какой из них выгоднее купить?
Парни у нас не тот менталитет что-бы раз и на барикады, а сколько подлецов нем в спину стелют бедет?