Спарк что это: О системе СПАРК

Примечание: Ключевой вывод здесь заключается в том, что «большие» в больших данных — это не только объем.Вы не только получаете много данных, но и быстро получаете их в режиме реального времени в сложном формате и из различных источников. Отсюда 3-V больших данных — Volume, Velocity, Variety.

Почему у большинства компаний, занимающихся аналитикой больших данных, «искра в глазах», когда они слышат обо всех полезных функциях Spark?

Основываясь на моем предварительном исследовании, кажется, что есть три основных компонента, которые делают Apache Spark лидером в области эффективной работы с большими данными в большом масштабе, что побуждает многие крупные компании, работающие с большими объемами неструктурированных данных, внедрять Apache Spark в их стек.

1. Spark — это единый универсальный магазин для работы с большими данными. — «Spark разработан для поддержки широкого спектра задач анализа данных, от простой загрузки данных и запросов SQL до машинного обучения и потоковых вычислений. над одним и тем же вычислительным механизмом и с согласованным набором API. Основная идея этой цели заключается в том, что в реальных задачах анализа данных — будь то интерактивная аналитика в инструменте, таком как блокнот Jupyter, или традиционная разработка программного обеспечения для производственных приложений, — как правило, сочетаются множество различных типов обработки и библиотек.Унифицированный характер Spark делает эти задачи проще и эффективнее для написания »( Databricks eBook ). Например, если вы загружаете данные с помощью SQL-запроса, а затем оцениваете модель машинного обучения с помощью библиотеки машинного обучения Spark, механизм может объединить эти шаги в одно сканирование данных. Кроме того, Data Scientists может получить выгоду от унифицированного набора библиотек (например, Python или R) при моделировании, а веб-разработчики могут получить выгоду от унифицированных фреймворков, таких как Node.js или Django.
2. Spark оптимизирует свой основной механизм для повышения эффективности вычислений. — «под этим мы подразумеваем, что Spark обрабатывает только загрузку данных из систем хранения и выполнение над ними вычислений, а не постоянное хранилище в качестве конечного результата». Spark можно использовать с широким спектром систем постоянного хранения, включая облачные системы хранения, такие как Azure Storage и Amazon S3, распределенные файловые системы, такие как Apache Hadoop, хранилища ключей и значений, такие как Apache Cassandra, и шины сообщений, такие как Apache Kafka.Однако Spark не хранит данные в долгосрочной перспективе и не поддерживает одно из них. Ключевым мотивом здесь является то, что большая часть данных уже находится в нескольких системах хранения. Перемещение данных обходится дорого, поэтому Spark фокусируется на выполнении вычислений над данными, независимо от того, где они находятся »( Databricks eBook ). Ориентация Spark на вычисления отличает его от более ранних программных платформ для работы с большими данными, таких как Apache Hadoop. Hadoop включал в себя как систему хранения (файловую систему Hadoop, предназначенную для недорогого хранения в кластерах стандартных серверов Defining Spark 4), так и вычислительную систему (MapReduce), которые были тесно интегрированы друг с другом.Однако этот выбор затрудняет работу одной из систем без другой или, что более важно, создание приложений, которые обращаются к данным, хранящимся где-либо еще. Хотя Spark хорошо работает в хранилище Hadoop, теперь он также широко используется в средах, где архитектура Hadoop не имеет смысла, таких как общедоступное облако (где хранилище можно приобрести отдельно от вычислений) или потоковые приложения.
3. Библиотеки Spark предоставляют ему очень широкий набор функций — Сегодня стандартные библиотеки Spark составляют основную часть проекта с открытым исходным кодом.Сам ядро ​​Spark мало изменилось с момента его первого выпуска, но библиотеки выросли, чтобы предоставлять все больше и больше типов функциональности, превращая его в многофункциональный инструмент анализа данных. Spark включает библиотеки для SQL и структурированных данных (Spark SQL), машинного обучения (MLlib), потоковой обработки (Spark Streaming и более новая структурированная потоковая передача) и аналитики графов (GraphX). Помимо этих библиотек, существуют сотни внешних библиотек с открытым исходным кодом, начиная от коннекторов для различных систем хранения и заканчивая алгоритмами машинного обучения.

Apache Spark против Hadoop MapReduce… Какой из них следует использовать?

Короткий ответ — это зависит от конкретных потребностей вашего бизнеса, но, основываясь на моих исследованиях, кажется, что в 7 из 10 случаев ответ будет — Spark. Линейная обработка огромных наборов данных является преимуществом Hadoop MapReduce, в то время как Spark обеспечивает высокую производительность , итеративной обработки, аналитика в реальном времени, обработка графиков, машинное обучение и многое другое .

Хорошая новость заключается в том, что Spark полностью совместим с экосистемой Hadoop и без проблем работает с Hadoop Distributed File System (HDFS), , Apache Hive и другими. Итак, когда размер данных слишком велик для Spark для обработки в памяти, Hadoop может помочь преодолеть это препятствие с помощью своей функции HDFS. Ниже приведен наглядный пример того, как Spark и Hadoop могут работать вместе:

Изображение выше демонстрирует, как Spark использует лучшее части Hadoop через HDFS для чтения и хранения данных, MapReduce для дополнительной обработки и YARN для распределения ресурсов.

Далее я попытаюсь выделить многие преимущества Spark перед Hadoop MapReduce, проведя краткое прямое сравнение между двумя .

• Apache Spark — это молниеносный инструмент для кластерных вычислений. Spark запускает приложения до в 100 раз быстрее в памяти и в 10 раз быстрее на диске, чем Hadoop , за счет уменьшения на количества циклов чтения-записи на диск и сохранения промежуточных данных в памяти.
• Hadoop MapReduce — MapReduce считывает и записывает с диска, что снижает скорость обработки и общую эффективность .

• Apache Spark — множество библиотек Spark облегчают выполнение множества основных операторов высокого уровня с RDD (устойчивый распределенный набор данных) .
• Hadoop — В MapReduce разработчикам необходимо вручную кодировать каждую операцию, что может усложнить использование сложных масштабных проектов.

• Apache Spark — поскольку Spark оптимизирован для скорости и вычислительной эффективности за счет хранения большей части данных в памяти, а не на диске, он может уступать Hadoop MapReduce , когда размер данных становится слишком большим что недостаточный объем оперативной памяти становится проблемой .
• Hadoop — Hadoop MapReduce позволяет параллельную обработку огромных объемов данных. Он разбивает большой кусок на более мелкие, которые обрабатываются отдельно на разных узлах данных.Если результирующий набор данных превышает объем доступной оперативной памяти, Hadoop MapReduce может превзойти Spark. Это хорошее решение, если скорость обработки не критична. и задачи можно оставить запущенными на ночь , чтобы результаты были получены утром.

Apache Spark — безоговорочный победитель в этой категории. Ниже приведен список многих задач аналитики больших данных, в которых Spark превосходит Hadoop:

• Итерационная обработка. Если задача состоит в том, чтобы обрабатывать данные снова и снова — Spark побеждает Hadoop MapReduce. Устойчивые распределенные наборы данных (RDD) Spark позволяют выполнять несколько операций с картами в памяти, в то время как Hadoop MapReduce должен записывать промежуточные результаты на диск.
• Обработка почти в реальном времени. Если бизнесу нужны немедленные аналитические данные, им следует выбрать Spark и его обработку в оперативной памяти.
• Обработка графиков. Вычислительная модель Spark хороша для итеративных вычислений, типичных для обработки графов.А в Apache Spark есть GraphX ​​- API для вычисления графиков.
• Машинное обучение . В Spark есть MLlib — встроенная библиотека машинного обучения, а для Hadoop требуется сторонняя организация. MLlib имеет готовые алгоритмы, которые также работают в памяти.
• Объединение наборов данных. Благодаря своей скорости Spark может создавать все комбинации быстрее, хотя Hadoop может быть лучше, если требуется объединение очень больших наборов данных, требующих много перетасовки и сортировки.

Визуальный обзор многих возможностей Spark и его совместимости с другими механизмами обработки больших данных и языками программирования ниже:

1. Spark Core — Spark Core — это базовый механизм для крупномасштабной параллельной и распределенной обработки данных. Кроме того, дополнительные библиотеки, построенные поверх ядра, позволяют выполнять различные рабочие нагрузки для потоковой передачи, SQL и машинного обучения. Он отвечает за управление памятью и восстановление после сбоев, планирование, распределение и мониторинг заданий в кластере и взаимодействие с системами хранения.
2. Управление кластером — Диспетчер кластера используется для получения ресурсов кластера для выполнения заданий.Ядро Spark работает с различными диспетчерами кластеров, включая Hadoop YARN, Apache Mesos, Amazon EC2 и встроенный диспетчер кластеров Spark. Диспетчер кластера обрабатывает совместное использование ресурсов между приложениями Spark. С другой стороны, Spark может получать доступ к данным в HDFS, Cassandra, HBase, Hive, Alluxio и любом источнике данных Hadoop
3. Spark Streaming — Spark Streaming — это компонент Spark, который используется для обработки потоковых данных в реальном времени.
4. Spark SQL : Spark SQL — это новый модуль в Spark, который объединяет реляционную обработку с API функционального программирования Spark.Он поддерживает запросы данных через SQL или через язык запросов Hive. API-интерфейсы DataFrame и Dataset Spark SQL обеспечивают более высокий уровень абстракции для структурированных данных.
5. GraphX ​​: GraphX ​​- это Spark API для графов и вычислений, параллельных графам. Таким образом, он расширяет Spark RDD с помощью гибкого распределенного графа свойств.
6. MLlib (Машинное обучение): MLlib означает библиотеку машинного обучения. Spark MLlib используется для машинного обучения в Apache Spark.

В связи с массовым взрывом больших данных и экспоненциально увеличивающейся скоростью вычислений такие инструменты, как Apache Spark и другие механизмы анализа больших данных, скоро станут незаменимыми для специалистов по данным и быстро станут отраслевым стандартом для анализа и решения больших данных. сложные бизнес-задачи в масштабе в реальном времени. Для тех, кто хочет глубже погрузиться в технологию, лежащую в основе всех этих функций, нажмите ссылку ниже и загрузите электронную книгу Databricks — « A Gentle Intro to Apache Spark», или ознакомьтесь с « Big Data Analytics на Apache Spark. ” ниже .

Hadoop и Spark: прямое сравнение

С каждым годом на рынке появляется все больше и больше распределенных систем для управления объемом, разнообразием и скоростью данных. Среди этих систем наибольшее внимание уделяется Hadoop и Spark. Но как решить, что подходит именно вам?

Если вы хотите обрабатывать данные потока посещений, имеет ли смысл их пакетировать и импортировать в HDFS или работать со Spark Streaming? Если вы хотите заниматься машинным обучением и прогнозным моделированием, какой вариант лучше подойдет Mahout или MLLib?

Чтобы усугубить путаницу, Spark и Hadoop часто работают вместе с данными обработки Spark, которые хранятся в HDFS, файловой системе Hadoop.Но это отдельные и отдельные сущности, у каждой из которых есть свои плюсы и минусы, а также конкретные бизнес-варианты использования.

В этой статье мы рассмотрим две системы со следующих точек зрения: архитектура, производительность, затраты, безопасность и машинное обучение.

Для дальнейшего изучения см. Нашу статью Сравнение Apache Hive и Spark.

Примерно

Что такое Hadoop?

Hadoop начал свою деятельность как проект Yahoo в 2006 году, позже став проектом Apache верхнего уровня с открытым исходным кодом.Это универсальная форма распределенной обработки, состоящая из нескольких компонентов: распределенной файловой системы Hadoop (HDFS), которая хранит файлы в собственном формате Hadoop и распараллеливает их в кластере; YARN, расписание, которое координирует время выполнения приложения; и MapReduce, алгоритм, который фактически обрабатывает данные параллельно. Hadoop построен на Java и доступен на многих языках программирования для написания кода MapReduce, включая Python, через клиент Thrift.

В дополнение к этим базовым компонентам Hadoop также включает Sqoop, который перемещает реляционные данные в HDFS; Hive, SQL-подобный интерфейс, позволяющий пользователям выполнять запросы в HDFS; и Mahout для машинного обучения.Помимо использования HDFS для хранения файлов, Hadoop теперь также можно настроить для использования в качестве входных данных сегментов S3 или больших двоичных объектов Azure.

Он доступен либо с открытым исходным кодом через дистрибутив Apache, либо у таких поставщиков, как Cloudera (крупнейший поставщик Hadoop по размеру и объему), MapR или HortonWorks.

Что такое Spark?

Spark — новый проект, первоначально разработанный в 2012 году в AMPLab в Калифорнийском университете в Беркли. Это также проект Apache верхнего уровня, ориентированный на параллельную обработку данных в кластере, но самая большая разница в том, что он работает в памяти.

В то время как Hadoop считывает и записывает файлы в HDFS, Spark обрабатывает данные в ОЗУ, используя концепцию, известную как RDD, устойчивый распределенный набор данных. Spark может работать как в автономном режиме, с кластером Hadoop, выступающим в качестве источника данных, так и в сочетании с Mesos. В последнем сценарии мастер Mesos заменяет мастер Spark или YARN для целей планирования.

Spark построен на основе Spark Core, механизма, который управляет планированием, оптимизацией и абстракцией RDD, а также подключает Spark к нужной файловой системе (HDFS, S3, RDBM или Elasticsearch).Есть несколько библиотек, которые работают поверх Spark Core, в том числе Spark SQL, который позволяет запускать SQL-подобные команды для распределенных наборов данных, MLLib для машинного обучения, GraphX ​​для проблем с графами и потоковая передача, которая позволяет вводить непрерывную потоковую передачу. данные журнала.

Spark имеет несколько API. Первоначальный интерфейс был написан на Scala, и на основе интенсивного использования специалистами по данным также были добавлены конечные точки Python и R. Java — еще один вариант для написания заданий Spark.

Databricks, компания, основанная создателем Spark Матей Захария, теперь курирует разработку Spark и предлагает распространение Spark для клиентов.

Архитектура

Hadoop

Для начала все файлы, передаваемые в HDFS, разбиваются на блоки. Каждый блок реплицируется в кластере определенное количество раз в зависимости от настроенного размера блока и коэффициента репликации. Эта информация передается в NameNode, который отслеживает все в кластере. NameNode назначает файлы нескольким узлам данных, на которые они затем записываются. Высокая доступность была реализована в 2012 году, что позволило NameNode переключиться на резервный узел, чтобы отслеживать все файлы в кластере.

Алгоритм MapReduce находится поверх HDFS и состоит из JobTracker. После того, как приложение написано на одном из языков, Hadoop принимает JobTracker, берет его и распределяет работу (которая может включать что угодно, от подсчета слов и очистки файлов журналов до выполнения запроса HiveQL поверх данных, хранящихся в хранилище Hive. ) к TaskTrackers, прослушивающим другие узлы.

YARN распределяет ресурсы, которые JobTracker раскручивает, и контролирует их, перемещая процессы для большей эффективности.Затем все результаты этапа MapReduce объединяются и записываются обратно на диск в HDFS.

Spark

Spark обрабатывает работу аналогично Hadoop, за исключением того, что вычисления выполняются в памяти и сохраняются там до тех пор, пока пользователь не будет их активно поддерживать. Первоначально Spark читает из файла в HDFS, S3 или другом хранилище файлов в установленный механизм, называемый SparkContext. Исходя из этого контекста, Spark создает структуру, называемую RDD или устойчивым распределенным набором данных, которая представляет собой неизменяемую коллекцию элементов, с которыми можно работать параллельно.

По мере создания RDD и связанных действий Spark также создает DAG или направленный ациклический график для визуализации порядка операций и взаимосвязи между операциями в DAG. У каждого DAG есть этапы и шаги; в этом смысле он похож на план объяснения в SQL.

Вы можете выполнять преобразования, промежуточные шаги, действия или заключительные шаги на RDD. Результат данного преобразования попадает в группу DAG, но не сохраняется на диске, но результат действия сохраняет все данные в памяти на диске.

Новой абстракцией в Spark являются DataFrames, которые были разработаны в Spark 2.0 в качестве сопутствующего интерфейса для RDD. Они очень похожи, но DataFrames упорядочивают данные в именованные столбцы, аналогично пакетам Python pandas или R. Это делает их более удобными для пользователя, чем RDD, в которых нет аналогичного набора ссылок на заголовки на уровне столбцов. SparkSQL также позволяет пользователям запрашивать DataFrames так же, как таблицы SQL в реляционных хранилищах данных.

Производительность

Было обнаружено, что Spark работает в 100 раз быстрее в памяти и в 10 раз быстрее на диске.Он также использовался для сортировки 100 ТБ данных в 3 раза быстрее, чем Hadoop MapReduce на одной десятой машин. В частности, было обнаружено, что Spark работает быстрее в приложениях машинного обучения, таких как Naive Bayes и k-means.

Производительность Spark, измеряемая по скорости обработки, была признана оптимальной по сравнению с Hadoop по нескольким причинам:

1. Spark не связан проблемами ввода-вывода каждый раз, когда он запускает выбранную часть задачи MapReduce. Это оказалось намного быстрее для приложений.
2. Spark DAG обеспечивает оптимизацию между этапами.Hadoop не имеет циклической связи между этапами MapReduce, что означает, что на этом уровне невозможно настроить производительность.

Однако, если Spark работает в YARN с другими общими службами, производительность может снизиться и вызвать утечку служебной памяти RAM. По этой причине, если у пользователя есть вариант использования пакетной обработки, Hadoop оказался более эффективной системой.

Стоимость

И Spark, и Hadoop доступны бесплатно как проекты Apache с открытым исходным кодом, что означает, что вы потенциально можете запустить их с нулевыми затратами на установку.Однако важно учитывать общую стоимость владения, которая включает в себя обслуживание, покупку оборудования и программного обеспечения, а также наем команды, разбирающейся в администрировании кластера. Общее практическое правило для локальной установки заключается в том, что Hadoop требует больше памяти на диске, а Spark требует больше оперативной памяти, а это означает, что установка кластеров Spark может быть более затратной. Кроме того, поскольку Spark является более новой системой, специалисты по ней встречаются реже и обходятся дороже. Другой вариант — установить с помощью такого поставщика, как Cloudera для Hadoop или Spark для DataBricks, или запустить процессы EMR / MapReduce в облаке с помощью AWS.

Сравнение цен на Extract может быть сложно разделить, поскольку Hadoop и Spark работают в тандеме, даже на экземплярах EMR, которые настроены для работы с установленным Spark. Для очень высокого уровня сравнения, предполагая, что вы выбираете оптимизированный для вычислений кластер EMR для Hadoop, стоимость самого маленького экземпляра, c4.large, составляет 0,026 доллара в час. Самый маленький кластер, оптимизированный для памяти, для Spark будет стоить 0,067 доллара в час. Таким образом, с почасовой оплатой Spark дороже, но с учетом оптимизации времени вычислений аналогичные задачи должны занимать меньше времени в кластере Spark.

Отказоустойчивость и безопасность

Hadoop отличается высокой отказоустойчивостью, поскольку он был разработан для репликации данных на многих узлах. Каждый файл разбивается на блоки и многократно реплицируется на многих машинах, гарантируя, что, если одна машина выйдет из строя, файл можно будет восстановить из других блоков в другом месте.

Отказоустойчивость Spark достигается в основном за счет операций RDD. Первоначально неактивные данные хранятся в HDFS, которая является отказоустойчивой благодаря архитектуре Hadoop.По мере создания RDD создается и линия передачи, которая запоминает, как был создан набор данных, и, поскольку он неизменен, может при необходимости перестроить его с нуля. Данные в разделах Spark также можно перестроить на узлах данных на основе группы DAG. Данные реплицируются между узлами-исполнителями и, как правило, могут быть повреждены в случае сбоя узла или связи между исполнителями и драйверами.

И Spark, и Hadoop имеют доступ к поддержке аутентификации Kerberos, но Hadoop имеет более детальные средства управления безопасностью для HDFS.Apache Sentry, система для обеспечения доступа к детализированным метаданным, — еще один проект, доступный специально для безопасности на уровне HDFS.

Модель безопасности Spark в настоящее время скудна, но позволяет аутентификацию с использованием общего секрета.

Машинное обучение

Hadoop использует Mahout для обработки данных. Mahout включает в себя кластеризацию, классификацию и групповую фильтрацию на основе пакетов, которые работают поверх MapReduce. Это постепенно отменяется в пользу Samsara, языка DSL на основе Scala, который позволяет выполнять операции в памяти и алгебраические операции, а также позволяет пользователям писать свои собственные алгоритмы.

Spark имеет библиотеку машинного обучения MLLib, используемую для приложений итеративного машинного обучения в памяти. Он доступен на Java, Scala, Python или R и включает классификацию и регрессию, а также возможность создавать конвейеры машинного обучения с настройкой гиперпараметров.

Есть несколько случаев, когда вы хотите использовать эти два инструмента вместе. Несмотря на то, что некоторые спрашивают, заменит ли Spark полностью Hadoop из-за вычислительной мощности первого, они призваны дополнять друг друга, а не конкурировать.Ниже вы можете увидеть упрощенную версию архитектуры Spark-and-Hadoop:

Схема архитектуры Hadoop-Kafka-Spark: как Spark работает вместе с Hadoop и Kafka

Организации, которым требуется пакетный анализ и потоковый анализ для различных сервисов, могут увидеть преимущества использования обоих инструментов. Hadoop может — по более низкой цене — справляться с более тяжелыми операциями, в то время как Spark обрабатывает более многочисленные более мелкие задания, требующие немедленного выполнения.

YARN также делает возможным архивирование и анализ заархивированных данных, чего нельзя сказать о Apache Spark.Таким образом, Hadoop и YARN, в частности, становятся критически важным потоком для объединения обработки в реальном времени, машинного обучения и обработки повторяющихся графов.

Подводя итог

Так что же это Hadoop или Spark? Эти системы являются двумя наиболее известными распределенными системами обработки данных на рынке сегодня. Hadoop используется в основном для операций с тяжелыми дисками с парадигмой MapReduce, а Spark — более гибкая, но более дорогостоящая архитектура обработки в памяти. Оба являются проектами верхнего уровня Apache, часто используются вместе и имеют сходство, но при принятии решения о их реализации важно понимать особенности каждого из них.
Для получения дополнительной информации об альтернативах прочтите наше сравнение Hive и Spark.

Развивайте свои инициативы DevOps с помощью функций машинного обучения Logz.io!

Apache Spark: введение, примеры и варианты использования

Я впервые услышал о Spark в конце 2013 года, когда заинтересовался Scala, языком, на котором написан Spark. Некоторое время спустя я сделал забавный проект по науке о данных, пытаясь предсказать выживаемость на Титанике. Это оказался отличный способ познакомиться с концепциями и программированием Spark.Я настоятельно рекомендую его всем начинающим разработчикам Spark, которые ищут место для начала.

Сегодня Spark внедряется такими крупными игроками, как Amazon, eBay и Yahoo! Многие организации запускают Spark в кластерах с тысячами узлов. Согласно Spark FAQ, самый большой известный кластер имеет более 8000 узлов. Действительно, Spark — это технология, которую стоит принять во внимание и изучить.

Эта статья представляет собой введение в Spark, включая варианты использования и примеры. Он содержит информацию с веб-сайта Apache Spark, а также книгу Learning Spark — Lightning-Fast Big Data Analysis.

Что такое Apache Spark? Введение

Spark — это проект Apache, рекламируемый как «молниеносные кластерные вычисления». Он имеет процветающее сообщество разработчиков ПО с открытым исходным кодом и на данный момент является наиболее активным проектом Apache.

Spark обеспечивает более быструю и более общую платформу обработки данных. Spark позволяет запускать программы до 100 раз быстрее в памяти или в 10 раз быстрее на диске, чем Hadoop. В прошлом году Spark захватил Hadoop, завершив конкурс Daytona GraySort на 100 ТБ в 3 раза быстрее, на одну десятую количества машин, а также стал самым быстрым движком с открытым исходным кодом для сортировки петабайтов.

Spark также позволяет писать код быстрее, поскольку в вашем распоряжении более 80 операторов высокого уровня. Чтобы продемонстрировать это, давайте взглянем на «Hello World!» BigData: пример подсчета слов. Написанный на Java для MapReduce, он содержит около 50 строк кода, тогда как в Spark (и Scala) вы можете сделать это так просто:

  sparkContext.textFile ("hdfs: // ...")
            .flatMap (line => line.split (""))
            .map (слово => (слово, 1)). reduceByKey (_ + _)
            .saveAsTextFile ("hdfs: // ...")
  

Еще одним важным аспектом при изучении использования Apache Spark является интерактивная оболочка (REPL), которую он предоставляет «из коробки». Используя REPL, можно проверить результат каждой строки кода без необходимости сначала кодировать и выполнять все задание. Таким образом, путь к рабочему коду намного короче, и становится возможен специальный анализ данных.

Дополнительные ключевые особенности Spark включают:

• В настоящее время предоставляет API-интерфейсы на Scala, Java и Python с поддержкой других языков (например, R).
• хорошо интегрируется с экосистемой Hadoop и источниками данных (HDFS, Amazon S3, Hive, HBase, Cassandra и т. Д.)
• Может работать в кластерах, управляемых Hadoop YARN или Apache Mesos, а также может работать автономно

Ядро Spark дополнено набором мощных высокоуровневых библиотек, которые можно беспрепятственно использовать в одном приложении. Эти библиотеки в настоящее время включают SparkSQL, Spark Streaming, MLlib (для машинного обучения) и GraphX, каждая из которых подробно описана в этой статье. Дополнительные библиотеки и расширения Spark в настоящее время также находятся в стадии разработки.

Искровое ядро ​​

Spark Core — это базовый движок для крупномасштабной параллельной и распределенной обработки данных.Он отвечает за:

• Управление памятью и устранение неисправностей
• планирование, распределение и мониторинг заданий в кластере
• взаимодействует с системами хранения

Spark представляет концепцию RDD (Resilient Distributed Dataset), неизменной отказоустойчивой распределенной коллекции объектов, с которыми можно работать параллельно. RDD может содержать любой тип объекта и создается путем загрузки внешнего набора данных или распространения коллекции из программы драйвера.

RDD поддерживают два типа операций:

• Преобразования — это операции (такие как сопоставление, фильтрация, объединение, объединение и т. Д.), Которые выполняются над RDD и приводят к новому RDD, содержащему результат.
• Действия — это операции (такие как уменьшение, подсчет, первое и т. Д.), Которые возвращают значение после выполнения вычисления в СДР.

Преобразования в Spark «ленивы», то есть они не вычисляют свои результаты сразу. Вместо этого они просто «запоминают» операцию, которую нужно выполнить, и набор данных (например,g., файл), с которым должна быть выполнена операция. Преобразования фактически вычисляются только тогда, когда вызывается действие и результат возвращается программе драйвера. Такая конструкция позволяет Spark работать более эффективно. Например, если большой файл был преобразован различными способами и передан первому действию, Spark обработает и вернет результат только для первой строки, а не выполнит работу для всего файла.

По умолчанию каждый преобразованный RDD может пересчитываться каждый раз, когда вы запускаете над ним действие.Однако вы также можете сохранить RDD в памяти, используя метод persist или cache, и в этом случае Spark сохранит элементы в кластере для гораздо более быстрого доступа при следующем запросе.

SparkSQL

SparkSQL — это компонент Spark, который поддерживает запросы данных через SQL или через язык запросов Hive. Он возник как порт Apache Hive для работы поверх Spark (вместо MapReduce) и теперь интегрирован со стеком Spark. Помимо поддержки различных источников данных, он позволяет объединять запросы SQL с преобразованиями кода, что приводит к очень мощному инструменту.Ниже приведен пример запроса, совместимого с Hive:

  // sc - существующий SparkContext.
val sqlContext = новый org.apache.spark.sql.hive.HiveContext (sc)

sqlContext.sql ("СОЗДАТЬ ТАБЛИЦУ, ЕСЛИ НЕ СУЩЕСТВУЕТ src (ключ INT, значение СТРОКА)")
sqlContext.sql ("ЗАГРУЗИТЬ ДАННЫЕ ЛОКАЛЬНЫЙ INPATH 'примеры / src / main / resources / kv1.txt' INTO TABLE src")

// Запросы выражаются в HiveQL
sqlContext.sql ("FROM src SELECT ключ, значение"). collect (). foreach (println)
  

Потоковое воспроизведение Spark

Spark Streaming поддерживает обработку потоковых данных в реальном времени, таких как файлы журнала рабочего веб-сервера (например,грамм. Apache Flume и HDFS / S3), социальные сети, такие как Twitter, и различные очереди сообщений, такие как Kafka. Под капотом Spark Streaming получает потоки входных данных и разделяет данные на пакеты. Затем они обрабатываются механизмом Spark и генерируют окончательный поток результатов в пакетах, как показано ниже.

Spark Streaming API очень похож на Spark Core, что упрощает программистам работу как с пакетными, так и с потоковыми данными.

MLlib

MLlib — это библиотека машинного обучения, которая предоставляет различные алгоритмы, предназначенные для горизонтального масштабирования кластера для классификации, регрессии, кластеризации, совместной фильтрации и т. Д. (Дополнительную информацию по этой теме см. В статье Toptal о машинном обучении).Некоторые из этих алгоритмов также работают с потоковыми данными, например линейная регрессия с использованием обычных наименьших квадратов или кластеризация k-средних (и многое другое в процессе). Apache Mahout (библиотека машинного обучения для Hadoop) уже отказался от MapReduce и объединил усилия для создания Spark MLlib.

GraphX ​​

GraphX ​​- это библиотека для управления графиками и выполнения операций, параллельных графам. Он предоставляет единый инструмент для ETL, исследовательского анализа и итерационных вычислений графов.Помимо встроенных операций для манипулирования графами, он предоставляет библиотеку общих алгоритмов графов, таких как PageRank.

Как использовать Apache Spark: пример использования обнаружения событий

Теперь, когда мы ответили на вопрос «Что такое Apache Spark?», Давайте подумаем, для каких проблем или задач он может быть использован наиболее эффективно.

Недавно я наткнулся на статью об эксперименте по обнаружению землетрясения путем анализа потока Twitter. Интересно, что было показано, что этот метод может сообщить вам о землетрясении в Японии быстрее, чем Японское метеорологическое агентство.Несмотря на то, что в своей статье они использовали другую технологию, я думаю, что это отличный пример того, как можно использовать Spark с упрощенными фрагментами кода и без связующего кода.

Во-первых, нам нужно отфильтровать твиты, которые кажутся релевантными, например, «землетрясение» или «тряска». Мы могли бы легко использовать Spark Streaming для этой цели следующим образом:

  TwitterUtils.createStream (...)
            .filter (_. getText.contains ("землетрясение") || _.getText.contains ("тряска"))
  

Затем нам нужно будет провести некоторый семантический анализ твитов, чтобы определить, ссылаются ли они на текущее землетрясение.Твиты типа «Землетрясение!» или, например, «Сейчас трясется», будут считаться положительными совпадениями, тогда как твиты вроде «Посещение конференции по землетрясениям» или «Вчерашнее землетрясение было страшным» — нет. Для этого авторы статьи использовали машину опорных векторов (SVM). Мы сделаем то же самое здесь, но также можем попробовать потоковую версию. Результирующий пример кода из MLlib будет выглядеть следующим образом:

  // Мы подготовим данные твита о землетрясении и загрузим их в формате LIBSVM.val data = MLUtils.loadLibSVMFile (sc, "sample_earthquate_tweets.txt")

// Разделить данные на обучение (60%) и тест (40%).
val splits = data.randomSplit (Массив (0,6; 0,4), начальное число = 11L)
val обучение = разбиение (0) .cache ()
val test = разбивает (1)

// Запускаем алгоритм обучения для построения модели
val numIterations = 100
val model = SVMWithSGD.train (обучение, числа)

// Очистить порог по умолчанию.
model.clearThreshold ()

// Вычислить необработанные баллы по набору тестов.
val scoreAndLabels = test.map {point =>
  val score = model.предсказать (point.features)
  (оценка, метка балла)
}

// Получение показателей оценки.
val metrics = new BinaryClassificationMetrics (scoreAndLabels)
val auROC = metrics.areaUnderROC ()

println ("Область под ROC =" + auROC)
  

Если нас устраивает скорость предсказания модели, мы можем перейти к следующему этапу и реагировать всякий раз, когда мы обнаруживаем землетрясение. Чтобы обнаружить один, нам нужно определенное количество (то есть плотность) положительных твитов в определенном временном окне (как описано в статье). Обратите внимание, что для твитов с включенными службами определения местоположения Twitter мы также извлекаем местоположение землетрясения.Вооружившись этими знаниями, мы могли бы использовать SparkSQL и запросить существующую таблицу Hive (хранящую пользователей, заинтересованных в получении уведомлений о землетрясениях), чтобы получить их адреса электронной почты и отправить им персонализированное предупреждение по электронной почте, как показано ниже:

  // sc - существующий SparkContext.
val sqlContext = новый org.apache.spark.sql.hive.HiveContext (sc)
// sendEmail - это настраиваемая функция
sqlContext.sql ("FROM earthquake_warning_users ВЫБЕРИТЕ firstName, lastName, city, email")
          .собирать().foreach (sendEmail)
  

Другие варианты использования Apache Spark

Возможные варианты использования Spark, конечно же, выходят далеко за рамки обнаружения землетрясений.

Вот краткая (но далеко не исчерпывающая!) Выборка других вариантов использования, которые требуют работы со скоростью, разнообразием и объемом больших данных, для которых Spark так хорошо подходит:

В игровой индустрии обработка и обнаружение закономерностей из потенциального источника внутриигровых событий в реальном времени и возможность немедленно реагировать на них — это возможность, которая может принести прибыльный бизнес для таких целей, как удержание игроков, таргетированная реклама и т. Д. автоподстройка уровня сложности и т. д.

В индустрии электронной коммерции информация о транзакциях в реальном времени может быть передана в алгоритм потоковой кластеризации, такой как k-means, или совместную фильтрацию, такую ​​как ALS. Затем результаты можно было бы даже объединить с другими неструктурированными источниками данных, такими как комментарии клиентов или обзоры продуктов, и использовать для постоянного улучшения и адаптации рекомендаций с течением времени с учетом новых тенденций.

В сфере финансов или безопасности стек Spark может применяться для систем обнаружения мошенничества или вторжений или аутентификации на основе рисков.Он может достичь первоклассных результатов, собирая огромные объемы архивных журналов, комбинируя их с внешними источниками данных, такими как информация об утечках данных и скомпрометированных учетных записях (см., Например, https://haveibeenpwned.com/) и информацию из соединения / запрос, такой как геолокация IP или время.

Заключение

Подводя итог, можно сказать, что Spark помогает упростить сложную и ресурсоемкую задачу по обработке больших объемов данных в реальном времени или заархивированных данных, как структурированных, так и неструктурированных, безупречно интегрируя соответствующие комплексные возможности, такие как машинное обучение и алгоритмы построения графиков.Spark обеспечивает массовую обработку больших данных. Проверьте это!

Что такое Apache Spark? | IBM

Apache Spark — это молниеносный движок обработки данных с открытым исходным кодом для машинного обучения и приложений искусственного интеллекта, поддерживаемый крупнейшим сообществом с открытым исходным кодом в области больших данных.

Что такое Apache Spark?

Apache Spark (Spark) — это механизм обработки данных с открытым исходным кодом для больших наборов данных. Он разработан для обеспечения скорости вычислений, масштабируемости и программируемости, необходимых для больших данных, особенно для потоковых данных, графических данных, машинного обучения и приложений искусственного интеллекта (AI).

Spark обрабатывает данные от 10 до 100 раз быстрее, чем альтернативы. Он масштабируется за счет распределения обработки между большими кластерами компьютеров со встроенным параллелизмом и отказоустойчивостью. Он даже включает API-интерфейсы для языков программирования, популярных среди аналитиков и специалистов по обработке данных, включая Scala, Java, Python и R.

Spark часто сравнивают с Apache Hadoop, особенно с MapReduce, собственным компонентом обработки данных Hadoop. Основное различие между Spark и MapReduce заключается в том, что Spark обрабатывает и сохраняет данные в памяти для последующих шагов — без записи на диск или чтения с диска — что приводит к значительному увеличению скорости обработки.(Вы узнаете больше о том, как Spark сравнивается с Hadoop и дополняет его, в этой статье.)

Spark был разработан в 2009 году в Калифорнийском университете в Беркли. Сегодня он поддерживается Apache Software Foundation и может похвастаться крупнейшим сообществом с открытым исходным кодом в области больших данных, насчитывающим более 1000 участников. Он также входит в число основных компонентов нескольких коммерческих предложений по работе с большими данными.

Как работает Apache Spark

Apache Spark имеет иерархическую архитектуру главный / подчиненный. Драйвер Spark — это главный узел, который управляет диспетчером кластера, который управляет рабочими (подчиненными) узлами и доставляет результаты данных клиенту приложения.

На основе кода приложения Spark Driver генерирует SparkContext , который работает с диспетчером кластера — автономным диспетчером кластеров Spark или другими диспетчерами кластеров, такими как Hadoop YARN, Kubernetes или Mesos, — для распределения и отслеживания выполнения по узлам. Он также создает устойчивые распределенные наборы данных (RDD), которые являются ключом к замечательной скорости обработки Spark.

Устойчивый распределенный набор данных (RDD)

Resilient Distributed Datasets (RDD) — это отказоустойчивые наборы элементов, которые могут быть распределены между несколькими узлами в кластере и работать с ними параллельно.RDD — это фундаментальная структура Apache Spark.

Spark загружает данные, ссылаясь на источник данных или распараллеливая существующую коллекцию с помощью метода SparkContext parallelize в RDD для обработки. После загрузки данных в RDD Spark выполняет преобразования и действия с RDD в памяти, что является ключом к быстродействию Spark. Spark также хранит данные в памяти, если в системе не заканчивается память или пользователь не решает записать данные на диск для сохранения.

Каждый набор данных в СДР разделен на логические разделы, которые могут быть вычислены на разных узлах кластера.Кроме того, пользователи могут выполнять два типа операций RDD : преобразования и действия . Преобразования — это операции, применяемые для создания нового СДР . Действия используются для указания Apache Spark применить вычисление и передать результат обратно драйверу.

Spark поддерживает множество действий и преобразований в RDD. Это распространение выполняется Spark, поэтому пользователям не нужно беспокоиться о вычислении правильного распределения.

Направленный ациклический граф (DAG)

В отличие от двухэтапного процесса выполнения в MapReduce, Spark создает направленный ациклический график (DAG) для планирования задач и координации рабочих узлов в кластере.Поскольку Spark действует и преобразует данные в процессах выполнения задач, планировщик DAG способствует повышению эффективности, организуя рабочие узлы в кластере. Это отслеживание задач делает возможной отказоустойчивость, поскольку оно повторно применяет записанные операции к данным из предыдущего состояния.

DataFrames и Datasets

Помимо RDD, Spark обрабатывает два других типа данных: DataFrames и Datasets.

DataFrames являются наиболее распространенными интерфейсами структурированного программирования приложений (API) и представляют собой таблицу данных со строками и столбцами.Хотя RDD был важной функцией для Spark, сейчас он находится в режиме обслуживания. Из-за популярности библиотеки машинного обучения Spark (MLlib) DataFrames взяли на себя ведущую роль в качестве основного API для MLlib. Это важно учитывать при использовании API MLlib, поскольку DataFrames обеспечивают единообразие для разных языков, таких как Scala, Java, Python и R.

— это расширение DataFrames, обеспечивающее типобезопасный объектно-ориентированный программный интерфейс. По умолчанию наборы данных представляют собой набор строго типизированных объектов JVM, в отличие от DataFrames.

Spark SQL позволяет запрашивать данные из DataFrames и хранилищ данных SQL, таких как Apache Hive. Запросы Spark SQL возвращают DataFrame или Dataset, когда они выполняются на другом языке.

Искровое ядро ​​

Spark Core является базой для всей параллельной обработки данных и обеспечивает планирование, оптимизацию, RDD и абстракцию данных. Spark Core обеспечивает функциональную основу для библиотек Spark, Spark SQL, Spark Streaming, библиотеки машинного обучения MLlib и обработки графических данных GraphX.Spark Core и диспетчер кластера распределяют данные по кластеру Spark и абстрагируют их. Такое распределение и абстракция делают обработку больших данных очень быстрой и удобной для пользователя.

API Spark

Spark включает в себя множество интерфейсов прикладного программирования (API), чтобы довести возможности Spark до самой широкой аудитории. Spark SQL позволяет взаимодействовать с данными RDD реляционным способом. Spark также имеет хорошо документированный API для Scala, Java, Python и R. Каждый языковой API в Spark имеет свои специфические нюансы в том, как он обрабатывает данные.RDD, DataFrames и Datasets доступны в API каждого языка. Благодаря API-интерфейсам для такого множества языков Spark делает обработку больших данных доступной для более разнообразных групп людей, имеющих опыт разработки, науки о данных и статистики.

Apache Spark и машинное обучение

Spark имеет различные библиотеки, которые расширяют возможности машинного обучения, искусственного интеллекта (AI) и потоковой обработки.

Apache Spark MLlib

Одна из важнейших возможностей Apache Spark — это возможности машинного обучения, доступные в Spark MLlib.Apache Spark MLlib предоставляет готовое решение для классификации и регрессии, совместной фильтрации, кластеризации, распределенной линейной алгебры, деревьев решений, случайных лесов, деревьев с градиентным усилением, частого анализа шаблонов, показателей оценки и статистики. Возможности MLlib в сочетании с различными типами данных, которые может обрабатывать Spark, делают Apache Spark незаменимым инструментом для работы с большими данными.

Spark GraphX ​​

Помимо возможностей API, в Spark есть Spark GraphX, новое дополнение к Spark, предназначенное для решения проблем с графами.GraphX ​​- это абстракция графов, которая расширяет RDD для графов и вычислений, параллельных графам. Spark GraphX ​​интегрируется с базами данных графов, которые хранят информацию о взаимодействии или паутину информации о подключении, например, в социальной сети.

Spark Streaming

Spark Streaming — это расширение базового API Spark, которое обеспечивает масштабируемую и отказоустойчивую обработку потоков данных в реальном времени. По мере того как Spark Streaming обрабатывает данные, он может доставлять данные в файловые системы, базы данных и интерактивные информационные панели для потоковой аналитики в реальном времени с помощью алгоритмов машинного обучения и обработки графиков Spark.Spark Streaming, основанный на движке Spark SQL, также позволяет выполнять инкрементную пакетную обработку, что приводит к более быстрой обработке потоковых данных.

Spark против Apache Hadoop и MapReduce

«Spark vs. Hadoop» — это термин, который часто ищут в Интернете, но, как отмечалось выше, Spark является скорее усовершенствованием Hadoop — и, в частности, собственного компонента обработки данных Hadoop, MapReduce. Фактически, Spark построен на платформе MapReduce, и сегодня большинство дистрибутивов Hadoop включают Spark.

Подобно Spark, MapReduce позволяет программистам писать приложения, которые быстрее обрабатывают огромные наборы данных, обрабатывая части набора данных параллельно на больших кластерах компьютеров. Но если MapReduce обрабатывает данные на диске, увеличивая время чтения и записи, которое замедляет обработку, Spark выполняет вычисления в памяти , что намного быстрее. В результате Spark может обрабатывать данные до 100 раз быстрее, чем MapReduce.

Spark для нескольких языков делают его более практичным и доступным для разработчиков, чем MapReduce, который имеет репутацию сложного для программирования.В отличие от MapReduce, Spark может запускать приложения потоковой обработки в кластерах Hadoop, используя YARN, структуру управления ресурсами и планирования заданий Hadoop. Как отмечалось выше, Spark добавляет возможности MLlib, GraphX ​​и SparkSQL. И Spark может обрабатывать данные из других источников данных за пределами приложения Hadoop, включая Apache Kafka.

В остальном Spark совместим с Hadoop и дополняет его. Он может обрабатывать данные Hadoop, включая данные из HDFS (распределенная файловая система Hadoop), HBase (нереляционная база данных, работающая на HDFS), Apache Cassandra (альтернатива HDFS NoSQL) и Hive (хранилище данных на основе Hadoop. ).

Apache Spark и IBM Cloud

Spark — это мощный инструмент, который можно добавить к решению для корпоративных данных, чтобы помочь с анализом больших данных или AIOps. Он также хорошо сочетается с существующими решениями IBM для больших данных.

IBM Spectrum Conductor — это многопользовательская платформа для развертывания и управления Apache Spark других инфраструктур приложений в общем совместно используемом кластере ресурсов. Spectrum Conductor предлагает управление рабочими нагрузками, мониторинг, оповещение, отчетность и диагностику и может одновременно запускать несколько текущих и различных версий Spark и других платформ.Пользователи могут легко развертывать и поддерживать Apache Spark со встроенным дистрибутивом Spark.

IBM Watson может быть добавлен к смеси для создания сред искусственного интеллекта, машинного обучения и глубокого обучения. IBM Watson предоставляет непрерывный рабочий процесс, услуги и поддержку, чтобы ваши специалисты по данным могли сосредоточиться на настройке и обучении возможностей искусственного интеллекта в приложении Spark.

IBM Analytics Engine позволяет создать единое решение для расширенной аналитики с Apache Spark и Hadoop.IBM Analytics Engine позволяет пользователям хранить данные на уровне объектного хранилища, таком как IBM Cloud Object Storage, обслуживая только кластеры вычислительных заметок, когда это необходимо, чтобы обеспечить гибкость, масштабируемость и удобство обслуживания платформ аналитики больших данных.

Для начала зарегистрируйтесь в IBMid и создайте свою учетную запись IBM Cloud.

Что такое Spark? | Snowflake

Apache Spark — это система обработки данных в реальном времени с поддержкой различных источников данных и стилей программирования.Он масштабируемый, универсальный и способен выполнять задачи обработки огромных наборов данных, обеспечивая основу для машинного обучения больших данных и искусственного интеллекта.

Компоненты Spark

Экосистема Spark включает комбинацию проприетарных продуктов Spark и различных библиотек, которые поддерживают SQL, Python, Java и другие языки, что позволяет интегрировать Spark с несколькими рабочими процессами.

1. Apache Spark Core API

Базовый механизм выполнения для платформы Spark.Он обеспечивает вычисления в памяти и ссылки на наборы данных во внешних системах хранения.

2. Spark SQL

Интерфейс для обработки структурированных и полуструктурированных данных. Он обеспечивает эффективные запросы к базам данных и дает пользователям возможность импортировать реляционные данные, выполнять запросы SQL и быстро масштабироваться, максимально расширяя возможности Spark по обработке и аналитике данных и оптимизируя производительность.

3. Spark Streaming

Это позволяет Spark обрабатывать потоковые данные в реальном времени, полученные из различных источников, таких как Kafka, Flume и Hadoop Distributed File System (HDFS), и передавать их в файловые системы и базы данных. , и живые информационные панели.

4. MLlib

Набор алгоритмов машинного обучения (ML) для классификации, регрессии, кластеризации и совместной фильтрации. Он также включает другие инструменты для создания, оценки и настройки конвейеров машинного обучения.

5. GraphX ​​

Библиотека для управления базами данных графов и выполнения вычислений, объединяющая процессы извлечения, преобразования и загрузки (ETL), исследовательский анализ и итерационные вычисления графов.

6. SparkR

Ключевым элементом SparkR являются SparkR DataFrames, структуры данных для обработки данных в R, которые распространяются на другие языки с помощью таких библиотек, как Pandas.

Spark распределяет данные по кластерам хранения и обрабатывает данные одновременно. Spark использует архитектуру главный / агент, а драйвер взаимодействует с исполнителями. Отношения между драйвером (мастером) и исполнителями (агентами) определяют функциональность.Spark можно использовать для пакетной обработки и обработки в реальном времени.

Spark — универсальный, масштабируемый и быстрый продукт, позволяющий максимально эффективно использовать большие данные и существующие платформы данных.

Быстрая обработка

Spark основан на концепции устойчивого распределенного набора данных (RDD), набора элементов, которые не зависят друг от друга и с которыми можно работать параллельно, что экономит время на чтение и запись операции.

Гибкость

Код Spark может быть написан на Java, Python, R и Scala.

Вычисления в памяти

Spark хранит данные в ОЗУ, обеспечивая быстрый доступ и увеличивая скорость аналитики.

Обработка в реальном времени

Spark может обрабатывать потоковые данные в реальном времени, обеспечивая мгновенный вывод.

Улучшенная аналитика

Spark поставляется с набором SQL-запросов, алгоритмами машинного обучения и другими аналитическими функциями.

Унифицированные рабочие процессы

Spark может объединять несколько функций и процессов данных в единой структуре, выполняя многочисленные операции последовательно и как часть интегрированного конвейера данных.

Используется для Spark

• Обработка потоков для обработки данных, поступающих как часть одновременных потоков из нескольких источников.

• Машинное обучение, быстрое выполнение, повторяющиеся запросы к данным, хранящимся в памяти, для обучения алгоритмов.

• Интерактивная аналитика, быстрое получение результатов на вопросы.

• Интеграция данных, консолидация процессов ETL для сокращения затрат и времени.

Искры и снежинки

Snowflake предназначена для подключения к Spark.