Справочник от Автор24
Найди эксперта для помощи в учебе
Найти эксперта
+2

Распределенная обработка данных (distributed data processing)

Предмет Базы данных
👍 Проверено Автор24

обработка данных, при которой выполнение операций распределено по узлам вычислительной сети.

Научные статьи на тему «Распределенная обработка данных (distributed data processing)»

ИСПОЛЬЗОВАНИЕ РАСПРЕДЕЛЕННЫХ СУБД ДЛЯ ОБРАБОТКИ ПРОСТРАНСТВЕННЫХ ДАННЫХ

В настоящий момент объемы данных увеличиваются в геометрической прогрессии. Геопространственные данные являются одним из основных элементов концепции больших данных. Существует очень большое количество инструментов для анализа больших данных, но далеко не все они учитывают особенности и обладают возможностями обрабатывать геопространственные данные. В статье рассматриваются три платформы с открытым исходным кодом, такие как Hadoop Spatial, GeoSpark, GeoFlink для работы c геопространственными данными очень больших объемов. Рассмотрены их архитектура, достоинства и недостатки, зависимость от времени выполнения и объема использованных данных. Также выполнена оценка обработки с точки зрения, как потоковых, так и пакетных данных. Эксперименты выполнялись на наборах растровых и векторных данных, представляющих собой спутниковые снимки в видимом диапазоне, индексы NDVI и NDWI, климатические показатели (снежный покров, интенсивность осадков, температура поверхности), данные из Open Street M...

Научный журнал

Применение концепции активных хранилищ в задачах обработки данных сейсмических наблюдений

Предложен подход для организации распределенной обработки сейсмических данных на базе свободно распространяемого пакета Seismic Un*x и системы активного хранения данных с использованием TSim и ФС Lustre. В работе рассмотрены ключевые проблемы обработки сейсмических данных, и для каждой предложено и обосновано использование соответствующего инструмента из арсенала системы активного хранения данных. Обработка данных непосредственно на узлах хранения позволяет продемонстрировать значительную эффективность за счет минимизации количества дорогостоящих операций передачи данных по сети. Проведено исследование производительности разработанного программного прототипа по обработке сейсмических данных в системе активного хранения для оценки перспектив полноценной интеграции.

Научный журнал

Еще термины по предмету «Базы данных»

Аналитика данных (data analytics)

составное понятие, охватывающее получение, сбор, проверку и обработку данных , включая их количественную оценку, визуализацию и интерпретацию; аналитика данных используется для представления объектов, описываемых данными, с целью прогнозирования конкретных ситуаций и формирования пошаговых рекомендаций при решении задач; закономерности, полученные посредством аналитики, используются в различных целях, таких как принятие решений, проведение исследований, обеспечение устойчивого развития, проектирование, планирование и т.д.

🌟 Рекомендуем тебе

Внешний ключ

одно или несколько полей в таблице, которые соответствуют первичному ключу другой таблицы.

🌟 Рекомендуем тебе

Внешняя память

память, данные в которой доступны центральному процессору посредством операции ввода-вывода.

🌟 Рекомендуем тебе
Смотреть больше терминов

Повышай знания с онлайн-тренажером от Автор24!

  1. Напиши термин
  2. Выбери определение из предложенных или загрузи свое
  3. Тренажер от Автор24 поможет тебе выучить термины с помощью удобных и приятных карточек
Все самое важное и интересное в Telegram

Все сервисы Справочника в твоем телефоне! Просто напиши Боту, что ты ищешь и он быстро найдет нужную статью, лекцию или пособие для тебя!

Перейти в Telegram Bot