Справочник от Автор24
Найди эксперта для помощи в учебе
Найти эксперта
+2

Распределенная обработка данных (distributed data processing)

Предмет Базы данных
👍 Проверено Автор24

обработка данных, при которой выполнение операций распределено по узлам вычислительной сети.

Научные статьи на тему «Распределенная обработка данных (distributed data processing)»

ИСПОЛЬЗОВАНИЕ РАСПРЕДЕЛЕННЫХ СУБД ДЛЯ ОБРАБОТКИ ПРОСТРАНСТВЕННЫХ ДАННЫХ

В настоящий момент объемы данных увеличиваются в геометрической прогрессии. Геопространственные данные являются одним из основных элементов концепции больших данных. Существует очень большое количество инструментов для анализа больших данных, но далеко не все они учитывают особенности и обладают возможностями обрабатывать геопространственные данные. В статье рассматриваются три платформы с открытым исходным кодом, такие как Hadoop Spatial, GeoSpark, GeoFlink для работы c геопространственными данными очень больших объемов. Рассмотрены их архитектура, достоинства и недостатки, зависимость от времени выполнения и объема использованных данных. Также выполнена оценка обработки с точки зрения, как потоковых, так и пакетных данных. Эксперименты выполнялись на наборах растровых и векторных данных, представляющих собой спутниковые снимки в видимом диапазоне, индексы NDVI и NDWI, климатические показатели (снежный покров, интенсивность осадков, температура поверхности), данные из Open Street M...

Научный журнал

Применение концепции активных хранилищ в задачах обработки данных сейсмических наблюдений

Предложен подход для организации распределенной обработки сейсмических данных на базе свободно распространяемого пакета Seismic Un*x и системы активного хранения данных с использованием TSim и ФС Lustre. В работе рассмотрены ключевые проблемы обработки сейсмических данных, и для каждой предложено и обосновано использование соответствующего инструмента из арсенала системы активного хранения данных. Обработка данных непосредственно на узлах хранения позволяет продемонстрировать значительную эффективность за счет минимизации количества дорогостоящих операций передачи данных по сети. Проведено исследование производительности разработанного программного прототипа по обработке сейсмических данных в системе активного хранения для оценки перспектив полноценной интеграции.

Научный журнал

Еще термины по предмету «Базы данных»

Ассоциативные правила

метод обучения без учителя, обнаруживающий ассоциации среди элементов данных, например товары, которые часто покупают вместе; есть три типичные ассоциативные метрики: поддержка {X} показывает, как часто появляется X; достоверность {X->Y} показывает, как часто Y появляется в присутствии X; лифт {X->Y} показывает то, как часто X и Y появляются вместе, в сравнении с тем, как часто они появляются по отдельности.

🌟 Рекомендуем тебе

Горизонтальное масштабирование (horizontal scaling)

формирование единого логического целого путем соединения нескольких аппаратно-программных комплексов; примером горизонтального масштабирования является повышение производительности распределенной обработки данных путем добавления узлов в кластере с целью подключения (привлечения) дополнительных ресурсов; горизонтальное масштабирование для увеличения производительности также называется масштабированием вширь (scale-out).

🌟 Рекомендуем тебе
Смотреть больше терминов

Повышай знания с онлайн-тренажером от Автор24!

  1. Напиши термин
  2. Выбери определение из предложенных или загрузи свое
  3. Тренажер от Автор24 поможет тебе выучить термины с помощью удобных и приятных карточек
Все самое важное и интересное в Telegram

Все сервисы Справочника в твоем телефоне! Просто напиши Боту, что ты ищешь и он быстро найдет нужную статью, лекцию или пособие для тебя!

Перейти в Telegram Bot
AI Assistant