Новые информационные технологии и инструменты анализа данных в энергетике - Энергетика и промышленность России - № 01-02 (261-262) январь 2015 года - WWW.EPRUSSIA.RU - информационный портал энергетика
16+
Регистрация
РУС ENG
Расширенный поиск
http://www.eprussia.ru/epr/261/16662.htm
Газета "Энергетика и промышленность России" | № 01-02 (261-262) январь 2015 года

Новые информационные технологии и инструменты анализа данных в энергетике

Информационные технологии Дмитрий ГОЛУБЕВ, руководитель группы систем бизнес-анализа ЗАО «Эр-Стайл»

В электроэнергетике значительным образом повышается потребность в получении знаний из накопившихся архивов данных. По мнению экспертов, ключевым драйвером этих инициатив будут технологии Big Data.

Для организации эффективного производства необходимо, в первую очередь, решить задачу централизованного сбора и представления информации в масштабах всего предприятия. Актуальна задача анализа технологических показателей работы электростанций и текущего состояния оборудования.

Полученные аналитической системой знания позволяют управлять рисками по остановке оборудования, прогнозировать создание и потребление электроэнергии.

Предприятия располагают значительным количеством оперативной информации, которая собирается из различных источников (автоматизированные системы управления технологическим процессом, ERP-системы, системы управления производством и пр.), а также из систем построения отчетности, прогнозных и имитационных моделей и систем оценки ключевых показателей на основе единого и непротиворечивого источника данных (хранилище данных). Кроме того, за многие годы эксплуатации системы АСУТП накопили большое количество разнородной технологической информации, критически важной для управления производственными процессами.

Все эти данные вместе представляют собой базу для аналитической системы для решения задач эффективности использования оборудования, расчета ключевых показателей производительности, определения узких производственных мест и др.

Оптимизация управления производством в реальном времени невозможна без анализа предыдущих событий и статистики производственных процессов, которые позволяют быстро определять, что произошло на предыдущем цикле производства. Оперативные данные могут дать весьма ценную информацию и повлиять на качество процесса в целом. Как правило, для осуществления анализа данных необходимо несколько производственных циклов, чтобы можно было судить об оптимальности тех или иных параметров.

На крупных предприятиях проблема производительности системы решается путем покупки дорогостоящих систем централизованного архивирования данных, поступающих от различных SCADA-систем, работающих на предприятии, в основном на платформе Oracle. Функциональные возможности и производительность таких систем практически безграничны, однако стоимость данных систем оказывается чересчур высокой, кроме того, требует установки выделенных серверов.

Ведущим решением по хранению данных является технология Hadoop. В режиме реального времени технология анализирует накопленные и оперативные данные, а также данные из социальных сетей, интернета, архивов и т. д. Hadoop сокращает время на обработку и подготовку данных для аналитических систем, а также расширяет возможности по анализу, позволяя оперировать новой информацией, слабоструктурированными и неструктурированными данными.

Система обеспечивает следующие преимущества:

• снижается время на обработку данных на кластере;

• снижается стоимость оборудования в десятки раз;

• повышается отказоустойчивость – при выходе из строя одного или нескольких узлов кластера система продолжает работать;

• обеспечивается линейная масштабируемость за счет добавления новых узлов кластера;

• обеспечивается работа с неструктурированными данными.

Технология Hadoop представляет собой программный framework, позволяющий хранить и обрабатывать данные с помощью компьютерных кластеров, используя парадигму MapReduce. Данный подход позволяет построить высокопроизводительный кластер на базе low-end или middle-end серверов, что обеспечивает существенно более низкую стоимость решения по сравнению с одним высокопроизводительным сервером.

В основе технологии лежит распределенная файловая система HDFS (Hadoop Distributed File System), которая обеспечивает хранение данных Hadoop сразу на нескольких узлах кластера. Таким образом, если один или несколько узлов кластера выходят из строя, то риск потери информации сводится к минимуму и кластер продолжает работу в штатном режиме.

Вторым важным элементом Hadoop является MapReduce – framework для вычисления распределенных задач. В соответствии с подходом MapReduce обработка данных состоит из двух шагов: Map и Reduce. На шаге Map выполняется предварительная обработка данных, которая осуществляется параллельно на различных узлах кластера. На шаге Reduce происходит сведение предварительно обработанных данных в единый результат.



Пример использования новых технологий

Примером реализации служит проект компании ЗАО «Эр-Стайл» для одной энергетической компании.

Перед компанией была поставлена задача централизованно собрать аварийные и исторические данные от электрических подстанций, интегрировать данные между собой. На основании интегрированной информации разработать аналитические приложения, решающие следующие задачи:

• мониторинг состояния, учет использования и планирование обслуживания технологического оборудования;

• мониторинг параметров, влияющих на работу подстанций;

• расчет ключевых показателей производительности компании, анализ причин расхождения плановых и фактических показателей;

• измерение, обработка, вычисление и мониторинг технологических параметров и показателей состояния оборудования; оперативное реагирование на отклонения от установленных норм;

• отображение оперативных значений технологических параметров, состояния исполнительных механизмов и показателей состояния оборудования в виде технологических мнемосхем, текстовых сообщений, таблиц, трендов и диаграмм;

• регистрация наиболее важных технологических параметров;

• моделирование, оптимизация, мониторинг и прогнозирование технологических процессов.

Ранее каждая подстанция, состоящая из нескольких распределительных устройств, контролировалась отдельной локальной SCADA-станцией по телефонной линии. Все необходимые данные сохранялись на диске, с которого можно было скачать данные любым способом, в том числе и вручную непосредственно обслуживающим персоналом.

Для модернизации системы было выбрано ПО ARC Informatique, которое позволило передавать основные текущие данные от генераторов и различных подстанций в центр управления, который в свою очередь идентифицирует и диагностирует потенциальные проблемы, а также принимает решение о вмешательстве.

На предприятии внедрена конфигурация из 13 файл-серверов PcVue, которые управляют миллионом переменных в реальном времени. Сеть может быть расширена без ограничений или структурных изменений.

Клиентские станции FrontVue имеют возможность контролировать до 2,5 миллиона точек данных, которые общаются через OPC-протокол со скоростью 1 Гбит / c по резервированным каналам Ethernet TCP / IP. Каждое операторское место может обрабатывать до 60 000 точек ввода / вывода.

Используя архитектуру PcVue-FrontVue, операторы всегда держат ситуацию под контролем и могут выполнить корректирующие действия в нужный момент в случае отклонений в работе. В системе собираются текущие значения, исторические данные, «тревоги» и тренды.

Учитывая огромный объем данных, в качестве подсистемы хранения данных было выбрано ПО ClouderaHadoop, позволяющее хранить структурированные и неструктурированные данные большого объема.

В качестве средства построения аналитических приложений было выбрано PentahoBISuite, которое состоит из нескольких компонентов, обеспечивающих возможность автоматизации следующих функций:

• создание отчетов в форматах (XLS,PDF,TXT,HTML);

• просмотр данных с возможностью выделения информации по различным показателям;

• визуализация основных показателей эффективности посредством интерактивных информационных панелей;

• выявление скрытых закономерностей между переменными в больших массивах необработанных данных;

• сбор данных из различных источников в хранилище данных.

Реализация проекта на выбранных технологиях позволила более чем в три раза увеличить производительность системы и более чем в семь раз уменьшить ее стоимость, а также увеличить ее надежность и масштабируемость без существенных потерь безопасности и других показателей назначения.

Отправить на Email

Для добавления комментария, пожалуйста, авторизуйтесь на сайте

Также читайте в номере № 01-02 (261-262) январь 2015 года:

  • Число работающих нефтяных платформ в США сокращается
    Число работающих нефтяных платформ в США сокращается

    Число работающих нефтяных платформ и вышек по добыче нефти в США на середину января составило 1366 – по сравнению с началом декабря отрасль недосчиталась 209 функционирующих объектов. Только за неделю уменьшение этого показателя составило 55 – такими темпами нефтяная отрасль США еще никогда не сокращалась за все время наблюдения, с 1987 года. Текущая ситуация с ценами на нефть ведет к применению мер экономии: крупнейшая в мире нефтес...

  • Горячий мусор: в Литве бытовые отходы стали топливом для ТЭЦ
    Горячий мусор: в Литве бытовые отходы стали топливом для ТЭЦ

    «Здесь совершенно нет запаха», – первая мысль от ТЭЦ в Клайпеде (Литва) была у меня именно такой. Дело в том, что эта обычная, как называют ее владельцы, станция, использует для производства электро- и теплоэнергии бытовой мусор, поставляемый со всей Литвы и сжигаемый на расположенном рядом заводе. ...

  • Что год грядущий нам готовит: эксперты расходятся во мнениях
    Что год грядущий нам готовит: эксперты расходятся во мнениях

    Что ж, 2015 год уже наступил, и что он принесет всем россиянам, включая жителей Крыма, мы совсем скоро узнаем. Впрочем, кое‑какие события можно предсказать уже сейчас. ...

  • В 2015-й – с олимпийским оптимизмом
    В 2015-й – с олимпийским оптимизмом

    Прошедший год был крайне неоднозначным: начавшись со сверхудачной Олимпиады в Сочи, которую наш президент не без оснований назвал «лучшей в истории», он завершился падением цен на нефть и курса рубля. К чему приведут эти события, покажет время, но для энергетиков 2014 год стал удачным. ...

  • «Российские сети» хотят создать региональные комиссии по расчетам

    ОАО «Россети» предложило создать на местах специальные комиссии по мониторингу состояния расчетов за электроэнергию. ...