Подробнее
Веб-сайт Digex Co. использует сервисы Google Analytics и Яндекс.Метрика, что позволяет нам выстраивать содержание страниц в соответствии с вашими интересами и запросами, повышая тем самым качество предлагаемого вам контента. Используемые нами файлы cookies позволяют узнавать тех, кто посещает наш сайт повторно. Эти файлы также служат для отслеживания моделей трафика посетителей по сайту, что помогает повышать его удобство.
Подробнее ознакомиться с типами и файлами cookies, которые мы используем можно в нашей политике cookies.
Оставьте заявку
Digex Data Fabric
Ultimate-решение по работе с данными, соединяющее в себе лучшие практики по направлениям: Data Engineering, Data Management, Data Governance, Data Processing, Data Visualization, включая работу с Big Data и Domain Specific Data.
Предпосылки:
Отсутствие аналитики на основе Data Engineering для принятия оперативных управленческих решений и повышения эффективности бизнес-процессов.
Много разных источников и баз данных, которые должны быть синхронизированы между собой в рамках единого массива данных.
Использование популярных систем хранения: MS SQL, Oracle, PostgreSQL, MYSQL, MongoDB и других.
Необходимость настройки процесса хранения и копирования CDC (Change Data Capture)— мониторинга изменений в источниках данных и быстрой поставки изменений во все используемые ИТ-системы.
Введение Data Governance для определения наиболее важных данных для использования сотрудниками, присвоения им прав доступа и управления для отлаженной работы бизнес-процесса, а также защиты данных от внешних воздействий.
Наличие узкоспециализированных массивов данных, хранение и обработка которых невозможна в существующих стандартных системах хранения.
Преобразование данных в события и действия происходит с ошибками, негативно влияющими на валидность информации и ее применение в бизнес-процессах.
Проблемы со сбором данных и подготовкой данных для BI-систем, не позволяющие проводить своевременную аналитику и влиять на производственные бизнес-процессы.
Потребность в использовании Open Source для решения критически важных для бизнеса ИТ-задач.
Отсутствие российских решений в области комплексной работы с данными как барьер, не позволяющий решать задачи импортозамещения.
Предпосылки:
Отсутствие аналитики на основе Data Engineering для принятия оперативных управленческих решений и повышения эффективности бизнес-процессов.
Много разных источников и баз данных, которые должны быть синхронизированы между собой в рамках единого массива данных.
Использование популярных систем хранения: MS SQL, Oracle, PostgreSQL, MYSQL, MongoDB и других.
Необходимость настройки процесса хранения и копирования CDC (Change Data Capture)— мониторинга изменений в источниках данных и быстрой поставки изменений во все используемые ИТ-системы.
Введение Data Governance для определения наиболее важных данных для использования сотрудниками, присвоения им прав доступа и управления для отлаженной работы бизнес-процесса, а также защиты данных от внешних воздействий.
Наличие узкоспециализированных массивов данных, хранение и обработка которых невозможна в существующих стандартных системах хранения.
Преобразование данных в события и действия происходит с ошибками, негативно влияющими на валидность информации и ее применение в бизнес-процессах.
Проблемы со сбором данных и подготовкой данных для BI-систем, не позволяющие проводить своевременную аналитику и влиять на производственные бизнес-процессы.
Потребность в использовании Open Source для решения критически важных для бизнеса ИТ-задач.
Отсутствие российских решений в области комплексной работы с данными как барьер, не позволяющий решать задачи импортозамещения.
Бизнес любой современной организации работает с помощью различных учетных ИТ-систем, оперирующих данными клиентов. Ежедневно постоянные потоки информации используются в жизненно важных бизнес-процессах. Коммерческое преимущество получают те организации, которые умеют работать с этими потоками данных: вычленять полезные метрики, оперативно доставлять изменения информации в разные отделы организации, объединять данные из различных источников, проводить аналитику на основе объективных показателей и оперативно принимать решения.
Система Digex Data Fabric (DDF) от компании Digex Co. в рамках единого интерфейса выполняет полный цикл задач, связанных с базами данных, обработкой массивов информации и потоков данных:
Система Digex Data Fabric (DDF) от компании Digex Co. в рамках единого интерфейса выполняет полный цикл задач, связанных с базами данных, обработкой массивов информации и потоков данных:
- Сбор данных из всех источников: внутренних ИТ-систем, баз данных, хранилищ данных, ИТ-систем партнеров и государственных органов.
- Обеспечение достоверности данных в online-режиме во всей ИТ-инфраструктуре бизнеса.
- Реализация процесса CDC и работа с историей изменений Big Data.
- Синхронизация информации в различном программном обеспечении, базах данных, API, а также дата-центрах в разных локациях.
- Перегрузка данных между базами, хранилищами и ИТ-системами, и своевременное резервное копирование.
- Соблюдение 100% сохранности данных и исключение злоупотреблений.
- Проведение аналитики с помощью BI-отчетов на основе исторических данных, используемых в бизнес-процессах.
Комплексный подход к Big Data
DDF объединяет в себе 5 инструментов, составляющих целостный продукт на базе существующих Open Source-решений, а также собственных разработок Digex Сo. Система выполняет все задачи по направлениям Data Engineering, Data Management, Data Governance, Data Processing, Data Visualization, включая работу с Big Data и Domain Specific Data.
- Дата-коннекторы (Data Connectors) — надстройки, позволяющие ИТ-решению по работе с информацией абстрагироваться от уровня конкретной базы и унифицировать правила работы со всеми базами данных.
- ETL (Extract, Transform, Load) — инструмент для синхронизации информации, объединяющий данные из различных учетных систем и баз данных.
- Data Lake / Data Warehouse (DWH) — система для беспрерывного обеспечения данными бизнес-процессы, объединяющая разрозненные базы данных в единый массив с прописанными правилами работы для каждого конкретного источника информации.
- Data Processing System — инструмент трансформации данных с применением искусственного интеллекта, базовых алгоритмов и машинного обучения, поддерживающий Multi-Thread Mode для обработки данных с бесконечного множества потоков.
- Business Intelligence (BI) на базе Open Source для проведения аналитики на основе объективных показателей и графиков.
Набор инструментов под ключ
Варианты поставки ИТ-решения
Сервер на мощностях заказчика (On-Premise)
Приватное облако
(Private Cloud)
(Private Cloud)
Публичное облако
(Public Cloud)
(Public Cloud)
Гибридное облако
(Hybrid Cloud)
(Hybrid Cloud)
Сервер на мощностях заказчика (On-Premise)
Приватное облако
(Private Cloud)
(Private Cloud)
Публичное облако
(Public Cloud)
(Public Cloud)
Гибридное облако
(Hybrid Cloud)
(Hybrid Cloud)
Мы подготовили набор коннекторов в рамках единого Open Source-инструментария. Они позволяют абстрагироваться от уровня конкретной базы и унифицировать правила работы со всеми базами данных. Коннекторы поддерживают протокол Open Database Connectivity (ODBC) и одновременную работу с 15 самыми популярными системами хранения, включая MS SQL, Oracle, PostgreSQL, MYSQL, MongoDB. Согласно унифицированным правилам с собранными данными взаимодействует ETL-инструментарий, входящий в состав Data Management Fabric.
Простые сценарии поддерживаются Out of the Box, но внедрение и использование расширенных сценариев требует настройки, знаний и дополнительных компонентов. Так же поддерживается работа с Kafka и другими инструментами. Организуется быстрая синхронизация данных, где источником данных выступают любые известные на сегодняшний момент базы.
Простые сценарии поддерживаются Out of the Box, но внедрение и использование расширенных сценариев требует настройки, знаний и дополнительных компонентов. Так же поддерживается работа с Kafka и другими инструментами. Организуется быстрая синхронизация данных, где источником данных выступают любые известные на сегодняшний момент базы.
Универсальные дата-коннекторы на базе Open Source
ETL от Digex Co. позволяет выстраивать схему действий для работы с данными с помощью визуальных инструментов и реализовывать Pipeline. Модуль ETL отвечает за валидность данных во всех источниках. Представлен в виде Low-Code-решения от российских разработчиков с удобным интерфейсом для простого внесения изменений в процесс работы с данными.
Ранее большинство пользователей ETL-решений покупали у вендоров коробочные продукты, которые решали все задачи при своевременной оплате лицензий. Многие иностранные вендоры теперь не предоставляют лицензии официально в РФ. Без официального лицензирования нет технической поддержки. Решение перестает работать при временном характере ключа (SAAS, ключ на временной период). Мы предоставляем прямой аналог зарубежных ETL-инструментов без подобных проблем с лицензированием и Vendor Lock.
Ранее большинство пользователей ETL-решений покупали у вендоров коробочные продукты, которые решали все задачи при своевременной оплате лицензий. Многие иностранные вендоры теперь не предоставляют лицензии официально в РФ. Без официального лицензирования нет технической поддержки. Решение перестает работать при временном характере ключа (SAAS, ключ на временной период). Мы предоставляем прямой аналог зарубежных ETL-инструментов без подобных проблем с лицензированием и Vendor Lock.
ETL-решение без Vendor Lock
Data Warehouse представляет собой хранилище разных данных, которые уже отсортированы и преобразованы. Этот подход позволяет легче и быстрее использоваться данными для принятия решений. В отличие от Data Warehouse, озеро данных Data Lake хранит разрозненные данные для аналитики и нуждается в доработке при добавлении новых показателей. В своих проектах Digex Co. совмещает использование хранилища и озера данных. Хранилище эффективно при составлении строгой отчетности (финансовой, управленческой и др.), а озеро данных — при исследованиях.
Data Warehouse позволяет работать с узкоспециализированной информацией, хранение и обработка которой невозможна в существующих стандартных системах. Хранилище может предоставлять агрегированные данные в определенном тематическом и временном разрезе и виде так называемой витрины данных. Витрина данных может использоваться департаментов по развитию бизнеса в компании для разработки стратегии продаж и маркетинга, и анализа аудитории. Производственные отделы используют инструментарий при анализе производительности и для улучшения процесса производства.
Data Warehouse позволяет работать с узкоспециализированной информацией, хранение и обработка которой невозможна в существующих стандартных системах. Хранилище может предоставлять агрегированные данные в определенном тематическом и временном разрезе и виде так называемой витрины данных. Витрина данных может использоваться департаментов по развитию бизнеса в компании для разработки стратегии продаж и маркетинга, и анализа аудитории. Производственные отделы используют инструментарий при анализе производительности и для улучшения процесса производства.
Надежные хранилища Data Lake и Data Warehouse
Модуль Data Processing собирает и преобразует данные с использованием наукоемких алгоритмов и преобразует их в пригодную и полезную для бизнеса информацию. Необработанные данные изменяются в более удобные форматы (графики, документы и т. д.), приобретая форму и контекст, необходимые для интерпретации и использования сотрудниками в рамках текущих процессов организации.
Сначала данные извлекаются из доступных источников, включая озера данных и хранилища данных (Data Lake / Data Warehouse). После сбора данных они переходят очистке и проверке на наличие ошибок. Устраняются и исправляются неверные, избыточные и неполные данные. Очищенная валидная информация вводится в место назначения (учетную ИТ-систему, хранилище данных и т. д.) и переводятся на понятный язык.
На каждом этапе работы модуля Data Processing обработка данных выполняется с помощью высокопроизводительных вычислений (HPC). Система поддерживает Multi-Thread Mode для обработки данных с бесконечного множества потоков. Разработанное Digex Co. решение использует искусственный интеллект и алгоритмы машинного обучения (AI / ML), применяя популярные machine learning-методы: OpenCV, TensorFlow и другие.
Сначала данные извлекаются из доступных источников, включая озера данных и хранилища данных (Data Lake / Data Warehouse). После сбора данных они переходят очистке и проверке на наличие ошибок. Устраняются и исправляются неверные, избыточные и неполные данные. Очищенная валидная информация вводится в место назначения (учетную ИТ-систему, хранилище данных и т. д.) и переводятся на понятный язык.
На каждом этапе работы модуля Data Processing обработка данных выполняется с помощью высокопроизводительных вычислений (HPC). Система поддерживает Multi-Thread Mode для обработки данных с бесконечного множества потоков. Разработанное Digex Co. решение использует искусственный интеллект и алгоритмы машинного обучения (AI / ML), применяя популярные machine learning-методы: OpenCV, TensorFlow и другие.
Высокопроизводительный Data Processing на базе AI / ML
Business Intelligence (BI) использует полученные данные для анализа показателей бизнеса. При помощи удобных графиков и диаграмм можно создавать контрольные показатели производительности, определять рыночные тенденции, повышать соответствие требованиям и улучшать практически все аспекты работы организации.
Digex Co. применяет в своих проектах собственную разработку класса BI на базе Open Source. Это решение популярно в проектах для крупных корпораций и решает задачи по импортозамещению. Наши инженеры имеют большой опыт по безболезненной миграции с известных иностранных ИТ-продуктов от других вендоров: Tableau, Microsoft Power BI, QlikView, TIBCO Spotfire и др. Сохранение целостности данных и удобство пользователей — первые приоритеты в реализации отечественных BI-решений.
Digex Co. применяет в своих проектах собственную разработку класса BI на базе Open Source. Это решение популярно в проектах для крупных корпораций и решает задачи по импортозамещению. Наши инженеры имеют большой опыт по безболезненной миграции с известных иностранных ИТ-продуктов от других вендоров: Tableau, Microsoft Power BI, QlikView, TIBCO Spotfire и др. Сохранение целостности данных и удобство пользователей — первые приоритеты в реализации отечественных BI-решений.
Визуализация данных для оперативного управления
Примеры отраслевого применения
Банки и финансы
- Систематизация данных о партнерах банка для оптимизации рутинных процессов, ускорения получения информации от партнеров и устранения ошибок в коммуникации с клиентами.
- Ведение черных списков клиентов с целью минимизации рисков и противодействия мошенничеству клиентов, автоматизации работы с проблемными клиентами и неплательщиками.
- Единое хранилище для миграции данных в новые приложения, обмена информацией с контрагентами и управления информационными активами банка.
Медицина и фармацевтика
- Замена иностранных систем резервного копирования CDC для хранения и, мониторинга изменения данных: Keboola, Oracle GoldenGate, Qlik Replicate, IBM InfoSphere, Change Data Capture, Fivetran (HVR), Hevo Data, Talend.
- Система интеграции с роботизированным медицинским оборудованием для поддержания полного процесса разработки лекарств или проведения лабораторных исследований.
- Хранение и обработка специализированных медицинских данных для применения в ИТ-системах защищенных приватных областей больниц и клиник, поддерживающих отраслевое нормативные требования (GDPR, HIPAA).
Госсектор
- Ускорение и повышение качества государственных сервисов путем синхронизации и мониторинга данных о гражданах: ГосУслуги, МосУслуги, ЕМИАС, и др.
- Безопасный сбор и оперативная доставка данных о финансовых транзакциях граждан, получаемых от государственных служб и департаментов: информация о штрафах ГИБДД, получения пособий, уплате акцизов и пошлин, а также налоговых и иных сборов.
- Предупреждение террористической деятельности при помощи сбора публичных данных о гражданах и мониторинга публикаций в сети Интернет.
Ритейл и электронная коммерция
- Прогнозирование коммерческих процессов в BI-системе и обеспечение бесшовной автоматизации операционной деятельности на торговых предприятиях с помощью Big Data и синхронизации с существующими CRM.
- Оптимизация логистики с помощью математических моделей, построенных на основе массивов исторических данных логистических служб и прогноза спроса на товары или услуги.
- Подготовка данных для создания чат-бота на основе Telegram или WhatsApp, с синхронизацией клиентских данных из ИТ-систем для эффективной коммуникации с покупателями.
Телекоммуникации
- Унификация бизнес-процессов и проведение бизнес-анализа на основе валидных показателей эффективности путем синхронизации массивов данных разных бизнес-направлений внутри одной телекоммуникационной корпорации.
- Рост качества клиентского сервиса и дополнительных продаж смежных услуг при проведении маркетинговой коммуникации и персонифицированных рекламных кампаний.
- Эффективность процессов ТОиР благодаря преддиктивному анализу на основе массивов данных о функционировании многочисленного телекоммуникационного оборудования.
Банки и финансы
- Систематизация данных о партнерах банка для оптимизации рутинных процессов, ускорения получения информации от партнеров и устранения ошибок в коммуникации с клиентами.
- Ведение черных списков клиентов с целью минимизации рисков и противодействия мошенничеству клиентов, автоматизации работы с проблемными клиентами и неплательщиками.
- Единое хранилище для миграции данных в новые приложения, обмена информацией с контрагентами и управления информационными активами банка.
Медицина и фармацевтика
- Замена иностранных систем резервного копирования CDC для хранения и, мониторинга изменения данных: Keboola, Oracle GoldenGate, Qlik Replicate, IBM InfoSphere, Change Data Capture, Fivetran (HVR), Hevo Data, Talend.
- Система интеграции с роботизированным медицинским оборудованием для поддержания полного процесса разработки лекарств или проведения лабораторных исследований.
- Хранение и обработка специализированных медицинских данных для применения в ИТ-системах защищенных приватных областей больниц и клиник, поддерживающих отраслевое нормативные требования (GDPR, HIPAA).
Госсектор
- Ускорение и повышение качества государственных сервисов путем синхронизации и мониторинга данных о гражданах: ГосУслуги, МосУслуги, ЕМИАС, и др.
- Безопасный сбор и оперативная доставка данных о финансовых транзакциях граждан, получаемых от государственных служб и департаментов: информация о штрафах ГИБДД, получения пособий, уплате акцизов и пошлин, а также налоговых и иных сборов.
- Предупреждение террористической деятельности при помощи сбора публичных данных о гражданах и мониторинга публикаций в сети Интернет.
Ритейл и электронная коммерция
- Прогнозирование коммерческих процессов в BI-системе и обеспечение бесшовной автоматизации операционной деятельности на торговых предприятиях с помощью Big Data и синхронизации с существующими CRM.
- Оптимизация логистики с помощью математических моделей, построенных на основе массивов исторических данных логистических служб и прогноза спроса на товары или услуги.
- Подготовка данных для создания чат-бота на основе Telegram или WhatsApp, с синхронизацией клиентских данных из ИТ-систем для эффективной коммуникации с покупателями.
Телекоммуникации
- Унификация бизнес-процессов и проведение бизнес-анализа на основе валидных показателей эффективности путем синхронизации массивов данных разных бизнес-направлений внутри одной телекоммуникационной корпорации.
- Рост качества клиентского сервиса и дополнительных продаж смежных услуг при проведении маркетинговой коммуникации и персонифицированных рекламных кампаний.
- Эффективность процессов ТОиР благодаря преддиктивному анализу на основе массивов данных о функционировании многочисленного телекоммуникационного оборудования.