Возможности и перспективы применения современных технологий больших данных в ФТС России
Вернуться на страницу статьи
Скачать статью в PDF
Возможности и перспективы применения современных технологий больших данных в ФТС России
Афонин Д.Н.
Санкт-Петербургский имени В.Б. Бобкова филиал Российской таможенной академии
Аннотация:
В статье рассмотрены возможности и перспективы внедрения технологий Data Mesh и Data Fabric в информационную систему Федеральной таможенной службы России. ФТС обрабатывает огромные объемы данных о таможенных декларациях, грузах, участниках ВЭД, платежах и т.д. Интеграция Data Mesh и Data Fabric в информационную систему таможенных органов позволит добиться ускорения доступа к данным, повышения скорости обработки данных, упрощения доступа к данным, уменьшения дублирования данных, улучшения аналитики и отчетности, повышения гибкости и адаптивности, упрощения интеграции и управления метаданными. Информатизация ФТС с использованием технологий Data Mesh и Data Fabric – перспективный путь к созданию современной, эффективной и гибкой таможенной службы.
Ключевые слова:
Федеральная таможенная служба России, информационные системы, Data Mesh, Data Fabric, большие данные
Abstract:
The article discusses the possibilities and prospects of introducing Data Meshes and Data Fabric technologies into the information system of the Federal Customs Service of Russia. The FCS processes huge amounts of data on customs declarations, cargoes, participants in foreign economic activity, payments, etc. The integration of Data Mesh and Data Fabric into the customs information system will accelerate data access, increase data processing speed, simplify data access, reduce data duplication, improve analytics and reporting, increase flexibility and adaptability, simplify integration and metadata management. Informatization of the Federal Customs Service using Data Mesh and Data Fabric technologies is a promising way to create a modern, efficient and flexible customs service.
Keywords:
Federal Customs Service of Russia, information systems, Data Mesh, Data Fabric, big data.
В настоящее время ФТС обрабатывает огромные объемы данных о таможенных декларациях, грузах, участниках ВЭД, платежах и т.д. Эти данные разнородны, поступают из различных источников и требуют сложной обработки [2]. Многие из существующих информационных систем ФТС были разработаны давно и не всегда эффективно справляются с современными объемами и требованиями [3]. Данные часто хранятся в изолированных системах, что затрудняет их анализ и использование для принятия управленческих решений [4]. ФТС должна быстро адаптироваться к изменениям в законодательстве, торговых потоках и технологиях.
Для решения указанных проблем требуется глобальная модернизация информационной системы таможенных органов России на основе технологий Data Mesh и Data Fabric.
Data Mesh – концепция децентрализованного подхода к управлению данными, которая предполагает следующие принципы [5]:
– Доменный подход: Данные рассматриваются в контексте бизнес-доменов (например, «Декларирование», «Тарифное регулирование», «Платежи»), каждый из которых отвечает за свои данные и их качество.
– Самостоятельность доменов: Доменные команды имеют полномочия на управление своими данными, включая их хранение, обработку и предоставление;
– Данные как продукт: Данные рассматриваются как продукты, которые должны быть удобными, доступными и полезными для потребителей (других доменов и внешних пользователей);
– Федеративная модель управления данными: Общие стандарты и правила, обеспечивающие взаимодействие между доменами.
Data Fabric – концепция, позволяющая создать единую, интегрированную среду для управления данными, охватывающую различные типы данных, форматы, источники и места хранения [6]. Data Fabric обеспечивает:
– Связанность данных путем объединения разрозненных данных в единую логическую структуру;
– Гибкость и масштабируемость путем адаптации к изменениям в инфраструктуре и потребностях организации;
– Предоставление пользователям инструментов для самостоятельного доступа, анализа и использования данных;
– Обеспечение защиты данных и соблюдение регулятивных требований;
– Управление метаданными с целью отслеживания происхождения, качества и использования данных.
При интеграции данных концепций в информационную систему таможенных органов возможны следующие перспективы их взаимодействия между собой:
- Технологии больших данных предоставляют технологическую платформу для хранения, обработки и анализа огромных объемов данных, которые генерируются в таможенной сфере.
- Технология Data Mesh задает организационный и управленческий подход, разбивая данные на домены, каждый из которых ответственен за свои данные.
- Технология Data Fabric обеспечивает инфраструктуру и инструменты для объединения этих разрозненных данных, создавая единую среду для доступа и использования, независимо от их местонахождения или формата.
Схема работы обновленной информационной системы таможенных органов представляется следующим образом:
Data Mesh определяет границы ответственности за данные: Каждый домен (например, «Декларирование», «Тарифное регулирование») отвечает за свои данные, их качество и доступность. Данные из различных доменов, которые могут быть структурированными, неструктурированными и полуструктурированными, обрабатываются с помощью технологий Big Data. Data Fabric обеспечивает доступ и интеграцию, подключаясь к различным источникам данных (включая доменные хранилища, системы больших данных и внешние источники) и предоставляет пользователям (сотрудникам ФТС, участникам ВЭД, аналитикам) унифицированный доступ к ним.
Применение указанных технологий позволит добиться следующих результатов:
- Ускорение доступа к данным: Data Fabric обеспечивает быстрый и легкий доступ к данным, независимо от их местонахождения.
- Повышение скорости обработки данных за счет децентрализации и возможности параллельной работы доменных команд.
- Упрощение доступа к данным за счет их стандартизации и каталогизации.
- Уменьшение дублирования данных: Объединение данных в единую логическую структуру помогает избежать дублирования и несоответствий.
- Улучшение аналитики и отчетности: Data Fabric позволяет проводить более глубокий анализ данных и формировать более качественную отчетность.
- Повышение гибкости и адаптивности: Data Fabric позволяет быстро реагировать на изменения в законодательстве, технологиях и бизнес-процессах.
- Упрощение интеграции: Data Fabric упрощает интеграцию с внешними системами и данными (например, данные других государственных органов).
- Управление метаданными: Data Fabric позволяет отслеживать происхождение, качество и использование данных, обеспечивая их достоверность и надежность.
- Обеспечение более эффективного анализа данных за счет формирования более полной и структурированной информации.
Таким образом, информатизация ФТС с использованием технологий Data Mesh и Data Fabric – это перспективный путь к созданию современной, эффективной и гибкой таможенной службы. В конечном итоге, это приведет к укреплению экономической безопасности и развитию внешней торговли России.
Список литературы
- Афонин Д.Н. Современные тенденции информатизации таможенной службы // Бюллетень инновационных технологий. – 2024. – Т. 8. – № 4 (32). – С. 5-9.
- Афонин Д.Н. Цифровые технологии в системе прослеживаемости товаров при таможенном контроле // Цифровые технологии и право: Сборник научных трудов I Международной научно-практической конференции. Казань, 23 сентября 2022 года. Том 1. – Казань: Издательство «Познание», 2022. – С. 30-34.
- Мантусов В.Б., Афонин Д.Н., Афонин П.Н., Данько Д.Ю. Цифровой фактический контроль: тренд современности. – Санкт-Петербург: Российская таможенная академия, 2019. – 200 с.
- Афонин Д.Н. Возможности, перспективы и проблемы виртуализации в Федеральной таможенной службе России // Бюллетень инновационных технологий. – 2020. – Т. 4, № 2(14). – С. 52-55.
- Dehghani Z. Data Mesh: Delivering Data Driven Value at Scale // O’Reilly Media, 2022. 387 p.
- Liu K., Yang M., Li X., Zhang K. et al. M-data-fabric: a data fabric system based on metadata // 5th International Conference on Big Data and Artificial Intelligence, Fuzhou. 2022. 57-62.
Вернуться на страницу статьи
Скачать статью в PDF
Ссылка для цитирования:
Афонин Д.Н. Возможности и перспективы применения современных технологий больших данных в ФТС России // Бюллетень инновационных технологий. – 2025. – Т. 9. – № 1 (33). – С. 5-7. – EDN BSAAWP.