ПРИМЕНЕНИЕ BIG DATA ДЛЯ ОБРАБОТКИ ПРОЦЕССОВ ХРАНЕНИЯ ДАННЫХ ЛОГИСТИЧЕСКОЙ КОМПАНИИ В ЭЛЕКТРОННОЙ КОММЕРЦИИ

ПРИМЕНЕНИЕ BIG DATA ДЛЯ ОБРАБОТКИ ПРОЦЕССОВ ХРАНЕНИЯ ДАННЫХ ЛОГИСТИЧЕСКОЙ КОМПАНИИ В ЭЛЕКТРОННОЙ КОММЕРЦИИ

Касымова Айжан Бахытжановна

PhD, ассоциированный профессор кафедры Информационные Системы, Международный Университет Информационных Технологий,

Республика Казахстан, г. Алматы

Ержанов Мади Канатович

магистрант Международного Университета Информационных Технологий,

Республика Казахстан, г. Алматы

Дүнбаева Маржан Тұрқызы

магистрант Международного Университета Информационных Технологий,

Республика Казахстан, г. Алматы

Жылкышиева Айгерим Мухтаркызы

магистрант Международного Университета Информационных Технологий,

Республика Казахстан, г. Алматы

В современном мире любое крупное предприятие не может обойтись без базы данных, не исключением является и логистическая компания. Прежде всего следует ввести понятие базы данных. База данных – это определенная форма представления объектов, а также организация совокупности данных, таких как расчеты, информация о сотрудниках, клиентах, товаров, статей, различных актов и различной иной информации [1]. В итоге, систематизацией вышеуказанных материалов и их обработкой через различного рода программ проводится с помощью базы данных.

Наиболее сложным и трудоемким процессом вывода предметной области во внутреннюю модель предоставляет проектирование баз данных. В данном процессе проводится анализ на возможность вывода определенных объектов, а также разработка модели разных уровней архитектуры баз данных.

Изначально, единственной целью создания баз данных являлось применение полученной информации для её дальнейшей систематизации. База данных является неким набором определенной информации, которую систематизируют, обновляют, дополняют новыми данными и хранят на постоянной основе. [1]

Для анализа необходим отдельный вид базы данных поэтому нужно рассматривать предложения и лучшие практики для компании и найти компромисс в дальнейшем, для повышения производительности.

Самыми важными критериями, которые необходимо брать в учёт при работе с огромным количеством товаров и клиентов являются: количество и тип анализируемых данных, скорость обработки информации и фокус инженерной команды. [2]

Прежде всего крайне необходимо подумать о данных, которые нужно проанализировать. Хорошо ли эти данные вписываются в строки и столбцы в качестве большой таблицы Excel? Или все же лучше будет поместить их в документ Word? В случае если выбор пал на Excel, то наиболее подходящим выбором будет реляционная база данных как MySQL, BigQuery, Postgres или Amazon Redshift. Эти перечисленные структурированные реляционные базы данных прекрасно подойдут, в случае если известно какие данные необходимо получать и каким образом они связываются между собой, в большинстве, как связаны столбцы и строки. Во многих случаях анализа реляционные базы данных функционируют отлично. В реляционных баз данных признаки в виде: электронных писем, имен, план выставления счетов отлично встраиваются в таблицу в качестве пользовательских событий и их свойств. [2]

Помимо структурированных реляционных баз данных популярностью пользуются и нереляционные базы данных (NoSQL), такие как: Hadoop, Mongo. Они используются в том случае, если данные лучше размещаются на листе бумаги. [3]

Главным отличием нереляционных баз данных является чрезмерно большое количество частных значений (их количество может достигать до миллионов) полуструктурированных данных. Основными примерами таких данных являются тексты, такие как книги, электронная почта, географические данные и аудиовизуальные данные. При обработке огромного объема таких данных, изображений и языковых сред желательно использовать нереляционные базы данных. [4]

Наиболее подходящей базой данных для хранения данных в электронной коммерции является нереляционная база данных, так как будут использоваться такие данные как сканер штрих-кодов, весы и т. д. В качестве нереляционной базы данных будет использована MongoDB. Преимуществами данной базы данных является отсутствие схемы, крайне легко масштабируется, данные хранятся в виде JSON файлов, понятная структура всех объектов, наличие динамических запросов документов (document-based query), отсутствие необходимости маппинга объектов приложения в объекты базы данных и для хранения данных используется внутренняя память, которая дает возможность получать быстрый доступ. [5] В итоге можно с уверенностью сказать, что MongoDB – это наиболее подходящее решение для Big Data.

На сегодняшний день сложно представить формирование структуры и организацию работы логистического процесса без обмена актуальных данных. Возможность осуществления оперативного поиска и использования необходимых данных должно учитываться при организации хранения информации. Более важным фактором в логистическом управлении считается скорость обработки и получение необходимой информации. Данные можно делить на две части: структурированные и неструктурированные.  Структурированные данные, это данные, полученные с помощью устройств, такие как, считыватели RFID, смартфоны и веб-камеры. А неструктурированные данные — это данные, которые получены из записей блога, каталогов электронной комиссии и изображении камеры видеонаблюдения. [6]

Автоматический ввод данных является современным методом идентификации товара. С помощью сканирования специального штрихового кода можно получать сведения о продукте. Считывание кода реализовывается с использованием оптических и лазерных приборов. Штрихкодирование внесло свою долю в развитие логистики, а именно уменьшило время поиска товара и сократила убыток. [7]

День ото дня понятие “Большие данные” проникает в нашу жизнь. Сбор, хранение, анализ и обработка потоков данных — это совокупность “Больших данных”. Применение больших данных дает возможность анализировать актуальную информацию для обеспечения полной видимости логистической цепи и прогнозировать для получения детализированных результатов. Получение данных в режиме реального времени предотвращают проблемы и дает возможность отслеживать сбои для быстрого диагностирования. Для обеспечения прозрачности логистических процессов можно и нужно применить в разработке новые технологии и методологии, такие как - Большие данные. Большие данные используются для уменьшения издержки и для повышения эффективности логистических процессов.[8]

Кроме хранения данных в логистике важным является управление потоками данных. В логистике существуют много методов управления потоками данных. Однако матричная система является популярным методом организации логистического управления. Преимуществом данной структуры можно назвать объединение двух или более функции в пределах ответственности менеджера. А минус матричной системы является ее дороговизна.[9]

Распространённое использование данных привело к появлению понятия бизнес-аналитики больших данных в качестве важной возможности для предоставления компаниям лучшие методы для извлечения выгоды из массивных объемов данных и возможности конкурировать. Если к понятию Большие данные относится способность быстро и качественно обрабатывать большой поток данных, то аналитика этих же данных включает в себя возможность получить представление применяя статистику, математику, эконометрику, моделирование, оптимизацию или другие методы, чтобы помочь бизнес-организациям принимать более эффективные и математически доказанные решения.

Аналитике больших данных в области логистики и управления цепями поставок уделяется все больше внимания из-за ее сложности и выдающейся роли в повышении общей эффективности бизнеса. Согласно опросу, проведенному Accenture [10], более трети респондентов сообщили о том, что они серьезно обсуждали развертывание аналитики в этой области; и у трех из десяти уже есть инициатива по внедрению аналитики. Область логистики и управления цепями сталкивается с наиболее серьезными проблемами, которые потенциально могут привести к неэффективности и потерям в цепочках поставок, таких как: задержки поставок, рост цен на топливо, непостоянство поставщиков и постоянно растущие ожидания клиентов, среди прочего [11]. Компании очень рассчитывают извлечь выгоду из бизнес-аналитики больших данных в логистике и операциях с цепочками поставок, чтобы улучшить прозрачность, гибкость и интеграцию глобальных цепочек и логистических процессов, эффективно управлять со спросами и справляться с колебаниями затрат [12]. На стратегическом этапе планирования цепочки поставок аналитика больших данных играет жизненно важную роль. Он был применен, чтобы помочь компаниям принимать стратегические решения по выбору поставщиков, проектированию сети цепочки поставок, а также по дизайну и разработке продукта. На этапе оперативного планирования аналитика больших данных используется для помощи руководству в принятии решений по управлению цепочкой поставок, которые часто включают планирование спроса, закупки, производство, инвентаризацию и логистику [13].

Аналитику можно разделить на 3 части:

• Описательная аналитика выполняется либо в стандартные периоды, либо по мере необходимости с использованием таких методов, как оперативная аналитическая обработка (OLAP) или детализация, и направлена ​​на выявление проблем и возможностей в рамках существующих процессов и функций. [13]
• Предиктивная аналитика включает использование математических алгоритмов и программирования для обнаружения объяснительных и прогнозирующих закономерностей в данных. Целью этого типа аналитики является точное прогнозирование того, что произойдет в будущем, и объяснение причин, почему это может произойти. Прогнозная аналитика обеспечивается за счет использования таких методов, как анализ данных/текста/веб-данных и прогнозирование [14].
• Предписывающая аналитика предполагает использование данных и математических алгоритмов для определения и оценки альтернативных решений, которые включают цели и требования, характеризующиеся большим объемом и сложностью, с целью повышения эффективности бизнеса. Предписывающая аналитика включает в себя принятие решений по нескольким критериям, оптимизацию и моделирование. [14]

Учитывая вышеупомянутые передовые аналитические методологии и методы, мы фокусируемся на применении бизнес-аналитики больших данных в области логистических перевозок, которая предоставляет организациям и цепочкам поставок возможности справляться с изменчивостью и неопределенностью, тем самым обеспечивая интеграцию и координацию цепочек поставок. Эти методологии и приемы оказывают существенное влияние на результативность и эффективность работы, поскольку от них зависит, удастся ли получить полезную информацию и принять правильные решения путем анализа огромных объемов данных, структурированных и неструктурированных на стратегическом, тактическом и оперативном уровнях.

Список литературы:

1. Конюхов В.Г., База данных. Понятие, значение и роль в современном мире. 2017.  (https://cyberleninka.ru/article/n/baza-dannyh-ponyatie-znachenie-i-rol-v-sovremennom-mire/viewer).
2. Новиков Б.А., Левин М.Ю.  Сравнительный анализ производительности SQL и NoSQL СУБД. 2017. (https://cyberleninka.ru/article/n/sravnitelnyy-analiz-proizvoditelnosti-sql-i-nosql-subd/viewer). 
3. Савоськин И.В., Фирсов А.О. Исследование способов применения NoSQL и реляционных баз данных. 2019. (https://cyberleninka.ru/article/n/issledovanie-sposobov-primeneniya-nosql-i-relyatsionnyh-baz-dannyh/viewer).
4. Мухина Ю.Р. Обзор NoSQL решений управления данными. 2013. (https://cyberleninka.ru/article/n/obzor-nosql-resheniy-upravleniya-dannymi/viewer).
5. Фримучков А.Н. NoSQL – инъекции на примере нереляционной СУБД MongoDB. 2017. (https://cyberleninka.ru/article/n/nosql-inektsii-na-primere-nerelyatsionnoy-subd-mongodb/viewer).
6. Коломиец Б. Н., Кукарцев В.В. Особенности применения современных информационных технологий для оптимизации логистических процессов. 2015 -  https://novainfo.ru/article/3093
7. Методы идентификации и хранения данных в логистике. 2016 - https://studref.com/436363/logistika/metody_identifikatsii_hraneniya_dannyh_logistike
8. Башина О.Е., Матраева Л.В. Возможности применения глобальных технологий Big Data для повышения эффективности логистических процессов. -  Знание.Понимание.Умение,2017.
9. N. R. Sanders, Big data driven supply chain management: A framework for implementing analytics and turning information into intelligence. Pearson Education, 2014
10. Accenture Global Operations Megatrends Study, 2014. Big Data Analytics in Supply Chain: Hype or Here to Stay? (http://www.accenture.com/us-en/Pages/insightglobal-operations-megatrends-big-data-analytics.aspx) (accessed 07.12.14).
11. Barnaghi, P., Sheth, A., Henson, C., 2013. From data to actionable knowledge: big data challenges in the web of things. IEEE Intell. Syst. November/December, 67–71.
12. Genpact, 2014. Supply chain analytics. 〈http://www.genpact.com/docs/resource-/supply-chain-analytics〉 (accessed 19.04.15).
13. Gang Wang, Angappa Gunasekaran, Eric W.T. Ngai , Thanos Papadopoulos,  2016, Big data analytics in logistics and supply chain management: Certain investigations for research and applications (https://www.sciencedirect.com/science/article/abs/pii/S0925527316300056)
14. Demirkan, H., Delen, D., 2013. Leveraging the capabilities of service-oriented decision support systems: putting analytics and big data in the cloud. Decis. Support Syst. 55 (1), 412–421.