WORKSHOP BIG DATA.DEVOPS

Участие студентов ГУМРФ имени адмирала С.О. Макарова в WORKSHOP BIG DATA.DEVOPS

Компания EPAM, предоставляющая комплекс услуг для цифрового бизнеса, провела WORKSHOP BIG DATA.DEVOPS. Мероприятие состоялось в офисе EPAM на улице Заставская 22/2 литер А, бизнес-центр Мегапарк, 7 этаж.

Институт водного транспорта ГУМРФ имени адмирала С.О. Макарова представляли студенты 2 и 3 курсов:

  • Михалов Дмитрий (ИП-21, 01.03.02 «Прикладная математика и информатика»);
  • Артемьев Денис (ИЗ-31, 10.05.03 «Информационная безопасность автоматизированных систем»);
  • Якушина Анна (ИЗ-31, 10.05.03 «Информационная безопасность автоматизированных систем»);

Руководителем группы выступила доцент кафедры прикладной математики Волкова Тамара Александровна.

Участие студентов ГУМРФ имени адмирала С.О. Макарова в WORKSHOP BIG DATA.DEVOPS Участие студентов ГУМРФ имени адмирала С.О. Макарова в WORKSHOP BIG DATA.DEVOPS

Мероприятие длилось 3.5 часа, за это время, при помощи наставников участниками была проделана следующая работа:

  • на удаленных машинах был установлен Apache Ambari (программный продукт компании Apache Software Foundation, нацеленный на упрощение работы с Hadoop при помощи разработанного программного обеспечения для управления и контроля кластеров Apache Hadoop) посредством удаленного доступа ssh;
  • создан кластер и выполнена его разметка для файловой системы, предназначенной для хранения файлов больших размеров HDFS;
  • установлена программа Hive, которая позволяет работать с данными так, как если бы мы работали с обычной реляционной базой;
  • установлена свободная объектно-реляционная система управления базами данных (СУБД) postgresql;
  • обработаны предоставленные данные по метео-службам и статистике задержки рейсов;
  • данные загружены в кластер в HDFS;
  • выполнена разметка метаданных и перенесена в базу postgresql.

Далее компания предоставила код скриптов на языке Pyton, с помощью которых были построены корреляции полученных данных, затем было выполнено тестирование пройденного материала. Весь процесс сопровождался лекциями, объяснениями и наглядными примерами

Среди участников мероприятия в основном были представители бизнеса, взрослые профессионалы. Наши студенты получили интересный опыт участия, погрузившись в актуальную и сложную тематику.

Выражаем благодарность организаторам мероприятия за высокий уровень организации и продвижение цифровых технологий среди учащихся нашего вуза.