Разработка данных

• Определение и история информационной инженерии

  • Информационная инженерия — это дисциплина, которая объединяет информационные технологии и бизнес-процессы. 
  • Она возникла в 1960-х годах и была связана с разработкой систем управления информацией. 
  • В 1970-х годах она стала более ориентированной на бизнес и обработку данных. 

• Развитие и изменения в информационной инженерии

  • В 1980-х годах Чарльз Рихтер внес значительный вклад в модернизацию IEM. 
  • В начале 2000-х годов данные и инструменты обработки данных стали более распространенными в компаниях. 
  • В 2010-х годах появились большие данные и инженеры по обработке данных, которые сосредоточились на облачных вычислениях и обработке данных различными подразделениями бизнеса. 

• Инструменты и методы обработки данных

  • Высокопроизводительные вычисления используются для обработки и анализа данных. 
  • Системы хранения данных оптимизируются для снижения затрат и включают сжатие данных и архивирование. 
  • Базы данных и хранилища данных используются для различных типов обработки данных. 
  • Озера данных и файловые системы используются для хранения различных типов данных. 

• Управление и жизненный цикл данных

  • Системы управления рабочими процессами, такие как Airflow, используются для управления задачами обработки данных. 
  • Бизнес-планирование включает стратегическое планирование и реализацию тактических и оперативных планов. 
  • Проектирование систем и моделирование данных являются важными компонентами разработки информационных систем. 

• Роли и специалисты в области обработки данных

  • Инженеры по обработке данных отвечают за управление потоком данных и преобразование их в аналитические данные. 
  • Специалисты по обработке данных фокусируются на анализе данных и использовании математики, алгоритмов и машинного обучения. 

• Рекомендации и дальнейшее чтение

  • В статье представлены ссылки на книги и статьи, которые могут быть полезны для дальнейшего изучения информационной инженерии.