Файловая система Google
-
Обзор файловой системы Google
- GFS — это проприетарная распределенная файловая система Google для эффективного доступа к данным.
- Файловая система была заменена на Colossus в 2010 году.
-
Дизайн и оптимизация
- GFS разработана для удовлетворения потребностей Google в хранении данных, включая поисковую систему.
- Файлы делятся на блоки фиксированного размера, редко перезаписываются и добавляются или считываются.
- Система оптимизирована для работы на кластерах Google с учетом высокой частоты отказов.
-
Структура и репликация
- Кластер GFS состоит из главного узла и нескольких блоков-серверов.
- Каждый файл разделен на фрагменты, которые реплицируются несколько раз для обеспечения надежности.
- Главный сервер хранит метаданные, связанные с фрагментами, и поддерживает их актуальность.
-
Управление разрешениями и доступ к данным
- Система использует временные договоры аренды для управления изменениями в блоках.
- Программы получают доступ к блокам через главный сервер, а затем напрямую связываются с серверами блоков.
-
Интерфейс и производительность
- GFS не поддерживает POSIX-интерфейс, но поддерживает стандартные файловые операции.
- Производительность чтения сравнима с производительностью одного диска, но запись и добавление данных медленнее.
- Увеличение количества серверов блоков значительно увеличивает скорость чтения.
-
Сравнение с другими системами
- GFS сравнивается с другими системами, такими как Hadoop и HDFS, а также с облачными хранилищами.
-
Дополнительные ресурсы
- В статье есть ссылки на другие продукты Google и библиографию.
Полный текст статьи: