четверг, 15 марта 2007 г.

Как работает Google

Официальная публикация по Google File System, распределенной файловой системе Google, позволяющей надежно хранить и обрабатывать информацию на куче компьютеров, учитывая что эти самые компьютеры дешевые и ненадежные. Вобщем, основа Google, на которой строится все остальное.
А здесь можно найти видеозапись лекции Джефа Дина(Jeff Dean) о Google File System и Google BigTable (распределенная база для хранения структурированных данных). На сайте Университета Вашингтона есть те же видео:



Поскольку и Google File System и Google BigTable являются закрытыми, то нашлись добровольцы и попытались(и пытаются) сделать то же самое, но открытое. Появился проект Apache Lucene, в рамках которого разрабатывается поисковый движок, основанный на технологиях Google.
Особенно интересен аналог Google File System - Apache Lucene Hadoop.

Комментариев нет: