Twitter улучшил свой поиск

Прежде всего, инженеры «Твиттера» поздравили друг друга и пользователей с тем, что им удалось успешно и безболезненно внедрить новый поисковый движок. Старая версия поиска была основана на технологиях приобретенного в 2008 году стартапа Summize и со временем перестала справляться с нагрузками, возникшими в результате феноменального роста сервиса. В последнее время инженеры прилагали значительные усилия, пытаясь масштабировать стремительно устаревающий движок. В конце концов, около полугода назад было принято решение создать принципиально новую систему поиска для Twitter, отказавшись от устаревших алгоритмов реляционных БД. За основу новой системы был взят фреймворк с открытым кодом Lucene.
В условиях продолжающегося роста сервиса, сервера Twitter в настоящее время обрабатывают около 12 тыс. запросов в секунду, что составляет порядка 1 миллиарда запросов в сутки. Новая система поиска прекрасно справляется с таким объемом и ожидается, что она будет удовлетворять растущие потребности сервиса в течении нескольких следующих лет.
Благодаря новому поиску, пользователи «Твиттера» уже сейчас получают доступ к значительно большему временному отрезку своих «твитов». Кроме того, новые «твиты» попадают в поисковый индекс значительно быстрее. Напомним, в особо критические моменты инженеры сервиса вынуждены были сокращать доступный для поиска временной интервал буквально до суток, а иногда и вовсе отключать поиск.
Ссылки по теме:
- Twitter Quietly Launched A New Search Backend Weeks Ago — Techcrunch (Eng.)
- The Twitter's New Search Architecture — запись в блоге разработчиков сервиса (Eng.)
Комментарии Facebook
Комментарии ВКонтакте