Скиур: Умный извлекатель новостей
Скиур / Извлечение RSS лент
Скиур - это экспериментальный сервис восстановления лент новостей из новостных веб страниц. Скиур анализирует веб страницу, находит новостные блоки и восстанавливает их извлекая даты, заголовки, ссылки и текст новости, позволяя подписаться на них в форматах RSS и ATOM.
История
Проект Скиур начался в августе 2008 как исследование возможности автоматического преобразования любой веб-страницы содержащей перечень новостей в такие форматы как RSS и ATOM. Результатом этих исследований оказалось что автоматическое преобразование возможно и был разработан специальный алгоритм и сервис позволяющий любому пользователю сети извлекать RSS ленту из любого сайта где по какой-либо причине такой ленты нет.
Технологии
- Платформа разработки: Python + Django
- СУБД: MySQL + CouchDb
- Специализированная библиотека анализа веб сайтов: Persimmon