Реализация мини поисковика

Знаю, что пишу не в тот раздел, но просьба не переносить и не удалять тему, т.к. все-таки программистов на хаскелле очень мало, поэтому надеюсь, что здесь увидят тему. Есть некоторые наработки, но нужно написать пару функций на хаскелле. За умеренное денежное вознаграждение. Кто согласен - напишите ЛС.

Добавлено через 39 минут
Связываться лучше не по ЛС, а мыло: artpaliy@mail.ru, skype: f.l.a.s.h.e.r

0

Сформулируй, что нужно сделать... Может найдутся желающие сделать бесплатно...

0

Дело в том, что я отлично представляю алгоритм и как должно работать, но незнание языка мешает мне всё это реалзовать. У меня есть краулер, который получает ссылку, затем берет всё содержимое html, затем очищает от тегов и разбивает по словам и ссылкам. Нужно этот краулер доработать, чтобы он слова приводил к одному регистру, убирал точки и запятые и самое сложное - разобраться с разными кодировками на разных сайтах.
Далее задача для поисковика: нужно несколькими потоками (forkIO кажется...) бегать по страницам и собирать слова контента в словарь отдельно по словам (просто текстовый документ) и ссылки. Далее идя по этим ссылкам, но не покидая сайт делать тоже самое заданое количество раз в ширину (не глубину ссылок) или пока не закончатся ссылки, ограничиваясь допустим 100 страниц. Полученные слова нужно загнать в словарь (преподаватель посоветовал следующее: Data.Map Map String [(String, Integer)]) Где будет слово, ссылки на страницы с этим словом и количество повторений. Таким образом можно заполнять этот словарь. К тому же при просмотре каждой следующей странице к этому слову в словаре нужно добавлять новые ссылки с соответствующим числом повторений, а не создавать новое. Результатом работы должен стать запрос по которому выведется список ссылок на страницы в следующем приоритете: если это несколько слов, то в том порядке где чаще всего встречаются оба слова, если одно или нет таковых страниц, то в том порядке, где чаще встречается каждое слово. А вторая часть - это по запросу слова выдавать ряд ссылок по количеству повторений на этой странице (если несколько слов введено, то по этому же принципу сначала И, затем ИЛИ). Например выдает от 0 до 20 ссылок.

Вот код краулера. На сколько я понимаю, его писал сам мой преподаватель, человек довольно умный и хороший, поэтому выкладывать его в открытый доступ не есть гуд, но всё же...

{-# LANGUAGE ScopedTypeVariables #-}

import Network.HTTP
import Text.HTML.TagSoup

import Data.List
import Prelude hiding (catch)
import Control.Exception (IOException, catch)

-- From "Real World Haskell" book
downloadURL :: String -> IO (Either String String)
downloadURL url =
do resp <- simpleHTTP (getRequest url)
case resp of
Left x -> return $ Left ("Error connecting: " ++ show x)
Right r ->
case rspCode r of
(2,_,_) -> return $ Right (rspBody r)
(3,_,_) ->
-- HTTP Redirect
case findHeader HdrLocation r of
Nothing -> return $ Left (show r)
Just url -> downloadURL url
_ -> return $ Left (show r)
`catch` (\(exn :: IOException) -> return $ Left "connection failed")

parse = dropTags ["script", "style"] . parseTags

getLinks = map (fromAttrib "href") . filter (~== "<a href>")
getWords = words . innerText

dropTags :: (Eq str) => [str] -> [Tag str] -> [Tag str]
dropTags labels [] = []
dropTags labels (tag:rest) =
case find (flip isTagOpenName tag) labels of
Nothing -> tag : dropTags labels rest
Just target -> skipTo target rest
where
skipTo target [] = []
skipTo target (tag:rest)
| isTagCloseName target tag = dropTags labels rest
| otherwise = skipTo target rest


По факту: есть функция - её нужно чуть-чуть доработать и написать еще две. Немного, не сильно сложно, но программист хаскелля из меня никакой =(

0

Ну может кто-нибудь откликнется?

0