Во вспомогательной функции не совсем та формула, которая должна быть

fun y (_, _, 0) = 0.0         (* при N=0 - результат y0 *)
|   y (x, _, 1) = x * x * x * x     (* при N=1 - результат y1 *)
|   y (x, e, N) =             (* иначе определим две дополнительные функции *)
      let
        fun closeEnough a b = abs (a - b) < e
        (* функция yNext - функция вычисления i-го элемента
         * последовательности
         * yPred и yPrePred - i-1-й i-2-й элементы последовательности
         * соответственно *)
        fun yNext yPred yPredPred i =
          if closeEnough yPred yPredPred then yPred
          else
            let
              (* вычисляется yCur - i-й элемент последовательности *)
              val rN = real N
              val yCur = (5.0 * x * yPred) / rN - yPredPred
                         
            in
              (* если i достигло значения N то вернуть yCur как результат
               * в противном случае запускается вычисление i+1-го элемента *)
              if i >= N then yCur
              else yNext yCur yPred (i + 1)
            end
      in
        (* запуск вычисления 2-го элемента последовательности *)
        yNext (y (x, e, 1)) (y (x, e, 0)) 2
      end;

-- Лобовое, но медленное решение:
 
fun :: Integer -> Double -> Double
fun 0 _ = 0
fun n x | (n == 1) = x^4
        | otherwise = 5*x*(fun (n-1) x)/(fromInteger n) - (fun (n-2) x)
        
-- в два действия, но значительно быстрее:
 
fun' :: Integer -> Double -> Double -> Double -> Double
fun' n x c p | (n == 1) = c
             | otherwise = fun' (n-1) x (5*x*c/(fromInteger n)-p) c
            
func :: Integer -> Double -> Double
func n x = fun' n x (x^4) 0.0
 
 
*Main> fun 10 0.5
2.1764749362144935e-2
(0.03 secs, 2234688 bytes)
*Main> fun 20 0.5
4.002569517260948e-2
(0.17 secs, 8076796 bytes)
*Main> fun 25 0.5
-5.5301351267522524e-2
(1.91 secs, 76083652 bytes)
*Main> func 25 0.5
-5.530135126752255e-2
(0.02 secs, 0 bytes)  -- ответ верный, но получен почти в 100 раз быстрее.
*Main>