ForkJoinPool + Selenium Web Driver (в многопоточном режиме сформировать карту сайта в виде списка ссылок)

import java.util.*;
import java.util.concurrent.ForkJoinPool;
 
public class Main {
    public static void main(String[] args)  {
        String targetLink = "https://www.f1-world.ru/";
 
//        List<String> listWithLinks1 = Parser.parseUrl(targetLink);
//        Writer.writeSitemap(listWithLinks1);
 
        ForkJoinParser parserFJ = new ForkJoinParser(targetLink);
        ForkJoinPool pool = new ForkJoinPool();
        pool.invoke(parserFJ);
        List<String> listFJ = new ArrayList<>(parserFJ.getLinksSet());
        Writer.writeSitemap(listFJ);
    }
}
 
 
import io.github.bonigarcia.wdm.WebDriverManager;
import org.apache.log4j.BasicConfigurator;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import java.util.*;
import java.util.concurrent.TimeUnit;
 
public class Parser {
    static WebDriver driver;
    public static List<String> parseUrl(String link) {
        BasicConfigurator.configure();
        WebDriverManager.chromedriver().setup();
        driver = new ChromeDriver();
 
        try {
            Thread.sleep(150);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
 
        driver.get(link);
        driver.manage().timeouts().implicitlyWait(5, TimeUnit.SECONDS);
 
        Set<String> linksSet = new TreeSet<>();
        String stringWithLink;
        for(WebElement element : driver.findElements(By.xpath("//a"))) {
            stringWithLink = element.getAttribute("href");
            if(linksSet.contains(stringWithLink)) continue;
            linksSet.add(stringWithLink);
        }
        driver.quit();
 
        List<String> listLinks = new ArrayList<>(linksSet);
        StringBuffer stringBuffer;
        for (int i = 0; i < listLinks.size(); i++) {
            int count = 0;
            String s = listLinks.get(i);
            for (char element : s.toCharArray()) {
                if (element == '/') count++;
            }
            stringBuffer = new StringBuffer(listLinks.get(i));
            for (int j = 0; j < count - 2; j++) {
                stringBuffer.insert(0, '\t');
            }
            listLinks.set(i, stringBuffer.toString());
        }
        return listLinks;
    }
}
 
 
import io.github.bonigarcia.wdm.WebDriverManager;
import org.apache.log4j.BasicConfigurator;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import java.util.*;
import java.util.concurrent.RecursiveAction;
import java.util.concurrent.RecursiveTask;
 
public class ForkJoinParser extends RecursiveAction {
    private static WebDriver driver;
    private String link;
    private Set<String> linksSet = new TreeSet<>();
 
    ForkJoinParser(String link) {
        this.link = link;
        BasicConfigurator.configure();
        WebDriverManager.chromedriver().setup();
        driver = new ChromeDriver();
        try {
            Thread.sleep(150);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
 
    public String getLink() {
        return link;
    }
 
    public Set<String> getLinksSet() {
        return linksSet;
    }
 
    List<ForkJoinParser> subTasks = new LinkedList<>();
    String stringWithLink;
 
    @Override
    protected void compute() {
        driver.get(link);
        for (WebElement element : driver.findElements(By.xpath("//a"))) {
            stringWithLink = element.getAttribute("href");
            if(linksSet.contains(stringWithLink)) continue;
            ForkJoinParser fParser = new ForkJoinParser(stringWithLink);
            fParser.fork();
            subTasks.add(fParser);
        }
        for (ForkJoinParser fJParser : subTasks) {
            linksSet.add(String.valueOf(fJParser.join()));
        }
        driver.quit();
    }
}
 
 
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.List;
 
public class Writer {
    public static void writeSitemap (List<String> listForWrite) {
        try {
            Files.write(Paths.get("src/main/resources/sitemap.txt"), listForWrite);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}