Java 8 Executors бросают RejectedExecutionException при чтении filePath 100k с использованием ExecutorService

Я получаю путь к файлу 100k из индекса ElasticSearch, и фактические файлы доступны на моем локальном диске. На основе пути к файлу я должен преобразовать эти файлы в base64.

Я получаю путь к файлу 100k с помощью scrollApi и добавляю его в Arraylist. Собрав все пути к файлам, я хочу преобразовать эти файлы в base64.

Для этого я хочу создать рабочий поток для этого процесса (чтобы ускорить процесс).

Пожалуйста, найдите мой код ниже. Сначала я читаю путь к файлу из индекса эластичного поиска и передаю этот путь моему рабочему потоку для чтения пути (не реализовано полностью для преобразования в base64).

public class DocumentIndex {

    private final static String INDEX = "documents_local";  
    private final static String ATTACHMENT = "document_suggestion";
    private final static String TYPE = "doc";
    private static final Logger logger = Logger.getLogger(Thread.currentThread().getStackTrace()[0].getClassName());
    private static final int BUFFER_SIZE = 3 * 1024;

     public static void main(String[] args) throws IOException {
            ExecutorService executor = Executors.newFixedThreadPool(5);
            List<String> filePathList = new ArrayList<String>();


            RestHighLevelClient restHighLevelClient = null;
            RestHighLevelClient restHighLevelClient2 = null;
            Document doc=new Document();

            logger.info("Started Indexing the Document.....");


            //Fetching Id, FilePath & FileName from Document Index. 
            SearchRequest searchRequest = new SearchRequest(INDEX); 
            searchRequest.types(TYPE);
            final Scroll scroll = new Scroll(TimeValue.timeValueMinutes(60L)); //part of Scroll API

            searchRequest.scroll(scroll); //part of Scroll API
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
            QueryBuilder qb = QueryBuilders.matchAllQuery();

            searchSourceBuilder.query(qb);
            searchRequest.source(searchSourceBuilder);

            SearchResponse searchResponse = SearchEngineClient.getInstance3().search(searchRequest);
            String scrollId = searchResponse.getScrollId(); //part of Scroll API
            SearchHit[] searchHits = searchResponse.getHits().getHits();
            long totalHits=searchResponse.getHits().totalHits;
            logger.info("Total Hits --->"+totalHits);

            //part of Scroll API -- Starts
            while (searchHits != null && searchHits.length > 0) { 
                SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); 
                scrollRequest.scroll(scroll);
                searchResponse = SearchEngineClient.getInstance3().searchScroll(scrollRequest);
                scrollId = searchResponse.getScrollId();
                searchHits = searchResponse.getHits().getHits();

                Map<String, Object> jsonMap ;
                for (SearchHit hit : searchHits) {

                    StringBuilder result = null;
                    String encodedfile = null;
                    File file=null;

                    Map<String, Object> sourceAsMap = hit.getSourceAsMap();


                    if (sourceAsMap != null) {  
                        doc.setId((int) sourceAsMap.get("id"));
                        doc.setApp_language(String.valueOf(sourceAsMap.get("app_language")));
                        doc.setFilename(String.valueOf(sourceAsMap.get("filename")));
                        doc.setPath(String.valueOf(sourceAsMap.get("path")));
                    }
                    if (doc.getPath()!= null && doc.getFilename() != null) {
                    filePathList.add(doc.getPath().concat(doc.getFilename()));
                    }
                }

                logger.info("File Path List size --->"+filePathList.size());


                    for (int i = 0; i < filePathList.size(); i++) {
                        Runnable worker = new WorkerThread(filePathList.get(i));
                        executor.execute(worker);
                      }
                    executor.shutdown();
                    while (!executor.isTerminated()) {
                    }
                    System.out.println("Finished all threads");
                        }
            }
}


public class WorkerThread implements Runnable {

 private String command;
 private static final Logger logger = Logger.getLogger(Thread.currentThread().getStackTrace()[0].getClassName());

    public WorkerThread(String s){
        this.command=s;
    }

    @Override
    public void run() {

        logger.info("File Path --->"+command);
        System.out.println(Thread.currentThread().getName()+" Start. Command = "+command);
        processCommand();
        System.out.println(Thread.currentThread().getName()+" End.");
    }

    private void processCommand() {
        try {
            Thread.sleep(5000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    @Override
    public String toString(){
        return this.command;
    }

}

Я получаю указанную ниже ошибку при чтении пути к файлу из индекса.

Exception in thread "main" java.util.concurrent.RejectedExecutionException: Task D:\data\Files\doc753_v1_fr-FR.pdf rejected from java.util.concurrent.ThreadPoolExecutor@35dab4eb[Terminated, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 10]
    at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2047)
    at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:823)
    at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1369)
    at com.jci.vb2.SearchEngineUtility.DocumentIndex.main(DocumentIndex.java:104)
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
В компьютерном программировании биты играют важнейшую роль в представлении и манипулировании данными на двоичном уровне. Побитовые операции...
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Приходилось ли вам сталкиваться с требованиями, в которых вас могли попросить поднять тревогу или выдать ошибку, когда метод Java занимает больше...
Полный курс Java для разработчиков веб-сайтов и приложений
Полный курс Java для разработчиков веб-сайтов и приложений
Получите сертификат Java Web и Application Developer, используя наш курс.
0
0
259
1

Ответы 1

Это происходит, когда вы пытаетесь отправить задачу после вызова shutdown на ExecutorService, поскольку вы объявили / создали объект службы исполнителя ExecutorService executor = Executors.newFixedThreadPool(5); за пределами цикла whilewhile (searchHits != null && searchHits.length > 0) {. Во 2-й итерации цикла while он попытается отправить задачу на executor service, на котором вы уже вызвали завершение работы на 1-й итерации.

Чтобы решить эту проблему, объявите, что ExecutorService executor = Executors.newFixedThreadPool(5); находится внутри цикла while или shutdown находится в конце while loop.

Другие вопросы по теме