RxJs fromEvent в сочетании с retryWith

Вместо concatMap я бы использовал switchMap, чтобы, если пользователь вводит новый символ, текущий вызов бэкэнда «отменялся» (не наблюдался, если возвращался результат) и создавался новый. Я бы также поставил retryWhen исключительно на вызов бэкенда, а не на весь поток:

const searchBooks$: Observable<Book[]> = fromEvent(
    this.filter.nativeElement,
    'keyup'
  ).pipe(
      debounceTime(500),
      map((e: any) => e.target.value),
      tap(data => console.info(data)),
      distinctUntilChanged(),
      switchMap((search) => 
         this.bs.getBooks(search)
            .pipe(retryWhen((errors) => errors.pipe(
               tap(error => console.info('error.. retrying n 2 seconds')),
               delayWhen(() => timer(2000))
            )))
      ),
      shareReplay(),
  );