Просмотр сбрасывается после прокрутки в RecyclerView

Я реализую множественный выбор в GridManager с помощью RecyclerView.

Вот мой код внутри адаптера

imgStamps.setOnLongClickListener(new View.OnLongClickListener() {
                @Override
                public boolean onLongClick(View v) {

                    //First setting up isSelected() or not

                    if (imageList.get(getAdapterPosition()).isSelected()) {
                        imageList.get(getAdapterPosition()).setSelected(false);
                    } else {
                        imageList.get(getAdapterPosition()).setSelected(true);
                    }

                   //Setting blur image on Imageview onLongclick and resting on again press.
                    if (imageList.get(getAdapterPosition()).isSelected()) {
                        mCount++;
                        imgBlurr.setVisibility(View.VISIBLE);
                    } else {
                        mCount--;
                        imgBlurr.setVisibility(View.GONE);
                    }
                    mCommunicator.clicked(mCount, getAdapterPosition());
                    return true;
                }
            });

Приведенный выше код находится внутри ViewHolder, а не onBindViewHolder.

Если я выбираю первое изображение и прокручиваю его вниз, а затем вверх, вид сбрасывается.

Можно ли указать на ошибку или поведение?