Этот код создает изображение маски (похожее на ваше последнее обнаружение) и получает весь ограничивающий прямоугольник:

import cv2
import numpy as np

# Create a completely black mask image
mask = np.zeros((300, 400), dtype=np.uint8)

# Draw white rectangles
cv2.rectangle(mask, (140, 50), (150, 250), (255), thickness=cv2.FILLED)
cv2.rectangle(mask, (50, 100), (350, 150), (255), thickness=cv2.FILLED)

# Find contours
contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

# Get bounding rectangles of contours
bounding_rects = [cv2.boundingRect(cnt) for cnt in contours]

# Find the overall bounding rectangle
x, y, w, h = bounding_rects[0]
max_x = x + w
max_y = y + h
for rect in bounding_rects[1:]:
    x = min(x, rect[0])
    y = min(y, rect[1])
    max_x = max(max_x, rect[0] + rect[2])
    max_y = max(max_y, rect[1] + rect[3])
    w = max_x - x
    h = max_y - y

print(x, y, w, h)

# Draw the overall bounding rectangle
cv2.rectangle(mask, (x, y), (x + w, y + h), (255), 2)

# Save the mask image
cv2.imwrite('mask.png', mask)

# Draw the overall rectangle on a copy of the mask
mask_with_rectangle = mask.copy()
# Draw in gray
cv2.rectangle(mask_with_rectangle, (x, y), (x + w, y + h), (50), 2)

# Save the image with the overall rectangle
cv2.imwrite('mask_with_rectangle.png', mask_with_rectangle)

Вы можете заменить mask на свой dilated_image

Я не уверен, насколько общий ваш пример, в зависимости от этого мой ответ может измениться.

Начать:

%matplotlib notebook
import cv2
import numpy as np
import matplotlib.pyplot as plt
im = cv2.imread("table.jpg") # read im
b, g, r = cv2.split(im) # split to bgr
imRGB = cv2.merge([r,g,b]) # generate rgb image for plotting...

Подводя итог, всегда полезно взглянуть на различные цвета, составляющие изображение. Вот как ваше изображение выглядит в каналах RGB:

fig, axs = plt.subplots(nrows = 1, ncols = 3, sharex = True, sharey = True)
axs[0].imshow(r)
axs[1].imshow(g)
axs[2].imshow(b)
plt.suptitle("R|G|B")
plt.tight_layout()
for ax in axs:
    ax.axis("off")

Из этого мы видим, что канал R обеспечивает наибольший контраст между столом и фоном.

Таким образом, пороговое значение имело бы смысл:

mask = (r<240).astype(np.uint8)
plt.figure()
plt.imshow(mask)
plt.axis("off")

Здесь мы видим, что порог действительно работает хорошо:

Мы можем выполнить небольшую операцию закрытия, а затем найти контуры и нарисовать контуры на изображении:

mask = (r<240).astype(np.uint8)
maskClosed = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, np.ones((5,5)))
contours = cv2.findContours(maskClosed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[0]
largestContour = max(contours, key=cv2.contourArea)
imRGB = cv2.drawContours(imRGB, [largestContour], 0, (255,0,0), 5)
plt.figure()
plt.imshow(imRGB)
plt.axis("off")

Мы получаем следующее:

Уже неплохо, мы можем использовать это с cv2.boundingRect(largestContour), чтобы получить координаты для обрезки: (104, 68, 389, 137)

Дайте мне знать, работает это для вас или нет..