Карта фильтрации со списком значений списков

Это действительно хороший вариант использования Stream.

map.entrySet()
   .stream()
   .collect(Collectors.toMap(
           Entry::getKey,
           e -> e.getValue() // List<Houses>
                 .stream()
                 .filter(h -> h.getColor() == Color.BLUE)
                 .collect(Collectors.toList())
   ));

Трюк, чтобы сделать поток Stream более читабельным

map.entrySet()
   .stream()
   .collect(toMap(Entry::getKey, filterBy(Color.BLUE)));

И метод filterBy

Function<Entry<String, List<MyClass>>, List<MyClass>> filterBy(final Color color) {
    return e -> e.getValue()
                 .stream()
                 .filter(s -> s.getColor() == color)
                 .collect(toList());
}