Как перетаскивать представления в LazyVGrid с помощью GeometryReader?

Если я правильно понял вашу цель, вот исправленный вариант (с небольшими изменениями, чтобы избежать повторного хардкодинга).

Протестировано с Xcode 12.1/iOS 14.1

struct ContentView: View {
    let data = (0...3)
    
    @State private var colors: [Color]
    @State private var rect: [CGRect]
    
    init() {
        _colors = State(initialValue: Array(repeating: .gray, count: data.count))
        _rect = State(initialValue: Array(repeating: .zero, count: data.count))
    }
    
    var columns: [GridItem] =
        Array(repeating: .init(.fixed(70), spacing: 1), count: 2)
    
    var body: some View {
        LazyVGrid(columns: columns, spacing: 1) {
            ForEach(data, id: \.self) { item in
                Rectangle()
                    .fill(colors[item])
                    .frame(width: 70, height: 70)
                    .overlay(
                        GeometryReader{ geo in
                            Color.clear
                                .onAppear {
                                    rect[item] = geo.frame(in: .global)
                                }
                        }
                    )
            }
        }
        .gesture(DragGesture(minimumDistance: 0, coordinateSpace: .global)
                        .onChanged({ (value) in
                            if let match = rect.firstIndex(where: { $0.contains(value.location) }) {
                                colors[match] = Color.red
                            }
                        })
        )
    }
}