Условная анимация в SwiftUI перестает работать

Вы можете указать Animation в блоке withAnimation и создать отдельные функции для запуска/остановки анимации.

Вот возможное решение:

struct ContentView: View {
    @State private var done = false
    @State private var animationAmount: CGFloat = 0

    var body: some View {
        VStack {
            Toggle("Done", isOn: $done)
            plusImage
                .opacity(done ? 0.6 : 1)
                .foregroundColor(done ? .gray : .green)
        }
        .onAppear(perform: startAnimation)
        .onChange(of: done) { done in
            if done {
                stopAnimation()
            } else {
                startAnimation()
            }
        }
    }
    
    var plusImage: some View {
        Image(systemName: "plus")
            .font(.system(size: 40))
            .padding()
            .overlay(
                Circle()
                    .stroke(Color.gray, lineWidth: 3)
                    .scaleEffect(1 + animationAmount)
            )
    }
}

private extension ContentView {
    func startAnimation() {
        withAnimation(Animation.easeInOut(duration: 1).repeatForever()) {
            animationAmount = 0.1
        }
    }
    
    func stopAnimation() {
        withAnimation {
            animationAmount = 0
        }
    }
}

На самом деле отлично работает как есть с Xcode 12.1/iOS 14.1, поэтому вы можете наблюдать либо ошибку новой версии iOS, либо результат какого-то другого кода.

В любом случае, я бы добавил масштабирование отключения при исчезновении кнопки:

Button(action: {}){
    Image(systemName: "plus").font(.system(size: 40)).foregroundColor(green)
        .padding().overlay(Circle().stroke(green, lineWidth: 3).scaleEffect(1+self.animationAmount).animation(Animation.easeInOut(duration: 1).repeatForever(autoreverses: true)))
}
.onAppear {self.animationAmount = 0.1}    // << put here !!
.onDisappear {self.animationAmount = 0}   // << add this !!