Как перебрать массив, который является значением ключа в JSON

Вам нужно перебрать массив.

this.state.selectedCountry.city.map((city, index) => {
    return <option value = {city} key = {index}>{city}</option>
})

Имейте в виду, что использование индекса в качестве ключа считается антишаблон. Вы также можете использовать название города в качестве ключа. Например.:

this.state.selectedCountry.city.map(city => {
    return <option value = {city} key = {city}>{city}</option>
})

отредактируйте, чтобы добавить ссылку на документы mdn, как предложено в комментариях: https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Array/map

Вам нужно использовать map() в массиве городов.

<select name = "" id = "" > {
    this.state.selectedCountry !== undefined ?
    this.state.selectedCountry.city.map((x,i) => <option value = {x} key = {i}>{x}</option>)
    :null
  }

</select>

Пример:

const CountriesData = [
  {
    id: 1,
    country: 'Afghanistan',
    city: ['Eshkashem', 'Fayzabad', 'Jurm', 'Khandud'],
  },
  {
    id: 2,
    country: 'Italy',
    city: ['Milano', 'Rome', 'Torino', 'Venezia'],
  },
];

class DiffCountries extends React.Component {
  constructor(props) {
    super(props);
    this.state = {
      selectedCountry: null,
    };
  }

  onChangeHandler = event => {
    const selectedCountry = CountriesData[event.target.value - 1];

    this.setState({
      selectedCountry,
    });
  };

  render() {
    const { selectedCountry } = this.state;
    return (
      <div>
        <select
          name = "country"
          defaultValue = "country"
          onChange = {this.onChangeHandler}
        >
          <option disabled value = "country">
            Select country
          </option>
          {CountriesData.map(({ id, country }) => (
            <option key = {id} value = {id}>
              {country}
            </option>
          ))}
        </select>

        {selectedCountry && (
          <select name = "city" defaultValue = "city">
            <option disabled value = "city">
              Select city
            </option>
            {selectedCountry.city.map(item => (
              <option key = {item} value = {item}>
                {item}
              </option>
            ))}
          </select>
        )}
      </div>
    );
  }
}

ReactDOM.render(<DiffCountries />, document.getElementById('container'));