Webpack JSX не может разрешить относительный модуль через импорт ES6

Я настраиваю веб-пакет для большого уже существующего приложения React. Кажется, работает нормально, но некоторые модули вызывают проблемы, если я специально не добавлю расширение в импорт.

//not working
import AppRouter from './router';

//working but meh
import AppRouter from './router.jsx';

Это не происходит во всех относительных импортах, но некоторые из того, что я вижу, выглядят случайными.

Ошибка, возникает несколько раз для разных файлов

 ERROR in ./src/main/resources/js/cs/index.js
    Module not found: Error: Can't resolve './router' in '<ommited_path>/src/main/resources/js/cs'
     @ ./src/main/resources/js/cs/index.js 

Структура папок для этого файла

/src
--/main
  --/resources
     --/js/
        --/cs
           index.js
           router.jsx
           store.js

webpack.config.js

const path = require('path');
const webpack = require('webpack');
const paths = require('./config/paths');

const config = {
    entry: {
        index: path.join(__dirname, paths.custServReactIndex),
    },
    output: {
        path: path.join(__dirname, paths.outputScriptsFolder),
        filename: '[name].js',
        publicPath: paths.outputScriptsFolder,
    },
    mode: 'development',
    module: {
        rules: [
            {
                // Compile main index
                test: /\.jsx?$/,
                loader: 'babel-loader',
            },
        ],
    },
    plugins: [
        new webpack.DefinePlugin({
            'process.env.NODE_ENV': JSON.stringify(process.env.NODE_ENV),
        }),
    ],
};

module.exports = config;

.babelrc

{
    "ignore": ["node_modules"],
    "presets": ["env", "stage-0", "react"]
}

При этом есть идеи о том, почему некоторые относительные импорта не работают и как я могу это решить?