Как мне микшировать несколько звуковых потоков в реальном времени из пакетов DatagramPackets?

Я работаю над проектом, в котором мне нравится добавлять функциональность нажми чтобы говорить и У меня android в качестве клиентов и java в качестве сервера. Я отправляю bytes с AudioRecord на мой сервер и транслирую его обратно подключенным клиентам.

Моя проблема заключается в микшировании data от разных клиентов, которые были отправлены одновременно.

Вот что я пробовал на своем сервере:

static boolean status = true;
static int port = 1938;
static byte[] mixed_audio;
static byte[][] all_bytes;
static int client_count = 0;
static DatagramSocket socket;
static ArrayList<InetAddress> addresses;
public static void main(String args[]) throws Exception {

    DatagramSocket serverSocket = new DatagramSocket(port);    
    System.out.println("Listening. . .");    
    addresses = new ArrayList<>();

    for(int x = 0; x < args.length; x++){
        if (args[x].equals("-p")){
            port = Integer.parseInt(args[x+1]);
        }
    }

    byte[] receiveData = new byte[1400];

    DatagramPacket receivePacket = new DatagramPacket(receiveData,
            receiveData.length);

    socket = new DatagramSocket();

    while (status == true) {
        all_bytes = new byte[1400][1400];
        mixed_audio = new byte[1400];
        serverSocket.receive(receivePacket);        
        int a = addresses.indexOf(receivePacket.getAddress());
        if (a < 0 ){
            addresses.add(receivePacket.getAddress());            
        }
        client_count++;        
        all_bytes[client_count] = receivePacket.getData();
       new Thread(new ReceiveData(receivePacket.getData(), receivePacket.getAddress())).start();

    }
}

public static class ReceiveData implements Runnable{

    byte[] data;
    InetAddress address;

    public ReceiveData(byte[]  b, InetAddress address){
        this.data = b;
        this.address = address;
    }

    @Override
    public void run() {

        try {
            for(int i = 0; i < 1400; i++){
                for(int j = 0; j < 1400; j++){
                    mixed_audio[j] += all_bytes[i][j];
                }
            } 

            if (client_count > 1){
                int c=0;
                for(int x = 0; x < 1400; x++){
                    mixed_audio[x]  = (byte) (mixed_audio[x] / client_count + 1);
                }
            }else{
                mixed_audio = data;
            }
            client_count--;

            for(InetAddress add: addresses){

                if (add != address){
                    DatagramPacket packet;
                    packet = new DatagramPacket(mixed_audio, mixed_audio.length, add, port);
                    socket.send(packet);

                }

            }


        } catch (IOException ex) {
            //Logger.getLogger(TeraMix.class.getName()).log(Level.SEVERE, null, ex);
        }

    }

}

Аудиовыход, когда говорит только один клиент, четкий, но аудиовыход, когда несколько клиентов начинают говорить одновременно, становится очень нечетким.

Я также попробовал свой алгоритм микширования звука, используя его для файлов на моем ПК, и он работал хорошо. Что мне нужно, так это смешать data packets, которые одновременно отправляются разными клиентами.

Нужно ли мне обрабатывать клиентов в разных потоках? Я что делаю неправильно? есть ли способ лучше? пожалуйста, помогите мне в этом. Спасибо!

Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
В компьютерном программировании биты играют важнейшую роль в представлении и манипулировании данными на двоичном уровне. Побитовые операции...
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Приходилось ли вам сталкиваться с требованиями, в которых вас могли попросить поднять тревогу или выдать ошибку, когда метод Java занимает больше...
Полный курс Java для разработчиков веб-сайтов и приложений
Полный курс Java для разработчиков веб-сайтов и приложений
Получите сертификат Java Web и Application Developer, используя наш курс.
11
0
294
1

Ответы 1

Я не знаю, смогли ли вы отладить, как там сливаются пакеты, но после прочтения я бы сказал, что проблема в том, что каждый полученный пакет порождает свой собственный поток, который затем отправит текущий объединенный пакет.

Например. если это три клиента A, B и C, отправляющие пакеты 1 и 2, слияние будет следующим:

  • A1 вход -> A1 выход
  • B1 in -> B1, или может быть A1 + B1 out
  • C1 in -> C1, или B1 + C1, или даже A1 + B1 + C1 out
  • A2 in -> A2 или C1 + A2 или ...
  • B2 в -> B2 или A2 + B2 или ...
  • C2 в -> C2 или B2 + C2 или ...

В этом упрощенном случае, похоже, он отправил бы шесть пакетов вместо двух идеальных - A1 + B1 + C1 и A2 + B2 + B2?

Очевидно, это потребует некоторых усилий, чтобы слияние получилось гладким, тем более что я уверен, что пакеты не будут приходить идеально синхронно - в конце концов, это UDP.

Если предположить, что можно работать по принципу `` объединить какие пакеты у вас есть '', это может сработать только для запуска потока отправки, когда либо у вас есть пакеты для всех текущих клиентов, либо если для одного из клиентов прибывает второй пакет, или, может быть, после тайм-аута на частоте дискретизации.

Я предполагаю, что это может привести к конфликту из-за all_bytes между получающим и отправляющим потоками. Возможно, будет лучше передать текущий all_bytes на работающий ReceiveData, как только будет получено достаточно пакетов, но затем запустить новый, чтобы прочитать больше пакетов. Или, по крайней мере, цикл массивов, если накладные расходы памяти / GC могут быть проблемой.

Другие вопросы по теме