Я работаю над проектом, в котором мне нравится добавлять функциональность нажми чтобы говорить и
У меня android в качестве клиентов и java в качестве сервера. Я отправляю bytes с AudioRecord на мой сервер и транслирую его обратно подключенным клиентам.
Моя проблема заключается в микшировании data от разных клиентов, которые были отправлены одновременно.
Вот что я пробовал на своем сервере:
static boolean status = true;
static int port = 1938;
static byte[] mixed_audio;
static byte[][] all_bytes;
static int client_count = 0;
static DatagramSocket socket;
static ArrayList<InetAddress> addresses;
public static void main(String args[]) throws Exception {
DatagramSocket serverSocket = new DatagramSocket(port);
System.out.println("Listening. . .");
addresses = new ArrayList<>();
for(int x = 0; x < args.length; x++){
if (args[x].equals("-p")){
port = Integer.parseInt(args[x+1]);
}
}
byte[] receiveData = new byte[1400];
DatagramPacket receivePacket = new DatagramPacket(receiveData,
receiveData.length);
socket = new DatagramSocket();
while (status == true) {
all_bytes = new byte[1400][1400];
mixed_audio = new byte[1400];
serverSocket.receive(receivePacket);
int a = addresses.indexOf(receivePacket.getAddress());
if (a < 0 ){
addresses.add(receivePacket.getAddress());
}
client_count++;
all_bytes[client_count] = receivePacket.getData();
new Thread(new ReceiveData(receivePacket.getData(), receivePacket.getAddress())).start();
}
}
public static class ReceiveData implements Runnable{
byte[] data;
InetAddress address;
public ReceiveData(byte[] b, InetAddress address){
this.data = b;
this.address = address;
}
@Override
public void run() {
try {
for(int i = 0; i < 1400; i++){
for(int j = 0; j < 1400; j++){
mixed_audio[j] += all_bytes[i][j];
}
}
if (client_count > 1){
int c=0;
for(int x = 0; x < 1400; x++){
mixed_audio[x] = (byte) (mixed_audio[x] / client_count + 1);
}
}else{
mixed_audio = data;
}
client_count--;
for(InetAddress add: addresses){
if (add != address){
DatagramPacket packet;
packet = new DatagramPacket(mixed_audio, mixed_audio.length, add, port);
socket.send(packet);
}
}
} catch (IOException ex) {
//Logger.getLogger(TeraMix.class.getName()).log(Level.SEVERE, null, ex);
}
}
}
Аудиовыход, когда говорит только один клиент, четкий, но аудиовыход, когда несколько клиентов начинают говорить одновременно, становится очень нечетким.
Я также попробовал свой алгоритм микширования звука, используя его для файлов на моем ПК, и он работал хорошо. Что мне нужно, так это смешать data packets, которые одновременно отправляются разными клиентами.
Нужно ли мне обрабатывать клиентов в разных потоках? Я что делаю неправильно? есть ли способ лучше? пожалуйста, помогите мне в этом. Спасибо!




Я не знаю, смогли ли вы отладить, как там сливаются пакеты, но после прочтения я бы сказал, что проблема в том, что каждый полученный пакет порождает свой собственный поток, который затем отправит текущий объединенный пакет.
Например. если это три клиента A, B и C, отправляющие пакеты 1 и 2, слияние будет следующим:
В этом упрощенном случае, похоже, он отправил бы шесть пакетов вместо двух идеальных - A1 + B1 + C1 и A2 + B2 + B2?
Очевидно, это потребует некоторых усилий, чтобы слияние получилось гладким, тем более что я уверен, что пакеты не будут приходить идеально синхронно - в конце концов, это UDP.
Если предположить, что можно работать по принципу `` объединить какие пакеты у вас есть '', это может сработать только для запуска потока отправки, когда либо у вас есть пакеты для всех текущих клиентов, либо если для одного из клиентов прибывает второй пакет, или, может быть, после тайм-аута на частоте дискретизации.
Я предполагаю, что это может привести к конфликту из-за all_bytes между получающим и отправляющим потоками. Возможно, будет лучше передать текущий all_bytes на работающий ReceiveData, как только будет получено достаточно пакетов, но затем запустить новый, чтобы прочитать больше пакетов. Или, по крайней мере, цикл массивов, если накладные расходы памяти / GC могут быть проблемой.