TransferHandler без макета

TransferHandler предназначен для передачи данных, а не для перемещения кнопки по панели. Таким образом, макет не имеет никакого значения.

В вашем случае вы устанавливаете TransferHandler для «текста», что означает, что вы пытаетесь передать «текст» кнопки в какой-то другой компонент.

btn.addMouseListener(new MouseAdapter(){
    public void mouseDragged(MouseEvent e){
        Dimension size=btn.getPreferredSize();
        JButton button = (JButton)e.getSource();
        TransferHandler handle = button.getTransferHandler();
        handle.exportAsDrag(button, e, TransferHandler.COPY);
    }
});

В MouseListener нет события mouseDragged. Событие mouseDragged генерируется в MouseMotionListener.

Когда я добавляю MouseListener к компоненту для поддержки DnD, я всегда добавляю логику к событию mousePressed.

Прочтите раздел руководства по Swing на Перетаскивание и передача данных для получения дополнительной информации и примеров, которые помогут вам начать работу.

Прочитав предыдущие ответы и прочитав документацию, опубликованную @camickr, я заметил, что transferHandler - это не совсем то, что я искал. Мне нужно было перемещать компонент по одной панели JPanel, а не перетаскивать его копию на другую панель или компонент. в итоге я просто использовал функцию setLocation компонента с комбинацией MouseEvents и mouseMotionListeners.

protected class DragProcessor extends MouseAdapter implements MouseListener, MouseMotionListener {
    Point pressPoint;
    Point releasePoint;

    @Override
    public void mouseDragged(MouseEvent e) {
        Point dragPoint = e.getPoint();

        int xDiff = pressPoint.x - dragPoint.x;
        int yDiff = pressPoint.y - dragPoint.y;

        Rectangle b = button.getBounds();
        Point p = b.getLocation();
        SwingUtilities.convertPointToScreen(p, button.getParent());
        p.x -= xDiff;
        p.y -= yDiff;
        SwingUtilities.convertPointFromScreen(p, button.getParent());

        button.setLocation(p);
        repaint();
    }

    @Override
    public void mousePressed(MouseEvent e){
        pressPoint = e.getPoint();
        button = (JButton)e.getSource();
    }

    @Override
    public void mouseReleased(MouseEvent e){
        releasePoint = e.getPoint();

        if (e.getButton() == MouseEvent.BUTTON3) {
         // do whatever it is when the right button is pressed
        } else {

            int xDiff = pressPoint.x - releasePoint.x;
            int yDiff = pressPoint.y - releasePoint.y;

            Rectangle b = button.getBounds();
            Point p = b.getLocation();
            SwingUtilities.convertPointToScreen(p, panel.getParent());
            p.x -= xDiff;
            p.y -= yDiff;

            SwingUtilities.convertPointFromScreen(p, panel.getParent());
            if (p.x <= 0) {
                p.x = 1;
            }
            if (p.x > panel.getParent().getWidth() - b.width) {
                p.x = panel.getParent().getWidth() - b.width;
            }
            if (p.y <= 0) {
                p.y = 1;
            }
            if (p.y > panel.getParent().getHeight() - b.height) {
                p.y = panel.getParent().getHeight() - b.height;
            }
            button.setLocation(p);
            getParent().repaint();
        }
    }              
}

DragProcessor dragProcessor = new DragProcessor();
myButton.getMainButton().addMouseMotionListener(dragProcessor);
myButton.getMainButton().addMouseListener(dragProcessor);