Я думаю, вы могли бы сделать это по-другому, но, возможно, стоит попробовать - идея AWT; измените размер изображения перед установкой его в качестве значка пункта меню:
// myIcon is your image icon
imageToolkit = java.awt.Toolkit.getDefaultToolkit;
iconImage = imageToolkit.createImage(myIcon);
iconImage = iconImage.getScaledInstance(32,32,iconImage.SCALE_SMOOTH);
// set this icon for the menu