parece ser que se pueden mostrar los iconos en el menu , pero de momento veo que hablan de openbox 3.5 , ....no se si intentar updatearlo , ...por que no interfiere en lo del script en que estas trabajando.
aunque primero deberia probar si la 3.4 acepta mostrar los iconos.
segun he leido , archivo
rc.xml
en la parte de menu
<applicationIcons>yes</applicationIcons>
<showIcons>yes</showIcons>
y si no estan , agregarlas....
despues ya en el menu , ...ir añadiendo a las categorias la opcion
icon="/ruta/del/icono.png"