Сделано в такой вот программе: http://upload.wikimedia.org/wikipedia/commons/0/0a/Apophysis.png
Работает более или менее как всякое 3D: манипулирую формулы пока не получится что-то интересное, раскрашиваю, а потом рендерю =)
если интересно, могу подробнее рассказать, с картинками, или просто на join.me =)