Was meinst du mit "voll ausgelastet"? Eigentlich sollte die Release-Zeit immer länger werden, je weiter du das Poti aufdrehst.
Wenn dir das zu viel ist, und du deinen wichtigen Bereich nicht ordentlich einstellen kannst, dann kannst du das Poti kleiner machen - oder den Kondensator. Letzeres macht *alles* schneller, was m.E. eine gute Idee ist. Da ist ein 10 µF drin, ein 4,7µF halbiert oder ein 3,3µF drittelt alle Zeiten und lässt sich bei schnellen Hüllkurven differenzierter Einstellen.
Das mit dem Taster verstehe ich nicht, der liegt doch einfach am Gate an? Sicher, dass du das richtig verdrahtet hast und der Taster ein Schließer ist (usw.)