das ist viel zu viel. Ich verwende zum Teil ähnlich alte Hardware aber musste noch nie 1024 Samples puffern und knapp 100ms Gesamtlatenz sind ein Zeichen, dass im System etwas nicht stimmt. Denn 1024 Samples ergeben ohne dass der Computer noch zusätzkich reinfunkt 46ms Roundtriplatenz, die weiteren ~50ms kommen aus einem Flaschenhals in Deinem System, den musst Du finden, sonst wird das nix.
Ein i7 hat ja 4 Kerne bzw. 8 Threads, da sollte bei einer Last von 140% noch lange nicht der Ofen ausgehen, es sei denn, dass entweder ein nicht mutliprozessfähiger Thread das System blockiert oder ein Thread auf einem Lock oder auf einer Semaphore wartet.