Geht schon, ist aber etwas umständlich. Brauchst auch kein Audio Interface dafür (aber würde ich Dir dringend empfehlen, bekommst für <200€ schon sehr gute Einsteigergeräte, z.B. Focusrite Scarlett 2i4...)
Google mal danach, wie Du in Reaper einem Plugin mehrere Outputs zuweist, die Du dann auf eigene Kanäle routen kannst.
Dann müsstest Du jeder Gruppe in Maschine bei den "Output" Settings jeweils einen eigenen Output der eben auf einen der getrennten Reaper-Kanäle zeigt (letzteres hättest Du mit dem obigen Punkt schon erledigt), zuweisen.
Der Punkt an dem man dann noch hängen bleiben könnte, ist
dass man in Reaper den "Record Mode" dieser Kanäle auf "OUTPUT" (!) stellen muss, damit er auch das aufnimmt was auf diesen Kanälen zu hören ist.
Ich hab sowohl Reaper in der neuesten Version als auch Maschine... wenn Du mehr Hilfe brauchst, schreibe mal detailliert auf wie weit Du alleinen kommst, dann versuch ich (am WE oder so) mal das nach zu basteln und fülle Dir hoffentlich die verbleibenden Lücken
