Live Videosynthese / Animation; war: Critter&Guitari ETC

[oli]

View: https://twitter.com/cables_gl/status/1153258754332352512

 

[fanwander]

> cables.gl
Ich habe mich mal bei denen mal für die Betatester_Liste beworben, und bin zwei Wochen später auch aufgenommen worden. Der erste Eindruck ist ziemlich überwältigend - jetzt nicht nur im Begeisterungssinne, sondern leider auch im Sinne von "Uff, ist das viel auf einmal!" Aber es gibt gute Einführungsvideos.

 

[oli]

Habt ihr schon das kostenlose EbSynth mitbekommen?


https://youtu.be/eghGQtQhY38


"Start-up Secret Weapons has released EbSynth, an interesting free tool for converting video footage into stylised ‘motion paintings’.
The software transfers the look of one or more manually generated style frames to those from the video, creating the look of hand-painted animation.
Based on recent research in style transfer and texture synthesis
EbSynth is based on research from the Czech Technical University in Prague and Adobe Research, led by Secret Weapons founder Ondřej Jamriška, whose work has featured on CG Channel in the past.
Unlike other work done in the field, it isn’t based on machine learning, but uses a “state-of-the-art implementation” of non-parametric texture synthesis algorithms."

Free tool EbSynth turns video into hand-painted animation | CG Channel

Now in beta: neat app applies the look of hand-painted stills to video. Now exports direct to After Effects.

www.cgchannel.com

 

[oli]

Smode und Touch Designer werden hier vorgestellt.

Real time visuals, no money spent: two great commercial tools - CDM Create Digital Music

Real-time design and live visuals can provide transformative powers. But what if you’re not ready to commit both time and money right away? Here are two industrial-strength tools that get you started for free. Meet Smode and TouchDesigner.

cdm.link

 

[oli]

@Moogulator Wäre das sinnig diesen Thread zu pinnen, damit man für Live-Visuals nen "Übersichts-Thread" hätte?

 

[oli]

Ein Midi-Visualisierer in 3D
Geht sogar in Echtzeit!

Midi Space App von Derrick Ward

"MIDI Space renders your MIDI music into an animated 3D scene. Each note is represented as a 3D bar, with color and Z-position based on the instrument. The app makes it quick and easy to switch between 6 different camera angles. Pan and pinch the screen to adjust the camera position. Long press to show or hide the button controls. Easily connect any MIDI controller/instrument or MIDI port using Core Midi or Audiobus. Open and play any general MIDI (.mid) file from your device or cloud. MIDI Space even allows you to control the camera angle and position directly from your controller/instrument!


Customize your 3D scene using the following settings:


- note names
- star background
- beat lines
- blue background
- show animated pitch bends
- show note velocity
- Use configurable CC's from your MIDI controller to change camera angles and/or zoom"

‎MIDI Space

‎MIDI Space renders your MIDI music into an animated 3D scene. Each note is represented as a 3D bar, with color and Z-position based on the instrument. The app makes it quick and easy to switch between 6 different camera angles. Pan and pinch the screen to adjust the camera position. Long press...

apps.apple.com

Demo-Video ist mit dem Simpsons-Titel-Song gemacht


https://youtu.be/Wdw7cha77Mw

 

[oli]

Fürs iPad und iPhone -> VFX - Music Video Maker
(habs noch nicht getestet)

‎VFX - Music Video Editor

‎VFX is a powerful and unique Music Video Editor, Glitch app and Live Performance VJ tool for iPhone and iPad. Build and craft your own effects, where every parameter can react to Audio, MIDI, Gyroscope and Touch X/Y. Shoot live, or edit recorded videos, add GIFs or unique effects like glitch...

apps.apple.com

 

[oli]

Beispiele für VFX vom Macher Isak Burström


https://www.instagram.com/p/B4_DnkEHdNb/



https://www.instagram.com/p/B5TXyKYHDCG/



https://www.instagram.com/p/B5R4-kpHnTp/



https://www.instagram.com/p/B5QCG8YHBoh/

 

[fanwander]

VFX - Music Video Maker

Da steht zwar was mit "No render times until final export" aber ich finde nirgends, welches format und wohin man exportieren kann.

 

[oli]

Da steht zwar was mit "No render times until final export" aber ich finde nirgends, welches format und wohin man exportieren kann.

...ich war leider bisher entweder zu faul (iPhone) oder zu zufrieden mit meinem Audio-Apps-Setup (iPad), daher hab ich noch kein Gerät auf iOS13 geupdated, was notwendig ist, um VFX zu installieren. Lange Rede, kurzer Sinn, ich kann dir leider keinen wirklich kompetenten Tip aus eigener Erfahrung dazu geben, sondern nur aufgrund dieses Videos hier mutmaßen, wie das laufen könnte mit dem exportieren.

Am oberen Bildrand ist so ne Art Ladebalken - ich denke, sie soll die Timeline darstellen.
Im Youtube-Video sieht man in dieser Timeline auch so kleine vertikale Streifen, die anzeigen, dass danach ein neuer Videoschnipsel oder -part kommt.
Ich glaube, die Parts kann man mit dem roten Record-Button unten generieren.
Sobald die Timeline bzw. der Ladebalken voll ist (die Länge ergibt sich wahrscheinlich aus dem reingeladenen Musikschnipsel?) ist man quasi fertig und entweder man kommt dann automatisch in den Bereich, wo man speichern kann (im Video ist das bei ca. 2:38) oder man muss von rechts nach links über den Bildschirm streichen.
Leider sieht man im Video nicht, was danach kommt, also nachdem man "Save" gedrückt hat.
Vielleicht kann man es dann in seinem Video-Bereich seiner Foto-App speichern?
Zumindest ist das bei meiner Foto-Editier-App so, dass editierte Fotos auch dort gespeichert werden, wo die Originalfotos abgelegt werden im Iphone.
Könnte mir vorstellen, dass das selbsterstellte Videos auch wie die selbstaufgenommenen Videos automatisch im h264/mp4- oder mov-Format abgespeichert wird.

PS. ich mach jetzt mal nen Backup und versuche das iPhone auf das neueste iOS zu updaten...dann kann ich mir die vfxapp auch aufspielen...


https://www.youtube.com/watch?v=xzrMXAetGtI

 

[einseinsnull]

da fehlt schon wieder der katzencontent.

 

[oli]

da fehlt schon wieder der katzencontent.

Für dich mein Kätzchen ? ...auch mit John Lennon Brille


https://www.instagram.com/p/B77AaGSB8Va/

 

[Jens Groh]

Vuo 2.0 ist raus.
Vuo (Mac-only) ist wie ein Modular-Softsynth, aber für Live-Visuals. Man zieht "Strippen" zwischen Kästchen wie in Max/MSP, PureData, Bidule und ähnlichen. Mit Audio, MIDI, OSC? Selbstverständlich. Es ist eine wirklich würdige Ablösung des verwahrlosten Quartz Composer von Apple. Im Vergleich mit Letzterem bin ich gerade ziemlich überwältigt von der Fülle an gebotenen Features.
Neu ist, dass es eine gratis Community-Edition für den Privatgebrauch gibt. Macht mir Lust, meine alten Quartz-Composer-Versuche noch mal nachzubauen und weiterzuspinnen.

 

[fanwander]

Vuo 2.0 ist raus.
Vuo (Mac-only) ist wie ein Modular-Softsynth, aber für Live-Visuals.

Oh, das ist ja toll. Das kannte ich nicht. Danke für den Tipp!

 

[fanwander]

Vuo 2.0 ist raus.

Also ich muss da nochmal meinen Senf dazugeben. Das ist wirklich großartig. Ich habe zwar bis her nur Presets verändert, aber Vuo schlägt wirklich alles, was ich bisher kannte - schlicht weil es verständlich ist. Ich habe noch garnicht mit MIDI und Audio gearbeitet, aber ich fürchte, auch das ist der Hammer.

 

[fanwander]

Hier mal ein kleines Beispiel auf die Schnelle. Die Cam meines Macbook durch das Preset "SlitScanMixingInk", einfach mal an ein paar Parametern des "Bulge Image" und des "Make Cartoon Image" gedreht. Ich guck immer zur Seite, weil auf meinem zweiten Bildschirm die Bedienoberfläche ist.
Die Falschfarben am Anfang sind Schrott aus der Runter-Konvertierung von hochauflösendem mov ins mp4 mit VLC
Anhang anzeigen vuo.mp4

















Aufgenommen habe ich per Screen-Grabber. Export habe ich in Vuo noch nicht probiert

 

[banalytic]

EYESY Video Synthesizer - Critter & Guitari

gerade entdeckt und sehr spannend! ein visualizer von critter & guitari - im moment noch kickstarter: https://www.kickstarter.com/projects/critterandguitari/eyesy-video-synthesizer




Vielleicht sogar einen eigenen Thread wert?! Falls ja, bitte in was neues verschieben

 

[fanwander]

Hmm, das ist die ETC auf Raspberry PI 3 (was leistungsmäßig dringlich, nötig war). Pedal/Trigger-Input ist weg, dafür ist Video-Out da. Letzteres finde ich gut. Inhaltlich aber komplett identisch.
Was jetzt cool wäre: Nachrüstsatz für ETC-Owner, oder zumindest eine Upgrade-Angebot.

Man kann nur hoffen, dass sie das Ding jetzt so bauen, dass man die Standardmainboard-Einheit tauschen kann und die Oberfläche behalten kann.

 

[noir]

Man kann nur hoffen, dass sie das Ding jetzt so bauen, dass man die Standardmainboard-Einheit tauschen kann und die Oberfläche behalten kann.

Es ist die Rede von "Industral Module". Damit meinen die wohl das Compute Module. Allerdings würde ein Upgrade auf den RasPI 4 (Wenn er denn mal als Compute Module kommt) eventuell zusätzliche Kühlung erfordern.

 

[fanwander]

Ich hab auch im Critter-Forum nachgefragt, und der eine der beiden (oweno) meinte dann in PM, dass es theoretisch gehen könnte, und dass er es bei Gelegenheit mal ausprobieren wird.

 

[ollo]

Habt ihr schon das kostenlose EbSynth mitbekommen?


https://youtu.be/eghGQtQhY38


"Start-up Secret Weapons has released EbSynth, an interesting free tool for converting video footage into stylised ‘motion paintings’.
The software transfers the look of one or more manually generated style frames to those from the video, creating the look of hand-painted animation.
Based on recent research in style transfer and texture synthesis
EbSynth is based on research from the Czech Technical University in Prague and Adobe Research, led by Secret Weapons founder Ondřej Jamriška, whose work has featured on CG Channel in the past.
Unlike other work done in the field, it isn’t based on machine learning, but uses a “state-of-the-art implementation” of non-parametric texture synthesis algorithms."

Free tool EbSynth turns video into hand-painted animation | CG Channel

Now in beta: neat app applies the look of hand-painted stills to video. Now exports direct to After Effects.

www.cgchannel.com

Das Teil ist mal richtig geil, habe nur ein paar Tests machen können aber die waren schon ganz witzig. Ich brauche noch irgendwas, was aus Videos eine Bilderreihe macht und umgekehrt, die Konverter im Netz waren nicht so dolle, werde ich die Tage nochmal etwas rumprobieren.

 

[oli]

Das Teil ist mal richtig geil, habe nur ein paar Tests machen können aber die waren schon ganz witzig. Ich brauche noch irgendwas, was aus Videos eine Bilderreihe macht und umgekehrt, die Konverter im Netz waren nicht so dolle, werde ich die Tage nochmal etwas rumprobieren.

Wenn du aus Videos Bilderreihen machen möchtest, kannste das auf allen Plattformen kostenlos erhältliche VLC nutzen:


https://youtu.be/4NuK7wSQUNs


Für die andere Richtung, also aus Bilderreihen Videos zu erstellen, überlege ich auch mal. Vielleicht fällt mir was ein...

 

[oli]

Das Teil ist mal richtig geil, habe nur ein paar Tests machen können aber die waren schon ganz witzig. Ich brauche noch irgendwas, was aus Videos eine Bilderreihe macht und umgekehrt, die Konverter im Netz waren nicht so dolle, werde ich die Tage nochmal etwas rumprobieren.

Also mit nem anderen kostenlosen Programm, nämlich Blender, kannste Bilderreihen zu Videos wandeln. Ich fürchte nur, das Thema ist etwas zu „nerdig“ - zumindest sind es schon einige Parameter und Schritte, bis man am Ziel angekommen ist.
Hier erklärt einer diesen Workflow grob und zwischendurch etwas seltsam, wenn er seine Stimme runterpitcht (keine Ahnung wieso er das macht) ...


https://youtu.be/TO8mNHLTEac

 

[ollo]

Danke, bei VLC hatte ich nur kurz beim Konvertieren geguckt und auf die schnelle nichts passendes gefunden aber wenn das doch geht, umso besser. Blender habe ich auch installiert, da ist meine Erfahrung aber ziemlich bei Null, das werde ich aber bestimmt hinkriegen. Danke nochmal.

 

[ollo]

Leider scheint das mit dem VLC Mediaplayer nicht so richtig zu funktionieren. Obwohl ich beim Aufnahmeverhältnis 1 eingestellt habe, wird nur gefühlt jedes 10 Bild als Frame gespeichert. Muss ich wohl nochmal rumgooglen, woran das liegen könnte, es ruckelt nämlich ziemlich bei der Wiedergabe mit dem Szenen-Filter.

EDIT, Problem gelöst, wenn ich nicht png sonder jpg nehme, geht es ohne Probleme, super.

 

[oli]

Leider scheint das mit dem VLC Mediaplayer nicht so richtig zu funktionieren. Obwohl ich beim Aufnahmeverhältnis 1 eingestellt habe, wird nur gefühlt jedes 10 Bild als Frame gespeichert. Muss ich wohl nochmal rumgooglen, woran das liegen könnte, es ruckelt nämlich ziemlich bei der Wiedergabe mit dem Szenen-Filter.

EDIT, Problem gelöst, wenn ich nicht png sonder jpg nehme, geht es ohne Probleme, super.

Ah cool.
Ja, ich hatte eben auch nochmal online geschaut, woran es liegen könnte und es wurden folgende Tips gegeben...
1. man soll als Admin angemeldet sein
2. in neueren Versionen (aufm Mac z.B.) kann es sein, dass es nicht gleich exportiert, sondern man soll das Programm schliessen, wieder öffnen und dann soll es wohl gehen, wenn man auf Play drückt.

Was ich heiss fand, war, dass es eigentlich wohl nicht so ist, dass die Einzelbilder wie bei anderen Programmen exportiert werden (quasi "offline"), sondern dass VLC während des Abspielens diese Einzelbilder abspeichert und es daher auch zu Problemen kommen kann, nämlich z.B. "verschluckten" Bildern. Total crazy, sowas hab ich noch nie mitbekommen.
D.h. falls z.B. der Rechner zu langsam ist oder mit anderen Programmen belastet ist / zuwenig RAM zur Verfügung steht, könnten einzelne Bilder nicht exportiert werden.

Lange Rede kurzer Sinn: cool, dass es bei dir geklappt hat.
Aber eigentlich ist es leider mit Vorsicht zu geniessen...

 

[oli]

Habe dann eben nochmal überlegt, was es sonst noch so an kostenlosen Tools gibt, und womit man Einzelbilder exportieren könnte und da ist mir OpenShot eingefallen.

OpenShot Videobearbeitungssoftware | Freie, offene und preisgekrönte Videobearbeitungssoftware für Linux, Mac und Windows!

OpenShot ist eine preisgekrönte, freie und open-source Videobearbeitungssoftware für Linux, Mac und Windows. Erstellen Sie Videos mit spannenden Videoeffekten, Titeln, Audiospuren und Animationen.

www.openshot.org

Habe es eben mal runtergeladen und den Workflow getestet mit dem Export von Einzelbildern und hinterher habe ich sie auch wieder zu einem Video zusammengesetzt. Geht also in beiden Richtungen quasi, also so wie du das gerne hättest.

Workflow Video zu Bilderreihe:
- erstmal die Auflösung und Abspielrate herausbekommen von deinem Quellvideo (ich mache das im Quicktime Player aufm Mac oder mit dem VLC Player unter "Informationen")
- unter File -> Choose Profile kannste die Auflösung und Abspielrate aus Presets auswählen (lässt sich die Auflösung und Abspielrate nicht auch selber händisch eingeben?)
- dann Openshot öffnen und dein Video oben links ins Projektfenster ziehen
- das anklicken und auf ne Timeline unten ziehen (z.B. auf Track 1)
- unter File -> Export Project -> Export Video (oder einfach den roten Button im Menu drücken) kommste ins Export-Fenster. Dort den Speicherpfad und Namen festlegen
- den Reiter "Advanced" anwählen und unter "Export to" dann "Image Sequence" auswählen
- im Exportfenster unter "Profile" sollte die Auflösung und Abspielrate aus den zu Beginn festgelegten Profileinstellungen stehen. Falls nicht, anpassen.
- zum Schluss im Exportfenster auf "Export Video" klicken

Workflow Bilderreihe zu Video:
- auch erstmal genauso ein Projekt anlegen wie beim anderen Workflow
- dann über Import das erste Bild aus der Bilderreihe anwählen und auf OK klicken. Dann solltest du gefragt werden, ob du die gesamte Bildersequenz importieren möchtest. Auch bestätigen
- anschliessend die Bilderreihe (die genauso wie ein Video im Projektfenster aussieht) auf die Timeline unten ziehen (z.B. auf Track 1)
- und zum Schluss auf File -> Export Project -> Export Video gehen. Dort den Speicherpfad und Namen festlegen
- den Reiter "Simple" anwählen und unter "Target" eines der Videoexportpresets anwählen
- zum Schluss im Exportfenster auf "Export Video" klicken.
Fertig

 

[binary tubes]

Danke.

Werde ich mir anschauen.
Sieht eh nach einer guten Alternative aus.

 

[binary tubes]

Habe dann eben nochmal überlegt, was es sonst noch so an kostenlosen Tools gibt, und womit man Einzelbilder exportieren könnte und da ist mir Open Shot eingefallen.
...

Danke, ich hab mir den angeschaut, aber ich komme damit nicht klar. Es schafft nicht einmal eine Audio Spur von einem mit OBS erstelltem *.mp4 zu exportieren (bzw. die dann als Audio Spur) anzeigen. Das ist ja noch schlimmer als beim Video Pad Editor.
Schade.

Ich bräuchte manchmal etwas, wo ich die Audiospur ersetzten muss. Und um das synchron hinzubekommen, wäre in ein Audio zu Zoomen, nützlich.
Ich brauch da kein Wave Lab. Aber viele Programme schaffen es nicht, das man die Audio Spuren größer machen kann.

 

[oli]

Danke, ich hab mir den angeschaut, aber ich komme damit nicht klar. Es schafft nicht einmal eine Audio Spur von einem mit OBS erstelltem *.mp4 zu exportieren (bzw. die dann als Audio Spur) anzeigen. Das ist ja noch schlimmer als beim Video Pad Editor.
Schade.

Im OBS-Forum empfiehlt der Forumsteilnehmer FerretBomb generell diesen Workflow:
"NEVER EVER RECORD TO MP4 DIRECTLY WITH OBS FOR ANY REASON.
MP4 is not a recording-safe format, and many video editors have problems with OBS native-mp4 recordings, especially Premiere. Record to MKV or FLV, then use the 'Remux Recordings' option in OBS' File menu to convert the completed recording to mp4. Premiere should take the remuxed files with no problems."

Question / Help - Adobe premiere pro doesn't like obs files!

So I have this problem where adobe premiere pro takes many minutes (3-15) to import obs files and once they have been imported in, the playback is very choppy and laggy and slow. The solution that I currently have is to use the edit and trim of windows film and make copies of a files (it takes a...

obsproject.com

Er hat wohl auch die besten Erfahrungen mit dem Schnittprogramm Vegas zur weiteren Bearbeitung gemacht:

"More on-topic, just checking to be safe, but are you recording to MKV or FLV and remuxing to MP4 for use with Premiere/Resolve? Both are very well-known for having significant problems with mp4 files recorded directly by OBS, while working fine with remuxed-from-mkv versions. Color-shift, stuttering playback, failed scrubbing, missing audio, even outright crashing, while the remuxed versions work fine. I've also had a ton of issues with Resolve, and have moved over to using Vegas instead."

(Vegas Pro kostet zur Zeit 299 Euro in der Kaufversion: https://www.vegascreativesoftware.com/de/vegas-pro/?_oB=vegas-pro )

Question / Help - Need Video Editors for H.264 I444 ( High 4:4:4 Predictive)

So I have been experimenting with OBS' I444 color space and found the videos look very much on par with what is present on screen. Details in red/redish colors are not lost in this mode. In other modes, the red/redish objects are blurred. Now H.264 in I444 uses High 4:4:4 Predictive YUV 8-bit...

obsproject.com

Übrigens, nur für den Fall, dass jemand hier im Forum mal nach Screen Recording Software oder so schauen sollte, hier noch die Erklärung von OBS auf Wikipedia:
Open Broadcaster Software (OBS) ist eine freie Software, um den Bildschirminhalt eines PCs aufzuzeichnen oder über das Internet zu übertragen (Live-Streaming).

Ich bräuchte manchmal etwas, wo ich die Audiospur ersetzten muss. Und um das synchron hinzubekommen, wäre in ein Audio zu Zoomen, nützlich.
Ich brauch da kein Wave Lab. Aber viele Programme schaffen es nicht, das man die Audio Spuren größer machen kann.

Kann da nur aus eigener Erfahrung Adobe Premiere empfehlen, da geht das.
Ist aber auch Mietsoftware...
Ansonsten sieht der Audiobereich in Vegas (auf ihrer Webseite) auch so aus, als ob er für deinen Einsatzzweck taugen könnte...