[Spaßprojekt] Neurales Netz, welches Chatnachrichten generiert

👋 Du bist neu hier? Stell dich vor... Klick mich.

    Da mich neuronale Netze schon länger interessieren, wollte ich so etwas einfach mal selber ausprobieren.

    Die "KI" soll am Ende neue Chatnachrichten generieren, welche vorher noch nie geschrieben wurde.


    Dazu habe als Training-Data Chat-Logs verwendet (> 3.000.000 Nachrichten) und dem torch-rnn zum trainieren hingeworfen.


    Da ich selber viel zu wenig Ahnung von der ganzen Materie habe, möchte ich nichts versuchen zu erklären, bevor ich noch irgendwelche Falschinformationen verbreite :grinning_face_with_smiling_eyes:

    Hier ein paar Quellen, falls es jemanden interessiert: https://en.wikipedia.org/wiki/Recurrent_neural_network, https://www.tensorflow.org/guide/keras/rnn, https://de.wikipedia.org/wiki/…nstliches_neuronales_Netz, https://www.wfb-bremen.de/de/p…s-ist-ein-neuronales-netz


    Hier werde ich (wenn ich dran denke :winking_face_with_tongue:) nach jeden 1000 Iterationen das Ergenis des NN hinpacken.


    1000 Iterations:

    Ein paar deutsche Wörter; viele Satzzeichen willkürlich gesetzt


    2000 Iterations:

    Hat Farbcodes gelernt: nach jedem '&' kommt ein kleiner Char von 0-9a-fk-o; Werbungsbefehl (Fehler in der Trainingsdata, sollte *eigentlich* nicht auftauchen); Smileys gelernt (xD, ^^, ...); deutlich mehr deutsche Wörter; Satzzeichen nicht mehr so willkürlich; man sieht jetzt auch, dass die "KI" keinen Rechtschreibwettbewerb gewinnen wird, was aber bei dem Data-Set zu erwarten war :P)


    3000 Iterations:

    Einige Symbole (➟, ➲); etwas bessere "Grammatik" (wenn man das so nennen kann)


    4000 Iterations:


    5000 Iterations:

    6000 Iterations:

    7000 Iterations:

    ---


    6000 Iterations

    https://termbin.com/64g0


    7000 Iterations

    https://termbin.com/3o0g


    8000 Iterations

    https://termbin.com/oeqw


    9000 Iterations

    https://termbin.com/zw74d


    10000 Iterations

    https://termbin.com/zhdm


    12000 Iterations:

    https://termbin.com/016j


    13000 Iterations:

    https://termbin.com/guigm


    14000 Iterations:

    https://termbin.com/316j


    15000 Iterations:

    https://termbin.com/ltb8


    16000 Iterations:

    https://termbin.com/z8bgf


    17000 Iterations:

    https://termbin.com/28oy


    18000 Iterations:

    https://termbin.com/nw8s


    19000 Iterations:

    https://termbin.com/qw4v


    20000 Iterations:

    https://termbin.com/slkp


    21000 Iterations:

    https://termbin.com/a9pc


    22000 Iterations:

    https://termbin.com/ijpx


    23000 Iterations:

    https://termbin.com/bm2c5


    24000 Iterations:

    https://termbin.com/a9os


    25000 Iterations:

    https://termbin.com/noeu


    26000 Iterations:

    https://termbin.com/uph4


    27000 Iterations:

    https://termbin.com/7xz4v


    28000 Iterations:

    https://termbin.com/ncay


    29000 Iterations:

    https://termbin.com/q0ev


    30000 Iterations:

    https://termbin.com/pv5u


    31000 Iterations:

    https://termbin.com/kynw


    32000 Iterations:

    https://termbin.com/md79


    33000 Iterations:

    https://termbin.com/lo14r


    34000 Iterations:

    https://termbin.com/u5o3


    35000 Iterations:

    https://termbin.com/h8sv


    36000 Iterations:

    https://termbin.com/kxa1


    37000 Iterations:

    https://termbin.com/mu55c


    38000 Iterations:

    https://termbin.com/yg2l


    39000 Iterations:

    https://termbin.com/yij5


    40000 Iterations:

    https://termbin.com/ov50


    41000 Iterations:

    https://termbin.com/v99yh


    42000 Iterations:

    https://termbin.com/oevv


    43000 Iterations:

    https://termbin.com/5tgk


    44000 Iterations:

    https://termbin.com/fr9x


    45000 Iterations:

    https://termbin.com/d080


    46000 Iterations:

    https://termbin.com/qhx9


    ---


    Das war's dann erst mal von mir. Wenn es noch ein paar Evolutionen gab, werde ich die hier anhängen. Allerdings lernt sie auf einem Server, welcher keine Grafikkarte hat und somit über die CPU gerechnet wird, was deutlich langsamer, als mit einer vernünftigen GPU, ist.


    PS: Sehr wahrscheinlich sind auch Schimpfwörter und Fremdwerbungen in dem Data-Set, dafür übernehme ich keine Haftung :face_with_tongue:

    Ich denke wenn du einfach nur normale Sätze als Trainingsdaten benutzt wird das nicht viel denke es wäre besser wenn du eine Datenbank anlegst inder die Worte in Nomen, Adjektiv, Verb aufgeteilt werden und du deiner KI auch Grammatik Daten zum trainieren gibst denke so würden sinnvollere Sätze kommen ist aber nur ein schneller Gedankengang gewesen vielleicht hilfts dir ja :grinning_face_with_smiling_eyes:

    Ich fände es interessant, was er schreiben würde, wenn er nur deutsche sinnvolle Wörter und Grammatik sowie einige Minecraft spezifische Wörter aus einer Liste ausheben dürfte.

    Zitat von Yee1337

    Ich denke wenn du einfach nur normale Sätze als Trainingsdaten benutzt wird das nicht viel denke es wäre besser wenn du eine Datenbank anlegst inder die Worte in Nomen, Adjektiv, Verb aufgeteilt werden und du deiner KI auch Grammatik Daten zum trainieren gibst denke so würden sinnvollere Sätze kommen ist aber nur ein schneller Gedankengang gewesen vielleicht hilfts dir ja :grinning_face_with_smiling_eyes:

    Das Data-Set habe ich nicht. Und ich wäre auch viel zu Faul 3.000.000 Nachrichten nach dem Kram zu filtern :grinning_face_with_smiling_eyes:

    Zitat von AmpersandHD

    Ich fände es interessant, was er schreiben würde, wenn er nur deutsche sinnvolle Wörter und Grammatik sowie einige Minecraft spezifische Wörter aus einer Liste ausheben dürfte.

    Evtl. mal mit Open-Books testen. (Also öffentliche, frei verfügbare Bücher).

    Wurde halt schon 1000x gemacht, aber einen Chat eines Minecraft-CityBuild Servers habe ich noch nicht gesehen :grinning_squinting_face:

    Der Rechner läuft mittlerweile seit genau 30 Tagen - 134000. Iteration mit folgendem Ergebnis:


    Mehr ist da wahrscheinlich nicht rauszuholen, aber spannend war das Projekt auf jeden Fall :grinning_face_with_smiling_eyes:

    Paar nette Wortschöpfungen drin : -)


    Futzkraft, Glowstorben, Netherzähle


    Ein Problem des Projekts wird auch die mängelbehaftete Qualität des Inputs sein. Im chat achten ja nicht alle (wenige) auf korrekte Schreibweisen, Satzzeichen und Lücken zwischen Wörtern. Vielleicht mal erst eine Rechtschreibkorrektur über den Input laufen lassen.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden