L'IA au service du manga et de l'animation : eldorado ou illusion ?

Utile, amusant, futile ou catastrophique...L'intelligence artificielle ou plutôt le "machine learning" excite la curiosité et la créativité des éditeurs de manga et des producteurs d'animation. Dans ce premier épisode de notre enquête, nous avons cherché à savoir si les algorithmes pouvaient créer... Voici le premier volet d'une série de cinq épisodes.

Episode #1: Les machines peuvent-elles créer?  

L'an 2000 et son fameux bug informatique sont un lointain passé, et la majorité des prophéties science-fictionnesque n'ont pas eu lieu (à part malheureusement celles nées sous la plume de George Orwell). Les voitures volantes ne pullulent pas dans le ciel, Mars et la lune restent des destinations lointaines et inhabitables, et Skynet ne s'est pas encore réveillé. Mais la recherche autour de l'intelligence artificielle, elle, a fait de grands progrès - notamment dans le "machine learning". Derrière ce terme technique se cachent des algorithmes qui ne se contentent pas de reproduire un schéma défini dans le code, mais qui peuvent apprendre et donc, partiellement, évoluer. De nombreux projets, bénéfiques comme néfastes, ont vu le jour, du système de prévention du diabète aux "deepfakes". L'industrie du manga et de l'animation a elle aussi été touchée par le phénomène, de la création automatisée de manga, comme le projet Kioxia chez Kodansha, à la transformation automatisée de décors d'animation à partir de prises de vues réelles chez Toei Animation, sous la supervision de Toshihiro Miura, le rédacteur en chef du magazine Morning. Un système de prédiction des stock intelligents est en cours de test chez Kodansha, Shueisha et Shogakukan avec la société informatique Marubeni, afin de diminuer les taux de retours.

Pour le grand public, les images générées artificiellement prennent la forme des créations étranges et fantastiques des services comme Dall-E et Mid Journey. Grâce à ceux, des utilisateurs ont revisité des affiches de film à la sauce manga, d'autres ont généré les images d'une bande dessinée.

En 2020, sous le nom de code 2020 les équipes du labo de recherche de Kioxia se sont associées à celles de Tezuka Production et de Kodansha pour lancer le projet Tezuka 2020. C'est le projet le plus ambitieux de création assistée par intelligence artificielle : créer un nouveau manga dans l'univers d'Osamu Tezuka, le dieu du manga. Pour ce projet, les équipes ont décidé de confier à une IA, nourrie de l'œuvre de Tezuka, la responsabilité de la création de nouveaux personnages ainsi que d'un scénario. " L'attrait qu'exerce l'œuvre de Tezuka a été un facteur clé dans ce projet. Les gens sont venus sur ce projet pour le défi que représentait Osamu Tezuka.  C'est pourquoi, je doute qu'un autre projet de cet envergure puisse voir le jour de si tôt",  explique Toshihiro Miura, le rédacteur en chef du magazine Morning.  D'ailleurs de nombreux ingénieurs du groupe Kioxian dont Ryohei Orihara, le responsable du labo de recherche en charge du projet, ont vu naître leur vocation grâce au célèbre personnage de Tezuka, Atomboy (Astro le petit robot).

Pour Toshihiro Miura, cette aventure a rappelé " à quel point le processus de création de manga est difficile et exigeant. Je trouve impressionnant que des humains puissent créer des histoires et imaginer des mises en scène originales et complexes". L'apprentissage, clé essentielle pour entraîner un modèle de machine learning, se retrouve également chez l'humain note l'éditeur: " La créativité d'un auteur est intimement liée à ses influences culturelles et toute les connaissances qu'il a emmagasiné de toutes parts".

Pourtant, la création d'histoire complète semble aujourd'hui impossible. Et le machine learning semble mieux s'appliquer pour des créations de design simple, assure Toshihiro Miura : " La conception de fragments isolés, des éléments de design me semblent plus accessibles que la création d'histoire. Pour la génération d'un scénario ou des profils des personnages, si les outils peuvent mettre en exergue certaines clés ou patterns en analysant ce qui a été créé auparavant, ils ne tiennent pas compte des émotions humaines. Alors, en ce qui me concerne, il m'apparaît impossible que l'algorithme remplace l'humain à ce niveau". Est-ce qu'un jour les algorithmes seront amenés à se substituer aux éditeurs ? C'est peu probable, même si c'est la plus grande inquiétude que soulève cette nouvelle technologie pour ces derniers, comme nous l'explique Toshihiro Miura.

Puisque confier l'intégralité du processus créatif à une machine n'est pas encore viable, comme le montre ce projet le projet Mr Puzzles ci-dessus, il peut s'avérer efficace pour analyser des tendances et pitcher des concepts jusqu'à ce qu'un humain s'en empare et y ajoute de l'émotion. Pour l'instant, la créativité des autrices et auteurs de manga reste irremplaçable, quel que soit le degré de maturité d'un algorithme. Mais il existe des domaines dans lesquels ils ont déjà fait leur preuve. Dans le prochain volet de notre enquête nous verrons où les algorithmes peuvent apporter leur aide dans la traduction des mangas.