Tag Archives: python

Horloge parlante à la demande

Bonjour à tous!

Dans la série des projets un peu fou, je voudrais vous parler de mon horloge parlante !?

D’abord, un peu de contexte. Depuis peu, je fréquente un serveur discord (The language sloth) dédié à l’apprentissage des langues.
Je participe à ma hauteur pour aider les débutants en français. Ce n’est pas mon métier mais l’ambiance est assez cool.

De coup, je me suis dit un peu renseigner sur les connaissances à avoir pour obtenir le niveau A1 (le minimum).
Il y a comprendre l’heure. Sur ce constat, j’ai démarré un petit projet pour proposer un système capable de sortir un fichier audio pour chaque heure de la journée.
Et de proposer l’ensemble des façons de dire l’heure.

Le code:
Pour mes petits scripts, j’aime bien utiliser du python. Ici, mon petit script python permet d’enregistrer facilement les samples nécessaires pour bâtir l’ensemble de données.
Ce travail construit les données d’une voix.
Il y a 28 mots à enregistrer:

unity=["un","une","deux","trois","quatre","cinq","six","sept","huit","neuf"]
tens=["dix","onze","douze","treize","quatorze","quinze","seize","vingt","trente","quarante","cinquante"]
words=["midi","minuit","et","quart","moins", "heure", "le"]
Les samples à enregistrer

 

Le site:
Le reste de l’application est constitué d’un site web qui permet de choisir une voix, et une heure.
Suite à cela, le site affiche un ou deux lecteurs audios pour permettre la lecture des sons.
J’ai recyclé l’architecture php de mes sites applicatifs. Je la trouve vraiment formidable. Même si, je trouve le PHP de plus en plus dégueulasse.

Pour la suite, j’aimerai bien «gamifier» la chose. Permettre d’entendre une heure et de choisir la bonne valeur parmi trois propositions. Jouer avec ce genre d’éléments.

Si vous testez le site, pensez à mettre le son pas trop fort.

 

Conclusion:
J’avais cette idée de partir des samples pour construire les messages audios qui traîner dans ma tête depuis un moment. J’avais envie de tester ce que cela donnerait d’enregistrer 28 samples environ pour générer 1560 fichiers audios. J’ai décidé de l’écrire et voilà le résultat. La curiosité s’attardait sur la qualité qu’on pourrait obtenir avec cette méthode. C’est audible, il y a quelques sont qui mériterait d’être retravailler mais dans l’ensemble, cela remplit son rôle.
Je serai ravi de recevoir de nouvelles voix. Vous pouvez m’envoyer vos 28 samples et je peux m’occuper du reste.

Les liens:
Le projets en ligne: http://heures.renaudguezennec.eu/
Le code source du projet: https://github.com/obiwankennedy/french_talking_clock_game

Montage Vidéo en python

Mon besoin

Dans le cadre de la promotion de Rolisteam, je diffuse en ligne des enregistrements de parties.
Ces enregistrements nécessitent différents traitement afin d’être rendu plus audibles et intéressants.
Les taches à réaliser sont les suivantes:

1 – Associer la piste audio et la piste vidéo
2 – Ajouter le générique de début et de fin.
3 – Couper la vidéo en fonction des silences
4 – Améliorer le son (le compresser/normaliser)

Pour réaliser la tache 1, une simple commande ffmpeg suffit. J’ai facilement créé un script bash pour l’automatiser.
La tâche 2 peut également être réalisée par ffmpeg avec l’option concat mais cela ne s’est pas passé comme prévu.
La solution de replie fut kdenlive, un logiciel de montage vidéo sur linux (Un des rares qui ne plante pas tout le temps quand on lui donne à monter une vidéo de trois heures).

L’étape 3 fut bien plus complexe à réaliser. Il n’y a aucun outil clé en main pour faire cela dans ffmpeg ou kdenlive. C’est très probablement faisable avec ces outils mais je n’ai pas trouvé comment. Je ne me voyais pas couper les moments de silence à la main.
Je commençais à désespérer quand Ryzz sur Linuxfr.org a évoqué le package MoviePy. Un module de manipulation vidéo pour python avec un exemple d’emploi proche de mon objectif.

Créer un résumé automatique d’un match de foot: http://zulko.github.io/blog/2014/07/04/automatic-soccer-highlights-compilations-with-python/
La doc de l’API: http://zulko.github.io/moviepy/index.html

Le code python: MoviePy

Voila un outil pour manipuler le son et la vidéo en codant avec python. Outil parfait pour réaliser les actions 2 et 3 de façon automatique.
Mes fichiers d’entrées sont biens rangés dans des dossiers, cela rend l’automatisation plus facile.

Pour la dernier étape, j’ai trouvé un petit script python “ffmpeg-normalize” qui fait cela. Ce n’est clairement pas aussi puissant que les filtres d’audacity mais cela suffit.

Première étape, Parcourir les dossiers, trouver fichier associant la vidéo et le son pour y ajouter les génériques.

for subfolder in sorted(os.listdir(rootFolder)):
if("_done" not in subfolder):
for subfile in os.listdir(os.path.join(rootFolder,subfolder)):
if(("mp4" in subfile)and("Partie" in subfile)):
link = os.path.join(rootFolder,subfolder)
video = os.path.join(link,subfile)
dest = subfile.replace(".mp4","_ending.mp4",1)
destination = os.path.join(link,dest)
videoclip = VideoFileClip(video)
#concatenation of opening, video and ending
finalclip = concatenate_videoclips([opening,videoclip,ending])
finalclip.write_videofile(destination,fps=25)
Parcours des dossiers

Je ne fais que reconstruire le chemin pour arriver jusqu’à l’épisode.

Ensuite, l’autre partie intéressante (grandement inspiré de l’exemple sur le foot), est de découper le film en échantillon d’une seconde. Le volume de chaque échantillon est calculé.
Il faut stocké le volume de chaque échantillon.

#split resulting video in audio subclip
clip = VideoFileClip(destination)
cut = lambda i: clip.audio.subclip(i,i+1).to_soundarray(fps=22000)
volume = lambda array: np.sqrt(((1.0*array)**2).mean())
volumes = [volume(cut(i)) for i in range(0,int(clip.audio.duration-2))]
final_times= []
Les volumes

Le dernière étape consiste à regrouper les périodes de temps qui doivent être sauvegardé. Dans un tableau à deux éléments, je conserve le début et la fin de chaque période à conserver.

i = 1
duo = []
start = -1
end = 0
sumVideo = 0
#identify all part with sounds. What we keep.
for vol in volumes:
if(( vol == 0.0 )and (start!=-1)):
end = i-1
duo = [start,end]
final_times.append(duo)
sumVideo += (end-start)
start = -1
if((start == -1)and (vol>0.0)):
start=i
i=i+1
Séparation des duos

Quand l’ensemble des duos sont identifiés, il suffit de les concatener dans le fichier de sortie.

finalpath = destination.replace("_ending","_cutted")
print finalpath
print final_times
#concatenate all kept parts.
final = concatenate_videoclips([clip.subclip(t[0],t[1])
for t in final_times])
#write the file
final.write_videofile(finalpath,fps=25)
Sauvegarde des échantillons

Code complet: http://www.renaudguezennec.eu/file/cutVideos.py