Del vídeo a la partitura: cómo obtener una partitura con digitación a partir de un vídeo o un audio. ¿Y si ya tengo la partitura? … ¡la escuchamos tocar!

Escuchar una pieza y querer tocarla.

Soy pianista autodidacta y el año pasado decidí hacer un breve curso (16 clases de 2 horas) sobre el piano, su historia, la música clásica… y un poco de práctica con el instrumento. Y después del curso…

Le pasa a cualquiera que toque: oyes una pieza para piano, quizá en un vídeo, y te gustaría tener la partitura delante. A veces existe, a veces cuesta dinero, a veces es la transcripción de otra persona que no se parece a lo que estás escuchando. La pregunta es si un ordenador puede escuchar y escribir por ti.

Transcribir música a partir de un archivo de audio es difícil por una razón sencilla: el audio es una única onda en la que todas las notas, los pedales, la reverberación de la sala y los demás instrumentos ya están mezclados. Además, el piano complica las cosas, porque toca muchas notas a la vez y el pedal las mantiene vivas incluso después de soltar la tecla. Una nota que en la partitura dura una negra puede seguir sonando mucho más tiempo en la grabación.

Como suelo hacer, si no encuentro la aplicación adecuada me la escribo yo (o mejor dicho, se la hago escribir a una IA): no quería usar un servicio externo y no quería que se quedara en el MIDI. El MIDI por sí solo no se lee, y un MIDI «en bruto» convertido en partitura suele producir páginas ilegibles. Necesitaba una partitura de verdad, con digitación, y una forma de escucharla y corregirla.

De una URL a un PDF en cinco pasos.

Cada paso del proceso lee y escribe archivos, y se puede probar por separado. Este es el recorrido completo, desde la dirección del vídeo hasta la hoja que pones en el atril.

¿Qué motor de transcripción? Una comparación con tres piezas reales.

Antes de elegir hice una comparación A/B con tres piezas reales: La cura de Franco Battiato, In The Air Tonight de Phil Collins y Una lunga storia d'amore de Gino Paoli. Ganó Transkun aplicado al piano aislado por Demucs. Otro camino, quitar solo la voz de la mezcla con BS-RoFormer y transcribir el resto, no mejoró el resultado y cuesta aproximadamente una vez la duración de la pieza, así que no entró en el proceso.

Hay un detalle que marcó la diferencia incluso con piano solo. Transkun escribe la duración real de la tecla, no la de la nota percibida bajo el pedal. Sin corrección, en una pieza de piano solo la duración mediana de las notas era de 0,23 segundos frente a los 0,83 de la versión corregida: una partitura fragmentada en notas brevísimas. Por eso la app alarga las notas soltadas mientras el pedal está pisado.

El día en que Clementi sonaba a 108 en lugar de a 205.

Para escribir una partitura hace falta el tempo, es decir, cuántos pulsos por minuto (BPM). La app estima este valor analizando el audio a través de dos indicios principales: la frecuencia de las notas (el ritmo de los ataques individuales) y la cadencia de los cambios armónicos (cada cuánto varía el acorde). En las piezas probadas la estimación da 95 para In The Air Tonight, 61 para Una lunga storia d'amore, 90 para La cura y 70 para A Whiter Shade of Pale. El beat tracking estándar de librosa sobre la mezcla, para La cura, daba en cambio 129.

Después, el 20 de octubre de 2026, probé la Sonatina op. 36 n.º 1 de Clementi, una pieza viva, y la estimación salió a 108 BPM. El PDF se llenó de corcheas y semicorcheas, ilegible.

Bastó subir el límite superior a 240 BPM para que la estimación de Clementi saltara de 108 a 214 BPM, dejando intactos los resultados de las otras cuatro piezas. El problema estaba todo ahí: al bloquear la búsqueda en 180 BPM, el algoritmo se veía obligado a reducir a la mitad el tempo real, aunque la puntuación de esa mitad fuera apenas el 43% de la del tempo verdadero.

Una buena lección: los parámetros ajustados solo con unas pocas piezas lentas se rompen a la primera pieza rápida. Al fin y al cabo, las estimaciones automáticas siguen siendo siempre un punto de partida. No por casualidad, en la app el campo BPM se puede corregir a mano, con los botones rápidos ÷2 y ×2 para arreglar al instante los dobles y las mitades típicos de las piezas en 2/2.

¿Y el rubato? Un metrónomo que se vuelve a enganchar.

Nadie toca a un tempo perfectamente constante. Por eso la partitura no usa un metrónomo rígido: un metrónomo adaptativo (un bucle de enganche de fase) se realinea con los ataques que caen cerca de la cuadrícula de corcheas y corrige el período poco a poco, dentro del ±25% del tempo inicial. Las constantes se ajustaron con la propia pieza de Clementi: las dos pasadas del primer estribillo, transcritas por separado, coinciden en un 99% en posición y altura de las notas. El reproductor usa el mismo mapa, de modo que cursor y partitura siguen alineados incluso cuando quien toca acelera o frena.

Una propuesta de digitación, no una edición.

Para cada mano la app elige los dedos con un algoritmo de Viterbi: busca el recorrido de digitación que, en toda la frase, minimiza las extensiones de la mano, los cruces y los saltos. Los pesos son heurísticos y están al principio del módulo. La digitación se añade a nivel de acorde, una por cada altura; con más de cinco notas en el mismo acorde no asigna ninguna.

Hay que decirlo claramente: es una propuesta. No sustituye a la de una edición preparada por un pianista, que tiene en cuenta la música, no solo la geometría de la mano. Sirve para darte un punto de partida que puedes corregir nota a nota.

El editor, el reproductor y un piano en el navegador.

La transcripción automática es imperfecta, y fingir lo contrario sería deshonesto. Por eso, después del procesamiento, la app no se queda en el PDF:

• Reproductor sincronizado. Escuchas el audio mientras la partitura avanza; un teclado virtual de 88 teclas resalta las teclas que hay que pulsar (azul la mano derecha, verde la izquierda), con el número del dedo y el estado del pedal. Puedes saltar a un punto y ralentizar hasta 0,5×.
• Editor nota a nota. Haces clic en una nota de la partitura (o te mueves con las flechas, o con los botones Anterior y Siguiente) y corriges su altura, duración, mano o dedo, la conviertes en silencio, la eliminas o añades una nueva. Los comandos están agrupados en un panel — escucha, desplazamiento, altura, duración, nota, historial — así que se puede trabajar también desde una tableta, sin teclado físico. Un clic selecciona la nota y lleva el audio y el cursor a ese punto; un doble clic mueve solo el reproductor. Hay «Deshacer», «Rehacer», «Restablecer cambios» y «Guardar cambios», que regenera PDF, MusicXML y MIDI con las correcciones.
• Audio desde la partitura. Un piano sintetizado en el navegador a partir de las notas de la partitura (pedal incluido), con las muestras del Salamander Grand Piano (licencia CC-BY 3.0, unos 2 MB). Desde el mismo panel de correcciones eliges si escuchar el original o la partitura: oír lo que has corregido es la forma más rápida de saber si lo has corregido bien.
• Tres niveles de partitura. Fiel, Equilibrado y Legible: más fiel a la interpretación o más fácil de leer. En Clementi, el nivel Legible dio igualmente el mejor resultado.

Detener un procesamiento largo

Una pieza larga ocupa la única cola de trabajo y, al principio, no había forma de detenerla salvo reiniciando el servidor, perdiendo todos los trabajos. Hoy el panel Trabajos enumera los que conoce el servidor — en cola, en curso (con paso y porcentaje), terminados, con error, interrumpidos — y el botón Interrumpir detiene un trabajo en pocos segundos, libera la GPU y borra los archivos temporales, como las descargas parciales. Un trabajo interrumpido no es un error y no ofrece archivos.

Los trabajos terminados, con error o interrumpidos se pueden quitar de la lista (Quitar) o eliminar junto con su carpeta en el disco (Borrar, tras una confirmación). Las carpetas no modificadas desde hace más de un día se borran solas al iniciar el servidor y con cada trabajo nuevo, nunca las de los trabajos en curso o en cola; el límite se cambia con una variable de entorno. En el primer arranque con esta regla desaparecieron 34 carpetas de 50, de unos 923 a 311 MB.

La interrupción es cooperativa: cada trabajo tiene su propio token y los pasos lo comprueban. Un subproceso como FFmpeg o MuseScore se termina, la separación se detiene entre un bloque de 60 segundos y el siguiente, y la transcripción comprueba en cada segmento.

La interfaz está en italiano, inglés y español, con tema automático, claro u oscuro, y las notas escritas como Do Re Mi o como A B C.

También desde un PDF o una foto de la partitura.

Hasta ahora spArtitI partía siempre del audio. Ahora también se puede arrastrar a la app un PDF de partitura (incluso escaneado) o una imagen (.png, .jpg, .jpeg). Un paso nuevo, Reconocimiento, convierte las páginas en MusicXML con homr, un software de código abierto de reconocimiento óptico de música (OMR, con modelos ONNX). A partir de ahí el camino es el del MusicXML de entrada: partitura con digitación propuesta, teclado virtual, editor, PDF y piano sintetizado en el navegador. No hay audio original: solo se escucha el piano sintetizado.

Cómo funciona: omr.py convierte el PDF en imágenes en escala de grises a 200 dpi con PyMuPDF (lado largo de 4000 píxeles como máximo) y pasa cada página a homr. Las páginas, hasta 30, se unen en orden en una sola partitura y la numeración de los compases continúa. Los ritornelos de final sin un inicio correspondiente se corrigen; si no, el reproductor volvería a tocar las páginas anteriores. Una página ilegible o vacía se omite con un aviso; el error solo salta si no se reconoce ninguna página. El título es el nombre del archivo, porque el OCR del título falla a menudo. Para la app es un nuevo tipo de trabajo, con los pasos reconocimiento, partitura y PDF.

homr también usa la GPU: medido en una página, la inferencia por pentagrama tarda 0,44 segundos en una RTX 4070 frente a 2,0 en CPU, y una página cuesta unos 16–18 segundos con el arranque incluido (en CPU la primera medición fue de aproximadamente 1 minuto y 44 segundos por página). En el primer uso se descargan unos 130 MB de pesos, así que hace falta red.

Después vino una pregunta nacida del propio OMR: homr reconoce las ligaduras de frase (con poca fiabilidad) y no el pedal, mientras que el camino «desde partitura» descartaba ambos de todos modos. Ahora la app lee del MusicXML el pedal y las ligaduras de frase. La sorpresa técnica: expandRepeats() de music21 desvincula estas marcas de las notas (lo comprobé con un archivo de prueba), así que se leen del archivo sin expandir y se trasladan a las repeticiones según el número de compás. El pedal llega a la línea de tiempo, al teclado, al piano sintetizado y al PDF; las ligaduras, al PDF y a la partitura mostrada, sin cambiar el sonido. Una nota borrada en el editor se lleva consigo su ligadura.

Lo que no hace, y por qué todo funciona en local.

Prefiero una lista de límites escrita hoy a una sorpresa dentro de seis meses. Estos son los conocidos:

• Funciona mejor con piano solo. En las mezclas el piano aislado por Demucs está «sucio»: el transcriptor puede inventar o perder notas, sobre todo si otro instrumento toca en el mismo registro. La calidad hay que juzgarla de oído, con la pieza que te interesa. El violín no tiene pista propia y acaba en «otros».
• El tempo es una estimación. La partitura sigue las variaciones dentro del ±25%, pero sigue siendo una propuesta; los cambios de compás quedan fuera de alcance.
• Heurísticas ajustadas con pocas piezas. Los umbrales y los pesos se ajustaron sobre todo con Clementi: en otros repertorios pueden hacer falta correcciones, como mostró precisamente el límite de 180 BPM.
• Una voz por mano. Las manos se dividen en el Do central y cada mano tiene una sola voz: la polifonía compleja y las varias voces por pentagrama no se gestionan.
• Piezas largas. Pasados los 10 minutos de fragmento se pide una confirmación explícita. Una pieza de 33 minutos se gestionó con memoria constante, gracias a la separación en bloques de 60 segundos (sin ella harían falta unos 4 GB), pero el dibujo de la partitura y el modelo en la GPU pueden saturar un PC con poca RAM.
• Interrupción de los trabajos. La descarga desde una URL con Inicio y Fin usa FFmpeg sin puntos de control: la interrupción solo surte efecto cuando esa descarga termina. No se pueden interrumpir la lectura de la información del vídeo, la carga del modelo Demucs ni el paso Partitura (music21), ni tampoco la regeneración y el guardado de los cambios.
• Escaneos y PDF. Máximo 30 páginas; tempo y compás constantes; una voz por pentagrama; el OMR no reconoce el pedal; los instrumentos distintos del piano y las partituras orquestales quedan fuera de alcance. El reconocimiento de una página no se puede interrumpir a mitad (la cancelación se comprueba entre páginas) y, si dos páginas tienen un número distinto de pentagramas, una mano puede descartarse o quedar vacía, con un aviso solo en el registro. Los errores de ritmo hay que corregirlos a mano.
• La lista de trabajos vive en memoria. Tras un reinicio del servidor empieza vacía; los archivos permanecen en el disco.

En cuanto a la decisión de trabajar en local: la app se inicia con uv run spartiti-serve (o con el script avvia.bat) y el servidor escucha solo en 127.0.0.1. La música no pasa por ningún servicio de transcripción externo. La red hace falta para descargar el vídeo de YouTube, para el modelo Demucs (unos 300 MB, en el primer uso) y para las muestras del piano (una sola vez). Un recordatorio que siempre vale: descarga solo contenidos de los que tengas derecho a hacer una copia personal, respetando las condiciones de YouTube y los derechos de autor.

Por ahora, pues, spArtitI funciona en local, en mi ordenador. En el futuro podrá trasladarse a los servidores virtuales que ya están en funcionamiento, cuya arquitectura se describe en Dos VPS, una GPU que se despierta sola: un servidor ARM64 siempre encendido y una GPU A10 que arranca solo cuando hace falta.

Cómo se construyó.

spArtitI está desarrollado con Claude Code, a partir de una especificación y un plan escritos antes del código. Usa solo bibliotecas de código abierto. Para la entrada desde PDF seguí el mismo esquema (brainstorming, especificación, plan, un implementador y un revisor por tarea): la revisión final de toda la rama encontró cuatro problemas importantes que las revisiones de cada tarea no habían visto: ritornelos que vuelven a tocar las páginas anteriores, título tomado del OCR, PNG transparentes y página vacía. El episodio de Clementi enseña, en todo caso, que las pruebas con datos preparados no sustituyen a la prueba con una pieza real, nunca vista antes.

Preguntas frecuentes.

¿Cómo se convierte un vídeo de YouTube en una partitura?

Con spArtitI pegas la URL del vídeo (opcionalmente indicas el Inicio y el Fin del fragmento): la app extrae el audio, lo transcribe a MIDI con Transkun y produce MusicXML y un PDF con digitación propuesta. En una pieza de 6,7 minutos hacen falta unos 100 segundos en una GPU RTX 4070.

¿Funciona también con piezas de varios instrumentos?

Sí, pero con resultados más inciertos. Demucs aísla primero el piano de la mezcla, pero la pista resultante contiene artefactos y el transcriptor puede inventar o perder notas. Funciona mejor con piano solo; en las mezclas conviene juzgar el resultado de oído.

¿Qué precisión tiene la transcripción?

Es buena pero imperfecta, y por eso la app incluye un editor. La comparación con tres piezas reales favoreció a Transkun sobre el piano aislado: escribe entre 2 y 8 veces menos notas que el modelo de ByteDance y es estable. El tempo es una estimación y se corrige a mano.

¿Puedo corregir la partitura?

Sí. Puedes modificar una nota cada vez (altura, duración, mano, dedo), eliminarla o añadir una, con «Deshacer» y «Rehacer», incluso desde una tableta gracias a los comandos con botones. «Guardar cambios» regenera PDF, MusicXML y MIDI con las correcciones. El MP3 y el vídeo no cambian.

¿Es fiable la digitación?

Es una propuesta calculada con un algoritmo de Viterbi que reduce las extensiones, los cruces y los saltos de la mano. No sustituye a la digitación de una edición preparada por un pianista: úsala como punto de partida.

¿Puedo interrumpir un procesamiento largo?

Sí. El panel de trabajos enumera los trabajos en cola, en curso, terminados, con error e interrumpidos, y «Interrumpir» detiene un trabajo en pocos segundos, libera la GPU y borra los archivos temporales. La excepción es la descarga desde una URL con Inicio y Fin, que se detiene solo cuando termina.

¿Puedo partir de un PDF o de una foto de una partitura?

Sí. Arrastras a la app un PDF (incluso escaneado, hasta 30 páginas) o una imagen PNG o JPG: homr reconoce las páginas y las convierte en MusicXML; después el camino es el de la partitura con digitación propuesta, editor y PDF. El OMR falla sobre todo en los ritmos, así que conviene descargar el MusicXML reconocido, corregirlo en MuseScore y volver a cargarlo.

¿Hace falta una GPU? ¿Mis datos se quedan en mi ordenador?

Una GPU NVIDIA no es obligatoria: sin ella, la app usa la CPU y es unas 3,5 veces más lenta. El procesamiento se hace en local y el servidor escucha solo en tu ordenador; la red solo hace falta para descargar el vídeo, el modelo Demucs y las muestras del piano.

Vélo en acción.