30 agosto 2015

Leggere e scrivere un databse .accdb senza Access con Libreoffice

Come riportato qui :

'limited olders driver "Microsoft.Jet.OLEDB.4.0" works fine for read/write, while "Microsoft.ACE.OLEDB.12.0" driver only reads; (fdo#43187). Driver only works on Windows.'

Libreoffice non è pienamente compatibile con le ultime versioni di MS Access, già a partire dalla 2010.
Come fare per accedere (in read/write) a preesistenti file nel formato .accdb, senza per forza acquistare la suite di redmond oppure, in ambienti non-Windows, senza eseguirla con wine o VirtualBox?

Ci viene in aiuto UCanAccess (http://ucanaccess.sourceforge.net/site.html), un'implementazione open source del Driver JDBC che permette ai client jdbc (per esempio, DBeaver, NetBeans, SQLeo, Open Office Base, Libre Office Base, Squirrell) di accedere in lettura e scrittura ai database MS Access (.mdb and .accdb).
Essendo scritta interamente in Java, gira su Windows e su sistemi non-Windows (linux), senza la necessita di driver ODBC, grazie all'impiego di:

  • Jackcess coem libreria per accedere a Ms Access (http://jackcess.sourceforge.net/).
  • Hsqldb come  synchronized DBMS (http://hsqldb.org/).
  
L'elenco completo delle feature può essere trovato nell'home page del progetto, assieme al pacchetto con gli eseguibili, giunto alla versione 3.0.0.


Oltre al classico uso del terminale a riga di comando (per i puristi), attraverso l'esecuzione di script da shell (inclusi nel paccheto compresso e che prevedono la possibilità di eseguire comandi SQL e l'esportabilità in formato CVS dei dati), esiste l'opportunità di integrazione con Libreoffice(LO), secondo le modalità di seguito esposte.

Una volta scaricato e decompresso il pacchetto in un percorso opportuno, apriamo LO e consideriamo la scheda "Avanzate" nel menu Opzioni, dalla quale possiamo accedere alla finestra "Percorso classi", premendo il relativo pulsante.

 Si tratta allora di aggiungere gli archivi (in formato .jar) contenuto nel percorso di decompressione ed elencati di seguito:

//ucanaccess-3.0.0.jar
//lib/commons-lang-2.6.jar
//lib/commons-logging-1.1.1.jar
//lib/hsqldb.jar
//lib/jackcess-2.1.2.jar






Quindi chiudiamo LO e riapriamolo, iniziando la procedura di creazione di un nuovo DB, scegliendo l'opzione "Connect to an existing database (JDBC)"

Supponendo che il file MSAccess che voglio manipolare sia "TOL.accdb"  nle percorso, /home/bleish/Scrivania/TOL.accdb, devo completare i campi mostrati nella finestra nel modo seguente (notare la tripla slash):

  • URL della sorgente dati-->   jdbc:ucanaccess:///home/bleish/Scrivania/TOL.accdb
  • Classi di driver JDBC --> net.ucanaccess.jdbc.UcanaccessDriver

Fatto questo posso passare avanti e salvare il database creato in una cartella desiderata.

Da questo momento è possibile aprire il file e manipolare, attraverso JDBC, il file .accdb di Access.
Tuttavia, l'accesso in modalità read/write è solo consentito alle tabellee alle view, e non è possibile gestire form e codice VB; inoltre molte delle tipiche operazioni sulle tabelle non sono consentite.

17 agosto 2015

Django e le migrazioni


Nelle precedenti versioni, Django offriva un sistema di aggiornamento dei modelli e di conseguente sincronizzazione con il relativo schema nel database piuttosto antiquato, permettendo solo di aggiungere nuovi modelli al database, senza modifiche in itinere: non era possibile modificare o rimuovere i modelli esistenti attraverso il comando

syncdb

Aggiornare un'applicazione in modo che rifletta le modifiche apportate al modello diventava qualcosa di laborioso (esistono tuttavia dei tool come South, oppure Django Evolution.

Dalla versione 1.7, sono state introdotte le migrazioni, ovvero l'automatismo attraverso il quale è possibile applicare i cambiamenti del modello (aggiunta di campi, ...) allo schema del database.

Sostanzialmente, si tratta di una procedura molto semplice che possiamo schematizzare nel modo seguente:
  • applicare i cambiamenti al modello;
  • eseguire il comando

    python manage.py makemigrations
  • eseguire il comando

    python manage.py migrate 

Il primo comando, makemigrations, è responsabile della creazione di una nuova migrazione basata sui cambiamenti fatti sul modello; migrate, invece, applica la migrazione, oppure elenca gli eventuali motivi ostativi.
A questi comandi si aggiunge sqlmigrate, che permette di mostrare le istruzioni SQL che verranno eseguite per applicare la migrazione.

Le migrazioni si possono pensare come un sistema di controllo della versione per lo schema del database: makemigrations opera una scansione del modello modificato e un confronto con le versioni precedenti conservate nei files di migrazioni, producendo un impacchettamento dei cambiamenti del modello in un nuovo file di migrazione; migrate, infine, si occupa di applicare i cambiamenti allo schema.

I file di migrazione vengono conservati nella directory
my_app/migrations.

11 agosto 2015

Django, installazione ed estensioni necessarie

"Django makes it easier to build better Web apps more quickly and with less code."
Come recita la pagina principale del progetto Django, è un web framework open source per lo sviluppo di applicazioni web, scritto in Python e sviluppato dalla "Django Software Foundation" (DSF), un'organizzazione indipendente senza scopo di lucro. Stando a wikipedia, utilizzano questo framework Pinterest, Instagram, Mozilla, The Washington Times et al.
Citando la descrizione degli sviluppatori, mostrata in alto, aggiungerei che, non solo è più facile, ma anche più divertente e naturale.

L'installazione si svolge seguendo semplicidue principali alternative:
  • utilizzando, con i privilegi di roor, il package manager pip: (eventualmente da installare nel sistema con sudo apt-get install python-pip ):

    pip install django

    oppure per versione specifica:

    pip install Django==1.8.3
  • manualmente scompattando il pacchetto scaricato dalla pagina di download ed eseguendo, all'interno della cartella radice, il comando:

    sudo python setup.py install
In entrambi i casi si può verificare la versione installato con:

python -c "import django; print(django.get_version())"

Può essere utile aggiornare una precedente installazione; di questo si occupa automaticamente il comando

pip install -U django

che provvede a  disinstallare completamente la precedente versione e installare la nuova.

Un gruppo di estensioni interessanti si installa con il comando

pip install django-extensions

delle quali parleremo più diffusamente in seguito.

Utilizzando pip è anche possibile procedere alla disinstallazione con il comando

sudo pip uninstall django

Analogamente è possibile interrogare pip per sapere quali estensioni di django sono installate:

sudo pip freeze | grep -i django

Ulteriori informazioni possono essere reperite nella guida di installazione.

25 marzo 2013

VideoLAN e gli streaming rtmp



Benché sia chiaramente dichiarato nel wiki di VideoLAN, il Real Time Messaging Protocol (RTMP) non è pienamente supportato dal noto, versatile e open-source media player. In altre parole, le playlist non si avviano.

Tuttavia esiste un tool, scritto originariamente per altri player, che può funzionare bene al nostro scopo, permettendoci di continuare ad usare VLC.

Si tratta di RTMPDump, un toolkit che supporta gli stream rtmp, inclusi rtmp://, rtmpt://, rtmpe://, rtmpte://, e rtmps://.

A parte tutte le possibili configurazioni che offre, a noi interessa quella di agganciare un flusso rtmp e inviarlo, tramite pipeline, a vlc che lo riproduce. Un esempio è:

rtmpdump.exe -r "rmpt://url/dove/si/trova/il/flusso" | 'C:\Program File\VideoLAN\VLC\vlc.exe'

Ovviamente il path di vlc.exe può variare da contesto a contesto.
Una versione compilata si trova qui.

21 aprile 2012

Netcat e l'invio di dati.

Netcat è un programma opensource a riga di comando di comunicazione remota utilizzabile per moltissime funzioni: eseguire una scansione sulle porte di un computer remoto o ascoltare in locale, trasferire files, essere usato come una chat o persino per la creazione di una backdoor.

Un elenco dettagliato di tutte le opzioni richiamabili con le relative funzioni  è presenta nella relativa pagina di wikipedia.it, insieme ad alcuni esempi di utilizzo.

In questa sede mi preme mettere in evidenza l'uso come trasferimento di file e dati.

Supponiamo di avere due computer A e B collegati in remoto tramite la rete, di cui si conoscono gli indirizzi IP; supponiamo si voglia trasferire una immagine a basso livello del disco fisso del computer A verso il computer B; supponiamo inoltre che in entrambe le macchine sia presente netcat installato, assieme a dd e bzip2.

Prepariamo intanto la macchina B a ricevere i dati, mettendola in ascolto su una porta libera, ad esempio 19000
$ nc -l 19000 | bzip2 -d | dd bs=1M of=/path/to/file/destinazione.img
Il computer B si aspetta dati in blocchi da 1Mb compressi con bzip2 e li va raggruppare in un file destinazione.img, secondo il percorso indicato.
A questo punto la macchina A può inviare dando il comando
$ dd bs=1M if=/dev/hda | bzip2 -c | nc computerB.dominio.com 19000
 Esiste anche una versione più aggiornata e complessa, socat, e anche una versione che fa uso della crittografia, cryptcat.
Il sorgente è anche compilabile (ed il relativo eseguibile utilizzabile)su Windows; una build è scaricabile da qui.

20 febbraio 2012

La lettura delle scale logaritmiche.


Prendiamo il grafico della funzione logaritmo in base 10 rappresentato sopra (con scale differenti per i due assi coordinati), che costituisce la legge con la quale vengono "compresse" le coordinate dei punti di un determinato grafico per renderlo in forma logaritmica.

Supponiamo di avere un'ascissa $X $ da posizionare su una scala logaritmica; in tale scale ogni decade mantiene la stessa ampiezza $ D $cm, mentre sia $ d$cm la distanza dell'ascissa da posizionare dalla decade immediatamente precedente, che indichiamo con $ X_0$; allora dal grafico di sopra si ha
$ log(X_0) è \frac{d}{D}=log(X) $
da cui segue
$ d=D \cdot log \frac{X}{X_0} $
Quindi, andremo a cercare la nostra ascissa a distanza $ d $cm  dalla decade di riferimento.

Viceversa, se abbiamo la misura $d$ cm, allora leggiamo un'ascissa:
$X=X_0 \cdot 10^{\frac{d}{D}}.


Riferendoci al grafico sottostante, se volessimo determinare l'ascissa (o l'ordinata) di un punto A sul grafico, dovremmo partire dal considerare la decade immediatamente inferiore (ovvero relativa all'ordine di grandezza 0.1) e considerare le distanze, rilevabili con un righello dal grafico,

$ \overline{OA}=2.47cm $
$ \overline{OB} =4.65cm $

$ X_A = 0.1 \cdot 10 ^ {\frac{2.47}{4.65}}=0.34 $

Analogamente se dobbiamo individuare il punto C di ascissa $ X_C=15.75 $, avremo che la sua posizione sul grafico sarà a distanza
$4.65cm \cdot log \frac{15.75}{10}=0.92cm $
dalla decade immediatamente inferiore.

Precisione e accuratezza

Precisione ed accuratezza sono termini usati per descrivere sistemi e metodi per misurare, stimare o predire, o comunque in tutti quei casi in cui si vuole conoscere il valore vero.
Nella fattispecie, un qualasiasi metodo utilizzato porta ad un determianto risultato, rispettando un predefinito  ciriterio, che si vuole sia il più vicino possibile al valore vero.
Precisione ed accuratezza sono modi per descrivere l’errore che può esistere fra questi due valori.

Sfortunatamente, precisione ed accuratezza sono utilizzati in maniera intercambiabile nella documentazione non tecnica. Nell'Ingegneria e nella Fisica sperimentale esse hanno un significato diverso che di seguito andremo ad evidenziare.
Come esempio, consideriamo un oceanografo che misura la profondità del mare usando un sistema  sonar. Le onde sonore del sistema di misura viaggiano a velocità relativamente costante nell’acqua, permettendo di rilevare la profondità dal tempo trascorso tra gli impulsi trasmessi e ricevuti. Questa particolare misura può  essere affetta da molti fattori: rumore casuale nei circuiti elettronici, onde sulla superfici dell’oceano, flora marina sul fondale oceanico, variazioni nella temperatura dell’acqua che causa una variazione della velocità di propagazione delle onde sonore, etc.
Per investigare questi effetti, l’oceanografo compie molte letture ripetute in un punto che si sa essere  profondo  esattamente 1000 metri (il valore vero). Queste misure vengono poi riordinate nell’istogramma mostrato in figura. Come ci si aspetta dal Teorema del Limite Centrale, i dati acquisiti seguono la  “distribuzione normale”. Il valore medio si trova al centro della distribuzione e rappresenta la migliore stima della profondità basata su tutti i dati misurati. La deviazione standard definisce la larghezza della  distribuzione, descrivendo quanta variazione si presenta fra misure successive.
Questa situazione dà luogo a due tipi di errore a cui il sistema può essere soggetto:
  •  Innanzitutto, il valore medio può essere traslato rispetto al valore vero; tale scostamento è chiamato accuratezza della misura;
  • inoltre, misure individuali possono non coincidere bene fra loro, come indicato dalla larghezza della distribuzione; questa varibilità è chiamata precisione della misura ed è espressa dal valore della deviazione standard o dal rapporto segnale-rumore.
 
Si consideri una misura che ha una grande accuratezza ma piccola precisione: l’istogramma è centrato sul valore vero ma è molto largo. Sebbene le misure siano corrette nell’insieme, ognuna di loro è una cattiva stima del valore vero. Questa situazione è detta avere una scarsa ripetibilità; le misure effettuate in  successione non coincidono bene. Una piccola precisione deriva dagli  errori casuali, ovvero dagli errori  che cambiano ogni volta che la misura viene ripetuta, per cui la precisione risulta un'ottima stima del rumore cauale. Mediando su parecchie misure, miglioreremo la  precisione.
Adesso, immaginiamo una misura che è molto precisa ma che ha una piccola accuratezza. Ciò rende l’istogramma molto stretto ma non centrato sul valore vero. Una piccola accuratezza deriva dagli  errori sistematici, ovvero quegli errori che vengono ripetuti esattamente nella stessa maniera ogni volta che viene effettuata la misura. L’accuratezza di solito è dipendente da come si calibra il sistema. Per esempio, nella misura della profondità dell’oceano, il parametro direttamente misurato è il tempo trascorso. Questo è convertito in profondità da una procedura di calibrazione che mette in corrispondenza i  millisecondi con i  metri. Questa procedura può essere semplice come il moltiplicare per una velocità fissa o complicata come
dozzine di correzioni del secondo ordine. Mediare le misure individuali non migliora per nulla l’accuratezza. In breve, l’accuratezza è una misura della calibrazione.

Nella pratica attuale ci sono parecchie situazioni in cui precisione ed accuratezza possono essere correlate. Per esempio, immaginiamo di costruire un amplificatore elettronico con resistori con tolleranza 1%. Questa tolleranza indica che il valore di ogni resistore sarà entro l’1% del valore nominale entro un grande insieme di variabilità di fattori come temperatura, umidità, età, etc. Questo errore nella resistenza produrrà un corrispondente errore nel guadagno dell’amplificatore. Questo errore è un problema di accuratezza o di precisione? La risposta dipende da come si effettua la misura. Per esempio, si supponga di costruire un amplificatore e di testarlo parecchie volte per pochi minuti. L’errore nel guadagno rimane costante in ogni test e si conclude che il problema è l’accuratezza. Viceversa, si supponga di costruire  mille amplificatori. Il guadagno da dispositivo a dispositivo fluttuerà in maniera casuale e il problema sembra essere di  precisione. Nella stessa maniera, ognuno di questi amplificatori mostrerà fluttuazioni nel guadagno al variare della temperatura e di altri parametri ambientali. Di nuovo, si parlerebbe di un problema di precisione.
Quando si decide con quale nome chiamare un problema, bisogna porsi due domande:
  1. Mediare successive letture migliorerà la misura? Se si, è un problema di precisione; se no, diaccuratezza. 
  2. La calibrazione correggerà l’errore? Se si, è un problema di accuratezza; se no, di precisione. Ciò potrebbe richiedere un poco di riflessione, specialmente su come ildispositivo sarà calibrato.
 
Nota: In alcune situazioni, il valore medio descrive cosa si sta misurando mentre la deviazione standard
rappresenta il rumore ed altre interferenze. In questi casi la deviazione standard non è importante per se
stessa ma in relazione al valore medio. Ciò ha dato luogo al termine rapporto segnale–rumore (signal-to-
noise ratio, SNR) che equivale al valore medio diviso la deviazione standard. 


fonte:
Steven W. Smith - The Scientist and Engineer's Guide to Digital Signal Processing - 2ed.
1999 - California Technical Publishing