(Info in English will follow)
Deaktivering av gammel dataloader
Den gamle versjonen av dataloader vil deaktiveres for alle prosjekter.
Se egen nyhetssak om at den ikke ble skrudd p? for skjema aktivert etter 1.juni 2023.
Den gamle dataloaderen er den som i dag produserer filer i mappen `data/durable/csvfiles` og vedlegg i `data/durable/nettskjema-attachments`.
Den nye dataloaderen, som produserer filer i `data/durable/nettskjema-data` vil fortsette ? kj?re for alle prosjekter. Denne leverer ogs? vedlegg i undermapper for hvert skjema.
De som har fortsatt behov for den gamle dataloaderen kan ta kontakt, s? vil vi aktivere denne for prosjekter som fortsatt har behov for denne.
Endringer i CSV-filer for den nye dataloaderen
Vi vil gj?re noen sm? justeringer p? den nye dataloaderen, hovedsaklig endringer p? noen av kolonne-navnene i de genererte CSV-filene.
Kort forklart s? g?r endringen ut p? at alle kolonne-navn som genereres med flere elementer fra kodeboken f? samme skilletegn mellom elementene.
I dag brukes en blanding av understrek og punktum, mens vi n? vil bruke punktum for alle elementer.
Endringer for elementer av type Enkeltvalgs-matrise
Vi endrer fra ? bruke understrek for ? skille rad og kolonne, til ? bruke punktum.
Si vi har en flervalgsmatrise med f?lgende kodebok-verdier:
Matrise: mradio Rader: row1, row2 Kolonner: col1,col2,col3
I dag vil dette gi deg f?lgende kolonner i CSV-filen:
"mradio.row1_col1";"mradio.row1_col2";"mradio.row1_col3"; "mradio.row2_col1";"mradio.row2_col2";"mradio.row2_col3"
Etter 6. November, vil det bli seende slik ut:
"mradio.row1.col1";"mradio.row1.col2";"mradio.row1.col3"; "mradio.row2.col1";"mradio.row2.col2";"mradio.row2.col3"
Endringer for elementer av type Flervalg
Vi endrer fra ? bruke understrek til ? skille kodebok-verdien til selve elementet og svaralternativene.
Si vi har et flervalgssp?rsm?l med f?lgende kodebokverdier:
Sp?rsm?l: cbox Alternativer: first,second,third
I dag vil dette gi deg f?lgende kolonner i CSV-filen:
"cbox_first";"cbox_second";"cbox_third"
Etter 6. November, vil det bli seende slik ut:
"cbox.first";"cbox.second";"cbox.third"
Endringer for svartid kolonnen
Her endrer vi navn fra `$answer_time` til `$answer_time_ms`, for ? presisere at verdiene er i millisekunder.
Ny kolonne $signed
Denne kolonnen vil dukke opp for skjemaer som har signering. Denne nye kolonnen vil ha inneholde `1` dersom signert dokument har blitt levert, og `0` dersom det ikke har blitt levert signert dokument.
Flere detaljer om CSV-format
Vi har laget et dokument som beskriver i detalj hvordan CSV-filer vil genereres:
csv-format-v1.md
Identiske CSV-filer
CSV-filer med data fra Nettskjema blir n? helt identiske alle steder:
- i mappen /durable/nettskjema-data/ inne i TSD
- I portalen https://internal.nettskjema.tsd.usit.uio.no/ inne TSD
- N?r du laster ned CSV-filer fra Nettskjema.no
We are making some changes on the 6th November for the dataloader and generated CSV files in TSD
Deactivation of the old dataloader
The old version of the dataloader will be deactivated for all projects.
See the individual news about dataloader not being enabled for forms after June 1, 2023.
The old dataloader is the one that currently produces files in the folder `data/durable/csvfiles` and attachments in `data/durable/nettskjem-attachments`.
The new dataloader, which produces files in data/durable/nettskjema-data, will continue to run for all projects. This also provides attachments in the subfolders for each form.
Those who still need the old dataloader can contact us, and we will activate this for projects that still need it.
Changes in CSV files for the new dataloader
We will make some minor adjustments to the new dataloader, mainly changes to some of the column names in the generated CSV files.
Briefly explained, the change will ensure that all column names generated with multiple elements from the codebook have the same delimiter between the elements.
Currently, a mix of underscore and dot is used, and we will now use a dot for all elements.
Changes for elements of type Single Choice Matrix
We're changing from an underscore to separate rows and columns to use a dot.
Suppose we have a multiple choice matrix with the following codebook values:
Matrix: mradio Rows: row1,row2 Columns: col1,col2,col3
Today this will give you the following columns in the CSV file:
"mradio.row1_col1";"mradio.row1_col2";"mradio.row1_col3"; "mradio.row2_col1";"mradio.row2_col2";"mradio.row2_col3"
Afer the 6th November, it will instead look like this
"mradio.row1.col1";"mradio.row1.col2";"mradio.row1.col3"; "mradio.row2.col1";"mradio.row2.col2";"mradio.row2.col3"
Changes for elements of type Multiple Choice
We are changing from using an underscore to separate the codebook value of the element itself and the answer options.
Suppose we have a multiple choice element with the following codebook values:
Question: cbox Options: first,second,third
Today this will give you the following columns in the CSV file:
"cbox_first";"cbox_second";"cbox_third"
Afer the 6th November, it will instead look like this:
"cbox.first";"cbox.second";"cbox.third"
Changes for column answertime
Here we change the name from `$answer_time` to `$answer_time_ms`, to specify that the values are in milliseconds.
New column $signed
This column will appear for forms that have signings. This new column will contain 1 if a signed document has been delivered, and 0 if a signed document has not been delivered.
More details about the CSV format
We have made a document which describes in details how the CSV files are generated: csv-format-v1.md
Identical CSV files with data from Nettskjema are now completely identical in these places:
- In the folder /durable/nettskjema-data/ inside TSD
- In the portal https://internal.nettskjema.tsd.usit.uio.no/ inside TSD
- When you download CSV files from Nettskjema.no