[L?ST] S3 (s3-oslo.educloud.no) nedetid og utilgjengelighet

16:35

I forbindelse med planlagt vedlikehold ble S3 l?sningen delvis utilgjengelig i dag klokken 14:50.

L?sningen er n? oppe igjen, men det er ikke konsistens mellom objekter og b?tter. Vi har ogs? identifisert manglende credentials for noen IAM brukere.

Vi jobber med saken, og den er ogs? feilmeldt produsent.

18:33

Supportsak p?g?r. Noen IAM credentials er slettet, og noen buckets.

07:00 (torsdag) 

Systemet operativt, venter p? rapport fra support med oversikt over hva som eventuelt er borte, og hvorfor.

10:30 (torsdag) 

I kontakt med support, manglende data blir i skrivende stund gjenopprettet. Innlogging til Cloudian vil v?re utilgjengelig mens support p?g?r.

11:00 (torsdag) 

Systemet er oppe igjen, det ser tilsynelatende ut til at data har blitt gjenopprettet til slik det var f?r problemet oppstod i g?r ettermiddag. Vennligst kontakt oss dersom det fremdeles er mangler av b?tter eller credentials!

13:20 (torsdag)

Fortsatt ikke konsistente rettigheter for alle objekter. Det jobbes iherdig med saken.

17:30 (torsdag)

Alle objekter lagret i systemet har n? riktige rettigheter og dette verifiseres fortl?pende av applikasjonene som bruker systemet.

Ingen data er tapt.

09:40 (s?ndag)

Fortsatt problemer med tjenester som bruker S3 l?sningen. B?de vi og produsent feils?ker.

Problemet ser ut til ? gjelde objekter skrevet i perioden fra kredentials-basen ble korrupt (onsdag) til den ble restoret (torsdag).

15:50 (s?ndag)

Support-oppdatering:

Alle objekter er i systemet, men de objektene som ble skrevet fra onsdag ~14:00 til torsdag ~11:00 har feil ACL og kan ikke leses. Support gj?r n? fors?k p? ? rette opp utover kvelden. Om dette ikke f?rer frem vil objektene med feil ACL m?tte justeres "manuelt". Dette er en omfattende prosess og vil ikke startes f?r mandag morgen.

18:00 (mandag)

Reparasjoner p?g?r, og stadig flere objekter blir aksesserbare.

17:30 (tirsdag)

Stadig flere tjenester har 100% tilgjengelighet.

08:30 (onsdag)

Ingen av tjenestene som benytter l?sningen rapporterer om problemer.