Inne
HDF5 (Hierarchical Data Format v5)
AktywnyOpublikowany
HDF5 to binarny format i biblioteka do przechowywania dużych, hierarchicznych zbiorów danych numerycznych (tablice, metadane); w robotyce i uczeniu maszynowym używany m.in. do zapisu danych demonstracyjnych i treningowych.
Kluczowa
innowacja
Hierarchiczny, samoopisujący się format do wydajnego, przenośnego przechowywania dużych danych numerycznych.
Kategoria
Inne
Poziom abstrakcji
Building block
Poziom operacji
TreningSystem
Jak działa
Plik HDF5 ma strukturę przypominającą system plików: grupy (jak katalogi) zawierają zbiory danych (tablice) i atrybuty. Biblioteka pozwala zapisywać/odczytywać dowolne fragmenty bez wczytywania całości, stosować kompresję i chunking oraz zachować przenośność między językami (C, Python/h5py i in.).
Rozwiązany problem
Duże, wielomodalne dane (obrazy, chmury punktów, szeregi czasowe) trzeba przechowywać wydajnie, z metadanymi i możliwością szybkiego, częściowego odczytu, niezależnie od platformy.