Использование подходов SoA/AoS для работы с многоуровневыми структурами данных

Мультимодальная система хранения Otterbrix использует многомерные «документы» в качестве базового формата хранения как в памяти, так и на диске. Но «документы» в данном случае не означают JSON, это — как специализированные структуры, используемые для хранения, так и алгоритмы обработки таких данных. Эти алгоритмы разумно варьируют подходы Structure-of-Array (SoA) / Array-of-Structure (AoS).

Такие многомерные «документы» должны быть гибкими и быстрыми, уметь работать в памяти и с диском, а еще (хорошо бы) использовать механизмы параллелизма GPU. В дальнейшем такой «документ» можно конвертировать в специализированные строчные и колоночные форматы и делать многое другое, о чем расскажу в докладе.