|
|
|
|
| LEADER |
05397cam a2200541 4500 |
| 001 |
183-1698141351 |
| 003 |
DE-627 |
| 005 |
20230406123903.0 |
| 007 |
tu |
| 008 |
200513s2020 gw ||||| m 00| ||eng c |
| 035 |
|
|
|a (DE-627)1698141351
|
| 035 |
|
|
|a (DE-599)KXP1698141351
|
| 035 |
|
|
|a (OCoLC)1375078280
|
| 040 |
|
|
|a DE-627
|b ger
|c DE-627
|e rda
|
| 041 |
|
|
|a eng
|
| 044 |
|
|
|c XA-DE-TH
|
| 084 |
|
|
|a 54.64
|2 bkl
|
| 100 |
1 |
|
|a Hagedorn, Stefan
|d 1985-
|e VerfasserIn
|0 (DE-588)1206215402
|0 (DE-627)169200672X
|4 aut
|
| 245 |
1 |
0 |
|a Efficient processing of large-scale spatio-temporal data
|c vorgelegt von Dipl.-Inf. Stefan Hagedorn
|
| 264 |
|
1 |
|a Ilmenau
|c [2020?]
|
| 300 |
|
|
|a 148 Seiten
|b Diagramme, Illustrationen (teilweise farbig)
|
| 336 |
|
|
|a Text
|b txt
|2 rdacontent
|
| 337 |
|
|
|a ohne Hilfsmittel zu benutzen
|b n
|2 rdamedia
|
| 338 |
|
|
|a Band
|b nc
|2 rdacarrier
|
| 500 |
|
|
|a Tag der Verteidigung: 06.05.2020
|
| 502 |
|
|
|b Dissertation
|c Technische Universität Ilmenau
|d 2020
|
| 520 |
|
|
|a Millionen Geräte, wie z.B. Mobiltelefone, Autos und Umweltsensoren senden ihre Positionen zusammen mit einem Zeitstempel und weiteren Nutzdaten an einen Server zu verschiedenen Analysezwecken. Die Positionsinformationen und übertragenen Ereignisinformationen werden als Punkte oder Polygone dargestellt. Eine weitere Art räumlicher Daten sind Rasterdaten, die zum Beispiel von Kameras und Sensoren produziert werden. Diese großen räumlich-zeitlichen Datenmengen können nur auf skalierbaren Plattformen wie Hadoop und Apache Spark verarbeitet werden, die jedoch z.B. die Nachbarschaftsinformation nicht ausnutzen können - was die Ausführung bestimmter Anfragen praktisch unmöglich macht. Die wiederholten Ausführungen der Analyseprogramme während ihrer Entwicklung und durch verschiedene Nutzer resultieren in langen Ausführungszeiten und hohen Kosten für gemietete Ressourcen, die durch die Wiederverwendung von Zwischenergebnissen reduziert werden können. Diese Arbeit beschäftigt sich mit den beiden oben beschriebenen Herausforderungen. Wir präsentieren zunächst das STARK Framework für die Verarbeitung räumlich-zeitlicher Vektor- und Rasterdaten in Apache Spark. Wir identifizieren verschiedene Algorithmen für Operatoren und analysieren, wie diese von den Eigenschaften der zugrundeliegenden Plattform profitieren können. Weiterhin wird untersucht, wie Indexe in der verteilten und parallelen Umgebung realisiert werden können. Außerdem vergleichen wir Partitionierungsmethoden, die unterschiedlich gut mit ungleichmäßiger Datenverteilung und der Größe der Datenmenge umgehen können und präsentieren einen Ansatz um die auf Operatorebene zu verarbeitende Datenmenge frühzeitig zu reduzieren. Um die Ausführungszeit von Programmen zu verkürzen, stellen wir einen Ansatz zur transparenten Materialisierung von Zwischenergebnissen vor. Dieser Ansatz benutzt ein Entscheidungsmodell, welches auf den tatsächlichen Operatorkosten basiert. In der Evaluierung vergleichen wir die verschiedenen Implementierungs- sowie Konfigurationsmöglichkeiten in STARK und identifizieren Szenarien wann Partitionierung und Indexierung eingesetzt werden sollten. Außerdem vergleichen wir STARK mit verwandten Systemen. Im zweiten Teil der Evaluierung zeigen wir, dass die transparente Wiederverwendung der materialisierten Zwischenergebnisse die Ausführungszeit der Programme signifikant verringern kann.
|
| 655 |
|
7 |
|a Hochschulschrift
|0 (DE-588)4113937-9
|0 (DE-627)105825778
|0 (DE-576)209480580
|2 gnd-content
|
| 689 |
0 |
0 |
|D s
|0 (DE-588)4802620-7
|0 (DE-627)472310364
|0 (DE-576)216543657
|a Big Data
|2 gnd
|
| 689 |
0 |
1 |
|D s
|0 (DE-588)4206012-6
|0 (DE-627)105131199
|0 (DE-576)210172576
|a Raumdaten
|2 gnd
|
| 689 |
0 |
2 |
|D s
|0 (DE-588)4176992-2
|0 (DE-627)104558172
|0 (DE-576)209974400
|a Rastergrafik
|2 gnd
|
| 689 |
0 |
3 |
|D s
|0 (DE-588)4464685-9
|0 (DE-627)232055696
|0 (DE-576)212709771
|a Framework
|g Informatik
|2 gnd
|
| 689 |
0 |
4 |
|D s
|0 (DE-588)1129113116
|0 (DE-627)883800829
|0 (DE-576)486160742
|a Apache Spark
|2 gnd
|
| 689 |
0 |
5 |
|D s
|0 (DE-588)1022420135
|0 (DE-627)716967316
|0 (DE-576)365311405
|a Hadoop
|2 gnd
|
| 689 |
0 |
|
|5 (DE-627)
|
| 700 |
1 |
|
|a Sattler, Kai-Uwe
|d 1968-
|e AkademischeR BetreuerIn
|0 (DE-588)120420392
|0 (DE-627)080664091
|0 (DE-576)17884845X
|4 dgs
|
| 700 |
1 |
|
|a Seeger, Bernhard
|e AkademischeR BetreuerIn
|4 dgs
|
| 700 |
1 |
|
|a Gertz, Michael
|e AkademischeR BetreuerIn
|0 (DE-588)1038076579
|0 (DE-627)756636973
|0 (DE-576)392095645
|4 dgs
|
| 710 |
2 |
|
|a Technische Universität Ilmenau
|e Grad-verleihende Institution
|0 (DE-588)2125187-3
|0 (DE-627)121097897
|0 (DE-576)194247589
|4 dgg
|
| 751 |
|
|
|a Ilmenau
|0 (DE-588)4026566-3
|0 (DE-627)104745495
|0 (DE-576)208967060
|4 uvp
|
| 776 |
0 |
8 |
|i Erscheint auch als
|n Online-Ausgabe
|a Hagedorn, Stefan, 1985 -
|t Efficient processing of large-scale spatio-temporal data
|d Ilmenau : Universitätsbibliothek, 2020
|h 1 Online-Ressource (148 Seiten)
|w (DE-627)1724473328
|
| 856 |
4 |
2 |
|u https://www.gbv.de/dms/ilmenau/toc/1698141351.PDF
|m DE-601
|q application/pdf
|x Digitalisierung
|y Inhaltsverzeichnis
|3 Inhaltsverzeichnis
|
| 856 |
4 |
2 |
|u https://www.gbv.de/dms/ilmenau/abs/1698141351haged.txt
|m DE-601
|q text/plain
|x Archivierung
|y Abstract
|3 Abstract
|
| 924 |
0 |
|
|a 3666438857
|b DE-Ilm1
|9 Ilm 1
|c GBV
|d c
|g INF ST 271 D17 H141
|h 53
|
| 924 |
0 |
|
|a 3723929842
|b DE-Ilm1
|9 Ilm 1
|c GBV
|d c
|g INF 20 A 893
|h 97
|
| 936 |
b |
k |
|a 54.64
|j Datenbanken
|0 (DE-627)106410865
|
| 951 |
|
|
|a BO
|
| 980 |
|
|
|a 1698141351
|b 183
|c sid-183-col-kxpbbi
|
SOLR
| _version_ |
1798421498050904064 |
| author |
Hagedorn, Stefan |
| author2 |
Sattler, Kai-Uwe, Seeger, Bernhard, Gertz, Michael |
| author2_role |
dgs, dgs, dgs |
| author2_variant |
k u s kus, b s bs, m g mg |
| author_corporate |
Technische Universität Ilmenau |
| author_corporate_role |
dgg |
| author_facet |
Hagedorn, Stefan, Sattler, Kai-Uwe, Seeger, Bernhard, Gertz, Michael, Technische Universität Ilmenau |
| author_role |
aut |
| author_sort |
Hagedorn, Stefan 1985- |
| author_variant |
s h sh |
| building |
Library A |
| collection |
sid-183-col-kxpbbi |
| contents |
Millionen Geräte, wie z.B. Mobiltelefone, Autos und Umweltsensoren senden ihre Positionen zusammen mit einem Zeitstempel und weiteren Nutzdaten an einen Server zu verschiedenen Analysezwecken. Die Positionsinformationen und übertragenen Ereignisinformationen werden als Punkte oder Polygone dargestellt. Eine weitere Art räumlicher Daten sind Rasterdaten, die zum Beispiel von Kameras und Sensoren produziert werden. Diese großen räumlich-zeitlichen Datenmengen können nur auf skalierbaren Plattformen wie Hadoop und Apache Spark verarbeitet werden, die jedoch z.B. die Nachbarschaftsinformation nicht ausnutzen können - was die Ausführung bestimmter Anfragen praktisch unmöglich macht. Die wiederholten Ausführungen der Analyseprogramme während ihrer Entwicklung und durch verschiedene Nutzer resultieren in langen Ausführungszeiten und hohen Kosten für gemietete Ressourcen, die durch die Wiederverwendung von Zwischenergebnissen reduziert werden können. Diese Arbeit beschäftigt sich mit den beiden oben beschriebenen Herausforderungen. Wir präsentieren zunächst das STARK Framework für die Verarbeitung räumlich-zeitlicher Vektor- und Rasterdaten in Apache Spark. Wir identifizieren verschiedene Algorithmen für Operatoren und analysieren, wie diese von den Eigenschaften der zugrundeliegenden Plattform profitieren können. Weiterhin wird untersucht, wie Indexe in der verteilten und parallelen Umgebung realisiert werden können. Außerdem vergleichen wir Partitionierungsmethoden, die unterschiedlich gut mit ungleichmäßiger Datenverteilung und der Größe der Datenmenge umgehen können und präsentieren einen Ansatz um die auf Operatorebene zu verarbeitende Datenmenge frühzeitig zu reduzieren. Um die Ausführungszeit von Programmen zu verkürzen, stellen wir einen Ansatz zur transparenten Materialisierung von Zwischenergebnissen vor. Dieser Ansatz benutzt ein Entscheidungsmodell, welches auf den tatsächlichen Operatorkosten basiert. In der Evaluierung vergleichen wir die verschiedenen Implementierungs- sowie Konfigurationsmöglichkeiten in STARK und identifizieren Szenarien wann Partitionierung und Indexierung eingesetzt werden sollten. Außerdem vergleichen wir STARK mit verwandten Systemen. Im zweiten Teil der Evaluierung zeigen wir, dass die transparente Wiederverwendung der materialisierten Zwischenergebnisse die Ausführungszeit der Programme signifikant verringern kann. |
| ctrlnum |
(DE-627)1698141351, (DE-599)KXP1698141351, (OCoLC)1375078280 |
| facet_avail |
Local |
| facet_local_del330 |
Big Data, Raumdaten, Rastergrafik, Framework, Apache Spark, Hadoop |
| fincclass_txtF_mv |
science-computerscience |
| footnote |
Tag der Verteidigung: 06.05.2020 |
| format |
Book, Thesis |
| format_access_txtF_mv |
Thesis |
| format_de14 |
Book, E-Book |
| format_de15 |
Book, E-Book |
| format_del152 |
Buch |
| format_detail_txtF_mv |
text-print-monograph-independent-thesis |
| format_dezi4 |
e-Book |
| format_finc |
Book, E-Book, Thesis |
| format_legacy |
Book |
| format_legacy_nrw |
Book, E-Book |
| format_nrw |
Book, E-Book |
| format_strict_txtF_mv |
Thesis |
| genre |
Hochschulschrift (DE-588)4113937-9 (DE-627)105825778 (DE-576)209480580 gnd-content |
| genre_facet |
Hochschulschrift |
| geogr_code |
not assigned |
| geogr_code_person |
not assigned |
| id |
183-1698141351 |
| illustrated |
Not Illustrated |
| imprint |
Ilmenau, [2020?] |
| imprint_str_mv |
Ilmenau, [2020?] |
| institution |
FID-BBI-DE-23 |
| is_hierarchy_id |
|
| is_hierarchy_title |
|
| language |
English |
| last_indexed |
2024-05-07T18:59:52.592Z |
| marc_error |
[geogr_code]Unable to make public java.lang.AbstractStringBuilder java.lang.AbstractStringBuilder.append(java.lang.String) accessible: module java.base does not "opens java.lang" to unnamed module @20e8cc55 |
| match_str |
hagedorn2020efficientprocessingoflargescalespatiotemporaldata |
| mega_collection |
K10plus Verbundkatalog |
| oclc_num |
1375078280 |
| physical |
148 Seiten; Diagramme, Illustrationen (teilweise farbig) |
| publishDate |
[2020?] |
| publishDateSort |
2020 |
| publishPlace |
Ilmenau |
| publisher |
|
| record_format |
marcfinc |
| record_id |
1698141351 |
| recordtype |
marcfinc |
| rvk_facet |
No subject assigned |
| source_id |
183 |
| spelling |
Hagedorn, Stefan 1985- VerfasserIn (DE-588)1206215402 (DE-627)169200672X aut, Efficient processing of large-scale spatio-temporal data vorgelegt von Dipl.-Inf. Stefan Hagedorn, Ilmenau [2020?], 148 Seiten Diagramme, Illustrationen (teilweise farbig), Text txt rdacontent, ohne Hilfsmittel zu benutzen n rdamedia, Band nc rdacarrier, Tag der Verteidigung: 06.05.2020, Dissertation Technische Universität Ilmenau 2020, Millionen Geräte, wie z.B. Mobiltelefone, Autos und Umweltsensoren senden ihre Positionen zusammen mit einem Zeitstempel und weiteren Nutzdaten an einen Server zu verschiedenen Analysezwecken. Die Positionsinformationen und übertragenen Ereignisinformationen werden als Punkte oder Polygone dargestellt. Eine weitere Art räumlicher Daten sind Rasterdaten, die zum Beispiel von Kameras und Sensoren produziert werden. Diese großen räumlich-zeitlichen Datenmengen können nur auf skalierbaren Plattformen wie Hadoop und Apache Spark verarbeitet werden, die jedoch z.B. die Nachbarschaftsinformation nicht ausnutzen können - was die Ausführung bestimmter Anfragen praktisch unmöglich macht. Die wiederholten Ausführungen der Analyseprogramme während ihrer Entwicklung und durch verschiedene Nutzer resultieren in langen Ausführungszeiten und hohen Kosten für gemietete Ressourcen, die durch die Wiederverwendung von Zwischenergebnissen reduziert werden können. Diese Arbeit beschäftigt sich mit den beiden oben beschriebenen Herausforderungen. Wir präsentieren zunächst das STARK Framework für die Verarbeitung räumlich-zeitlicher Vektor- und Rasterdaten in Apache Spark. Wir identifizieren verschiedene Algorithmen für Operatoren und analysieren, wie diese von den Eigenschaften der zugrundeliegenden Plattform profitieren können. Weiterhin wird untersucht, wie Indexe in der verteilten und parallelen Umgebung realisiert werden können. Außerdem vergleichen wir Partitionierungsmethoden, die unterschiedlich gut mit ungleichmäßiger Datenverteilung und der Größe der Datenmenge umgehen können und präsentieren einen Ansatz um die auf Operatorebene zu verarbeitende Datenmenge frühzeitig zu reduzieren. Um die Ausführungszeit von Programmen zu verkürzen, stellen wir einen Ansatz zur transparenten Materialisierung von Zwischenergebnissen vor. Dieser Ansatz benutzt ein Entscheidungsmodell, welches auf den tatsächlichen Operatorkosten basiert. In der Evaluierung vergleichen wir die verschiedenen Implementierungs- sowie Konfigurationsmöglichkeiten in STARK und identifizieren Szenarien wann Partitionierung und Indexierung eingesetzt werden sollten. Außerdem vergleichen wir STARK mit verwandten Systemen. Im zweiten Teil der Evaluierung zeigen wir, dass die transparente Wiederverwendung der materialisierten Zwischenergebnisse die Ausführungszeit der Programme signifikant verringern kann., Hochschulschrift (DE-588)4113937-9 (DE-627)105825778 (DE-576)209480580 gnd-content, s (DE-588)4802620-7 (DE-627)472310364 (DE-576)216543657 Big Data gnd, s (DE-588)4206012-6 (DE-627)105131199 (DE-576)210172576 Raumdaten gnd, s (DE-588)4176992-2 (DE-627)104558172 (DE-576)209974400 Rastergrafik gnd, s (DE-588)4464685-9 (DE-627)232055696 (DE-576)212709771 Framework Informatik gnd, s (DE-588)1129113116 (DE-627)883800829 (DE-576)486160742 Apache Spark gnd, s (DE-588)1022420135 (DE-627)716967316 (DE-576)365311405 Hadoop gnd, (DE-627), Sattler, Kai-Uwe 1968- AkademischeR BetreuerIn (DE-588)120420392 (DE-627)080664091 (DE-576)17884845X dgs, Seeger, Bernhard AkademischeR BetreuerIn dgs, Gertz, Michael AkademischeR BetreuerIn (DE-588)1038076579 (DE-627)756636973 (DE-576)392095645 dgs, Technische Universität Ilmenau Grad-verleihende Institution (DE-588)2125187-3 (DE-627)121097897 (DE-576)194247589 dgg, Ilmenau (DE-588)4026566-3 (DE-627)104745495 (DE-576)208967060 uvp, Erscheint auch als Online-Ausgabe Hagedorn, Stefan, 1985 - Efficient processing of large-scale spatio-temporal data Ilmenau : Universitätsbibliothek, 2020 1 Online-Ressource (148 Seiten) (DE-627)1724473328, https://www.gbv.de/dms/ilmenau/toc/1698141351.PDF DE-601 application/pdf Digitalisierung Inhaltsverzeichnis Inhaltsverzeichnis, https://www.gbv.de/dms/ilmenau/abs/1698141351haged.txt DE-601 text/plain Archivierung Abstract Abstract |
| spellingShingle |
Hagedorn, Stefan, Efficient processing of large-scale spatio-temporal data, Millionen Geräte, wie z.B. Mobiltelefone, Autos und Umweltsensoren senden ihre Positionen zusammen mit einem Zeitstempel und weiteren Nutzdaten an einen Server zu verschiedenen Analysezwecken. Die Positionsinformationen und übertragenen Ereignisinformationen werden als Punkte oder Polygone dargestellt. Eine weitere Art räumlicher Daten sind Rasterdaten, die zum Beispiel von Kameras und Sensoren produziert werden. Diese großen räumlich-zeitlichen Datenmengen können nur auf skalierbaren Plattformen wie Hadoop und Apache Spark verarbeitet werden, die jedoch z.B. die Nachbarschaftsinformation nicht ausnutzen können - was die Ausführung bestimmter Anfragen praktisch unmöglich macht. Die wiederholten Ausführungen der Analyseprogramme während ihrer Entwicklung und durch verschiedene Nutzer resultieren in langen Ausführungszeiten und hohen Kosten für gemietete Ressourcen, die durch die Wiederverwendung von Zwischenergebnissen reduziert werden können. Diese Arbeit beschäftigt sich mit den beiden oben beschriebenen Herausforderungen. Wir präsentieren zunächst das STARK Framework für die Verarbeitung räumlich-zeitlicher Vektor- und Rasterdaten in Apache Spark. Wir identifizieren verschiedene Algorithmen für Operatoren und analysieren, wie diese von den Eigenschaften der zugrundeliegenden Plattform profitieren können. Weiterhin wird untersucht, wie Indexe in der verteilten und parallelen Umgebung realisiert werden können. Außerdem vergleichen wir Partitionierungsmethoden, die unterschiedlich gut mit ungleichmäßiger Datenverteilung und der Größe der Datenmenge umgehen können und präsentieren einen Ansatz um die auf Operatorebene zu verarbeitende Datenmenge frühzeitig zu reduzieren. Um die Ausführungszeit von Programmen zu verkürzen, stellen wir einen Ansatz zur transparenten Materialisierung von Zwischenergebnissen vor. Dieser Ansatz benutzt ein Entscheidungsmodell, welches auf den tatsächlichen Operatorkosten basiert. In der Evaluierung vergleichen wir die verschiedenen Implementierungs- sowie Konfigurationsmöglichkeiten in STARK und identifizieren Szenarien wann Partitionierung und Indexierung eingesetzt werden sollten. Außerdem vergleichen wir STARK mit verwandten Systemen. Im zweiten Teil der Evaluierung zeigen wir, dass die transparente Wiederverwendung der materialisierten Zwischenergebnisse die Ausführungszeit der Programme signifikant verringern kann., Hochschulschrift, Big Data, Raumdaten, Rastergrafik, Framework Informatik, Apache Spark, Hadoop |
| title |
Efficient processing of large-scale spatio-temporal data |
| title_auth |
Efficient processing of large-scale spatio-temporal data |
| title_full |
Efficient processing of large-scale spatio-temporal data vorgelegt von Dipl.-Inf. Stefan Hagedorn |
| title_fullStr |
Efficient processing of large-scale spatio-temporal data vorgelegt von Dipl.-Inf. Stefan Hagedorn |
| title_full_unstemmed |
Efficient processing of large-scale spatio-temporal data vorgelegt von Dipl.-Inf. Stefan Hagedorn |
| title_short |
Efficient processing of large-scale spatio-temporal data |
| title_sort |
efficient processing of large-scale spatio-temporal data |
| title_unstemmed |
Efficient processing of large-scale spatio-temporal data |
| topic |
Hochschulschrift, Big Data, Raumdaten, Rastergrafik, Framework Informatik, Apache Spark, Hadoop |
| topic_facet |
Hochschulschrift, Big Data, Raumdaten, Rastergrafik, Framework, Apache Spark, Hadoop |
| url |
https://www.gbv.de/dms/ilmenau/toc/1698141351.PDF, https://www.gbv.de/dms/ilmenau/abs/1698141351haged.txt |
| work_keys_str_mv |
AT hagedornstefan efficientprocessingoflargescalespatiotemporaldata, AT sattlerkaiuwe efficientprocessingoflargescalespatiotemporaldata, AT seegerbernhard efficientprocessingoflargescalespatiotemporaldata, AT gertzmichael efficientprocessingoflargescalespatiotemporaldata, AT technischeuniversitatilmenau efficientprocessingoflargescalespatiotemporaldata |