在计算云中高性能地震数据处理的文件结构评估

Murilo Andrietta, C. Rodamilans, A. Guimarães, Edson Borin
{"title":"在计算云中高性能地震数据处理的文件结构评估","authors":"Murilo Andrietta, C. Rodamilans, A. Guimarães, Edson Borin","doi":"10.5753/wscad.2019.8677","DOIUrl":null,"url":null,"abstract":"As aplicações computacionais na área de sismologia processam dados até a ordem de centenas de terabytes e seus desempenhos podem ser fortemente afetados pelas operações de Leitura e Escrita. Este artigo generaliza as principais estruturas de arquivos para armazenamento de dados sı́smicos e avalia seus desempenhos. São apresentadas uma análise teórica do carregamento de dados na memória e uma análise de desempenho na nuvem computacional, utilizando diferentes tecnologias de armazenamento (HDD, SSD e EFS). A partir delas, obteve-se que a escolha adequada da estrutura de arquivo para um caso de uso tı́pico permite uma redução de até 193 vezes na quantidade de dados lidos. Observou-se também que a melhor estrutura avaliada desempenha até 139 vezes mais rapidamente do que a estrutura adotada pelo formato SEG-Y, usado como padrão pela Agência Nacional de Petróleo do Brasil. Por fim, nos experimentos com armazenamento em rede, concluiu-se que o uso de instâncias mais custosas, mas com maior capacidade de transmissão de dados, não traz benefı́cios significativos.","PeriodicalId":117711,"journal":{"name":"Anais do Simpósio em Sistemas Computacionais de Alto Desempenho (WSCAD)","volume":"212 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2019-11-08","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"1","resultStr":"{\"title\":\"Avaliação das estruturas de arquivo para processamento de dados sísmicos com alto desempenho na nuvem computacional\",\"authors\":\"Murilo Andrietta, C. Rodamilans, A. Guimarães, Edson Borin\",\"doi\":\"10.5753/wscad.2019.8677\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"As aplicações computacionais na área de sismologia processam dados até a ordem de centenas de terabytes e seus desempenhos podem ser fortemente afetados pelas operações de Leitura e Escrita. Este artigo generaliza as principais estruturas de arquivos para armazenamento de dados sı́smicos e avalia seus desempenhos. São apresentadas uma análise teórica do carregamento de dados na memória e uma análise de desempenho na nuvem computacional, utilizando diferentes tecnologias de armazenamento (HDD, SSD e EFS). A partir delas, obteve-se que a escolha adequada da estrutura de arquivo para um caso de uso tı́pico permite uma redução de até 193 vezes na quantidade de dados lidos. Observou-se também que a melhor estrutura avaliada desempenha até 139 vezes mais rapidamente do que a estrutura adotada pelo formato SEG-Y, usado como padrão pela Agência Nacional de Petróleo do Brasil. Por fim, nos experimentos com armazenamento em rede, concluiu-se que o uso de instâncias mais custosas, mas com maior capacidade de transmissão de dados, não traz benefı́cios significativos.\",\"PeriodicalId\":117711,\"journal\":{\"name\":\"Anais do Simpósio em Sistemas Computacionais de Alto Desempenho (WSCAD)\",\"volume\":\"212 1\",\"pages\":\"0\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2019-11-08\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"1\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"Anais do Simpósio em Sistemas Computacionais de Alto Desempenho (WSCAD)\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.5753/wscad.2019.8677\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"Anais do Simpósio em Sistemas Computacionais de Alto Desempenho (WSCAD)","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.5753/wscad.2019.8677","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 1

摘要

地震学领域的计算应用程序处理的数据高达数百tb,其性能可能受到读写操作的强烈影响。这篇文章概括了主要的结构文件数据存储的ı́smicos和评估他们的表现。采用不同的存储技术(HDD、SSD和EFS)对数据加载到内存中的理论分析和计算云中的性能分析进行了分析。从他们的是文件结构,选择合适的一个用例tı́峰允许在读取的数据量减少到193次。还观察到,评估的最佳结构比巴西国家石油机构作为标准的SEG-Y格式所采用的结构快139倍。最后,我们网络存储实验,结果表明,使用更昂贵,但身体和数据传输能力,不会带来好处ı́巨大的。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
查看原文
分享 分享
微信好友 朋友圈 QQ好友 复制链接
本刊更多论文
Avaliação das estruturas de arquivo para processamento de dados sísmicos com alto desempenho na nuvem computacional
As aplicações computacionais na área de sismologia processam dados até a ordem de centenas de terabytes e seus desempenhos podem ser fortemente afetados pelas operações de Leitura e Escrita. Este artigo generaliza as principais estruturas de arquivos para armazenamento de dados sı́smicos e avalia seus desempenhos. São apresentadas uma análise teórica do carregamento de dados na memória e uma análise de desempenho na nuvem computacional, utilizando diferentes tecnologias de armazenamento (HDD, SSD e EFS). A partir delas, obteve-se que a escolha adequada da estrutura de arquivo para um caso de uso tı́pico permite uma redução de até 193 vezes na quantidade de dados lidos. Observou-se também que a melhor estrutura avaliada desempenha até 139 vezes mais rapidamente do que a estrutura adotada pelo formato SEG-Y, usado como padrão pela Agência Nacional de Petróleo do Brasil. Por fim, nos experimentos com armazenamento em rede, concluiu-se que o uso de instâncias mais custosas, mas com maior capacidade de transmissão de dados, não traz benefı́cios significativos.
求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
自引率
0.00%
发文量
0
期刊最新文献
Performance Evaluation of Compiler Optimizations in FPGA Accelerators Análise de viabilidade de ferramenta para correção híbrida de sequências genômicas em ambiente de memória compartilhada com FPGA Poluição de Cache e Thrashing em Aplicações Paralelas de Alto Desempenho Coherence State Awareness in Way-Replacement Algorithms for Multicore Processors Identification and Characterization of Memory Allocation Anomalies in High-Performance Computing Applications
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
现在去查看 取消
×
提示
确定
0
微信
客服QQ
Book学术公众号 扫码关注我们
反馈
×
意见反馈
请填写您的意见或建议
请填写您的手机或邮箱
已复制链接
已复制链接
快去分享给好友吧!
我知道了
×
扫码分享
扫码分享
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1