-
Presto随笔
所属栏目：[大数据] 日期：2021-03-06 热度：131
解决了什么问题 快读的交互式查询 presto 和hive到底什么关系 http://www.mutouxiaogui.cn/blog/?p=395 和hive在一个层级，都是基于hdfs的。但是presto可以借助hive的元信息找到hdfs上的节点。 presto现在已经可以连接 MySQL postgre hive等了 presto为什么[详细]
-
HDOJ/HDU 5686 Problem B(斐波拉契+大数~)
所属栏目：[大数据] 日期：2021-03-06 热度：173
Problem Description 度熊面前有一个全是由1构成的字符串，被称为全1序列。你可以合并任意相邻的两个1，从而形成一个新的序列。对于给定的一个全1序列，请计算根据以上方法，可以构成多少种不同的序列。 Input 这里包括多组测试数据，每组测试数据包含一个正[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe（欧拉函数）
所属栏目：[大数据] 日期：2021-03-06 热度：165
题目链接： LightOJ 1370 Bi-shoe and Phi-shoe 题意： 给出n个数，要求对每个数a[i]找一个数x[i]使得小于x[i]且与x[i]互素的数的个数不小于a[i],求出所有x[i]的最小和。 分析： 和最小则每个数对应的x[i]应最[详细]
-
基因数据处理26之bcftools安装和使用
所属栏目：[大数据] 日期：2021-03-06 热度：72
1.下载： https://github.com/samtools/bcftools 2.安装 make make install 3.结合samtools使用 对排序好的bam数据用samtools生成bcf文件： xubo @xubo :~/xubo/data/testTools/se $ samtools mpileup -ugf ../hs38DH.fa hs2.sort.bam hs2.bcf 由于生成的是[详细]
-
基因数据处理33之Avocado运行记录(参考基因组)
所属栏目：[大数据] 日期：2021-03-06 热度：72
1.数据下载： avocaodo的test resource中 2.预处理： cat Homo_sapiens_assembly19 .fasta | grep -i -n '' Homo_sapiens_assembly19Head .txt cat Homo_sapiens_assembly19Head .txt cat Homo_sapiens_assembly19 .fasta | head - 34770016 |tail - 787820[详细]
-
基因数据处理35之使用samtools和bcftools进行变异分析2--连续处
所属栏目：[大数据] 日期：2021-03-06 热度：68
指令： samtools mpileup -uf Homo_sapiens_assembly19chr20 .fasta NA12878_snp_A2G_chr20_225058_longer .sorted .bam | bcftools call -mv NA12878_snp_A2G_chr20_225058_longer .raw .vcf bcftools filter -s LowQual -e '%QUAL20 || DP100' NA12878_snp[详细]
-
nyoj 28 大数阶乘
所属栏目：[大数据] 日期：2021-03-06 热度：139
大数阶乘 时间限制： 3000 ?ms ?|? 内存限制： 65535 ?KB 难度： 3 描述 我们都知道如何计算一个数的阶乘，可是，如果这个数很大呢，我们该如何去计算它并输出它？ 输入 输入一个整数m(0m=5000) 输出 输出m的阶乘，并在输出结束之后输入一个换行符 样例输入[详细]
-
基因数据处理26之avocado运行snap-basic有问题
所属栏目：[大数据] 日期：2021-03-06 热度：192
hadoop@Master:~/xubo/data/testTools/se$ avocado-submit /xubo/avocado/hs2 .fq /xubo/avocado/hs38DH .fa /xubo/avocado/test20160527NUMhs2snap /home/hadoop/xubo/data/testTools/se/snap-basic .properties Using SPARK_SUBMIT=/home/hadoop/cloud/spa[详细]
-
工具 | R高效数据处理包dplyr和data.table，你选哪个？
所属栏目：[大数据] 日期：2021-03-06 热度：84
dplyr和data.table是R的两个高效数据处理包，这两个包有它们各自的优点。dplyr包的语法更加优雅，提供了更易于人类所能理解的自然语言。data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高（见这里[详细]
-
如何挖掘大数据“钻石矿”? 李克强绘四大路径
所属栏目：[大数据] 日期：2021-03-06 热度：103
中新社 刘震 摄 有人将大数据比喻为“21世纪的钻石矿”。如何在新一轮信息化潮流中抢得先机，掘得富矿？中国国务院总理李克强25日在中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称：数博会)上发表致辞时，为此描绘出四大清晰路径。 路径一：大数据[详细]
-
数据处理的 9 大编程语言
所属栏目：[大数据] 日期：2021-03-06 热度：150
（点击 上方公众号 ，可快速关注） 英文：Anna Nicolauo 译者：伯乐在线 - 胡波 链接：http://blog.jobbole.com/100732/ 有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比如 Excel[详细]
-
基因数据处理28之avocado运行
所属栏目：[大数据] 日期：2021-03-06 热度：169
需要注意的是如果使用avocado的命令行，fs和fq为hdfs路径，properties为本地路径： hadoop @Master :~/xubo/data/testTools/se $ avocado-submit /xubo/avocado/hs1.fq /xubo/avocado/hs38DH.fa /xubo/avocado/test20160527 /home/hadoop/cloud/avocado/basi[详细]
-
WindowsXP SP3 AFD.sys 本地拒绝服务漏洞的挖掘过程
所属栏目：[大数据] 日期：2021-03-06 热度：113
标 题: WindowsXP SP3 AFD.sys 本地拒绝服务漏洞的挖掘过程 时 间: 2013-03-17,15:22:33 这是本人第一次做漏洞挖掘，2月的时候开始研究漏洞挖掘技术，2月24号那天在进行Fuzz测试的时候偶然的发现了一个afd.sys未处理的异常，然后就对这个异常如获至宝的分析[详细]
-
520我与大数据有个约会——上海大数据创新应用论坛完美落幕
所属栏目：[大数据] 日期：2021-03-06 热度：125
2016年5月20日周五下午，由上海市大数据联盟牵头，慧与(中国)有限公司、联通小沃科技与华院数据共同承办，来自金融服务业、运营商、零售及电商、制造等行业的大数据应用先行者们为各行各业170余位来宾们打开了一扇通向大数据应用落地彼岸的智慧之门。会议由[详细]
-
基因数据处理31之avocado运行avocado-cli中的avocado问题3-变异
所属栏目：[大数据] 日期：2021-03-06 热度：136
读入的read为： val fqFile = "hs38DHSE1L100F1.sam" 读取结果： cleanedReads. count : 1 { "readNum" : 0 , "contig" : { "contigName" : "chrUn_KN707963v1_decoy" , "contigLength" : 62955 , "contigMD5" : null , "referenceURL" : null , "assembly"[详细]
-
基因数据处理32之Avocado运行记录(人造数据集)
所属栏目：[大数据] 日期：2021-03-06 热度：145
主要是需要数据正确，如果中间缺少记录，avocado一般不会成功 1.代码： Avocado修改： /** * Licensed to Big Data Genomics (BDG) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional[详细]
-
基因数据处理30之avocado运行avocado-cli中的avocado问题1和2
所属栏目：[大数据] 日期：2021-03-06 热度：83
问题1： avocado中的run方法中： println( "stats.coverage:" + stats .coverage ) 调用的是： lazy val coverage = ComputingCoverage.time { ScoreCoverage(inputDataset) } 然后报错： Exception in thread "main" java .lang .UnsupportedOperationExcep[详细]
-
从搭台到唱戏，电商卷皮BI的实践演进和架构体系
所属栏目：[大数据] 日期：2021-03-05 热度：65
本文是6月16日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号，点击“加群学习”，更多大牛一手技术分享等着你。 实习编辑：Melody 大家好，我是卷皮BI团队负责人柴楹，今天在这里给大家分享一下卷皮的BI和大数据的一些东西。 BI大数据是什么？ 首先我[详细]
-
NB-MAFIA: 基于N-List 的最长频繁项集挖掘算法
所属栏目：[大数据] 日期：2021-03-05 热度：179
基于N-List,提出一个高效的最长频繁项集挖掘算法NB-MAFIA，发表在《北京大学学报》上，论文可从以下网址免费下载： http://xbna.pku.edu.cn/CN/abstract/abstract2916.shtml[详细]
-
论如何打造高性能大数据分析平台
所属栏目：[大数据] 日期：2021-03-05 热度：62
本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则(例如数据提取，数据清洗，处理，存储，以及介绍)。本文应作为一个通用准则，以确保最终的大数据分析平台能满足性能要求。 1. 大数据是什么?[详细]
-
HPE大数据商业白皮书 | 大数据分析给OEM软件开发商带来巨大发展
所属栏目：[大数据] 日期：2021-03-05 热度：181
我们都知道：大数据的崛起不可逆转；迎接这一趋势才能驾驭未来。 IDC最新的预测表明，大数据技术市场将以26.4%的年复合增长率增长，到2018年将达到415亿美元——大约相当于整体信息技术市场增长率的六倍。此外，IDC相信，到2020年，业务部门采购者会将数据分[详细]
-
Acdream 1420 High Speed Trains（大数 + 容斥原理）
所属栏目：[大数据] 日期：2021-03-05 热度：79
传送门 High Speed Trains Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description The kingdom of Flatland has n cities. Recently the king of Flatland visited Japan a[详细]
-
【剑指offer】（扩展）大数相加
所属栏目：[大数据] 日期：2021-03-05 热度：198
问题： 实现一个加法，将两个大数相加，不使用BigInteger。 分析： 使用字符串或者数组，实现每位相加进位，要注意两个数对齐及最终进位的情况。 首先将两个字符串倒置，方便补0将位数对齐及逐位相加。并且使用StringBuffer方便字符串修改。 注意：字符实现[详细]
-
.net中大数处理的一些算法思想
所属栏目：[大数据] 日期：2021-03-05 热度：189
? 在 .NET 开发中,有时会因为处理一些边缘学科的知识内容,如统计,金融,天文等计算,是加密解密算法 都会涉及到大数的运算,就是.net中最大数值类型储存了都会溢出的数,我的一个想法是计算时用数值类型,储 存(暂时)和输出时是字符串 那么储存时就需要BOX[n] n个[详细]
-
saiku （branch 3.8-release）构建步骤
所属栏目：[大数据] 日期：2021-03-05 热度：141
近日整理了saiku（branch 3.8-release）的构建步骤，分享出来以供大家参考 红色的为原有被注释的 绿色的为添加的 蓝色地方比较重要，为我修改的地方，与上方红色对照下 前提是需要下载 mondrian- 4.3.0.1-SPARK的包放到自己的nexus中 源码地址： ? ?? https:[详细]
