DNAパイプライン設定ファイルについて ======================================= dna.cfg ^^^^^^^^^^^^^^^^^ .. code-block:: bash executor.queueSize = 500 process.executor = 'uge' process.penv = 'def_slot' process.errorStrategy = 'retry' process.maxRetries = 2 params { container_bindpath = '/cshare1,/home,/share,/rshare1' container_bin = 'singularity' container_module_file = 'singularity/3.7.0' modulefiles = '/opt/parabricks/modulefiles/' parabricks_version = 'parabricks_pipeline/3.5.0' parabricks_container_bin = 'singularity' //fastqcのジョブだけ実行する時のためのフラグ fastqc_only = false ref_fa = '/home/kks_th/CaGMeJ_git/SRC/v8/database/GRCh38/Homo_sapiens_assembly38.fasta' ref_fa_copy_enable = true //Annovarのあるディレクトリとhumandbのディレクトリを設定してください。 annovar = '' humandb = '' monitoring_enable = false sleep_time = '10s' //fastqc fastqc_option = '--nogroup' fastqc_enable = true per_page = '8' //parabricks fq2bam fq2bam_option = '--knownSites /home/kks_th/CaGMeJ_git/SRC/v8/database/GRCh38/Homo_sapiens_assembly38.dbsnp138.vcf \ --knownSites /home/kks_th/CaGMeJ_git/SRC/v8/database/GRCh38/Homo_sapiens_assembly38.known_indels.vcf.gz \ --knownSites /home/kks_th/CaGMeJ_git/SRC/v8/database/GRCh38/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz' bwa_options = '-T 0' //CRAM bam2cram_enable = true bam2cram_view_option = "-@ 6" bam2cram_index_option = "-@ 6" cram2bam_enable = false cram2bam_view_option = "-@ 6" cram2bam_index_option = "-@ 6" //parabricks bammetrics parabricks_bammetrics_enable = false //CollectWgsMetrics CollectWgsMetrics_enable = true //CollectMultipleMetrics CollectMultipleMetrics_enable = true //parabricks mutect parabricks_mutect_enable = true filtermutectcalls_java_option="-XX:+UseSerialGC -Xmx8g -Xms32m" //parabricks haplotypecaller parabricks_haplotypecaller_enable = true haplotype_annovar_enable = true haplotype_option_list = '/home/kks_th/CaGMeJ_git/SRC/v8/config/GRCh38_haplotype.option_list' //parabricks deepvariant parabricks_deepvariant_enable = true //parabricks_cnvkit parabricks_cnvkit_enable = true //cnvkit cnvkit_compare_enable = true cnvkit_compare_option = '--method wgs --drop-low-coverage --processes 4' cnvkit_compare_purity_enable = true //parabricks_cnvkit and cnvkit grep_option = '-e ^chr[1-9][[:space:]] \ -e ^chr1[0-9][[:space:]] \ -e ^chr2[0-2][[:space:]] \ -e ^chrX[[:space:]] \ -e ^chrY[[:space:]]' cnvkit_export_option = '' //manta manta_enable = true manta_option = '-m local -j 6 --memGb=20' //parabricks_streka parabricks_strelka_enable = false parabricks_strelka_option = '--num-threads 12' //gridss gridss_enable = true pondir = '/home/kks_th/CaGMeJ_git/SRC/v8/database/pondir' gridss_option = '--jvmheap 40g \ --threads 8 \ --picardoptions VALIDATION_STRINGENCY=LENIENT' ref_type = 'hg38' gridss_assembly_node = 6 //kksグループのgridssのみがsdomec.qの/workを使うとき用のgridssのオプション gridss_work_dir = '/work/gridss' gridss_work_dir_count_limit = 10 gridss_wait_time = '1h' //ITD-Assembler itd_assembler_enable = true exon_only = true bdir = '/home/kks_th/CaGMeJ_git/SRC/v8/blast_DB/mydb_GRCh38' exon_bed_file = '/share/pub/genomon/.genomon_local/genomon_pipeline-2.6.3/database/bait/refGene.coding.exon.hg38.190308.bed' annotation_bed_file = '/share/pub/genomon/.genomon_local/genomon_pipeline-2.6.3/database/bait/refGene.coding.exon.hg38.190308.bed' cluster_bins_c = '0' cluster_bins_pkmer = '15' iterate_on_bins_min_bin = 15 iterate_on_bins_max_bin = 85 iterate_on_bins_kmer = '15' iterate_on_bins_cov_cut_min = '15' iterate_on_bins_cov_cut_max = '500' post_processing_cutoff = '0' post_processing_min_bin = '15' post_processing_max_bin = '85' //genomon_pipeline genomon_pipeline_enable = false genomon_ruffus_option = ' --verbose 3 --multiprocess 100 ' //annovar(parabricks mutectcaller and parabricks deepvariant) build_version = 'hg38' annovar_param = '-thread 8 -remove --otherinfo -protocol refGene,cytoBand,genomicSuperDups,esp6500siv2_all,1000g2015aug_all,1000g2015aug_afr,1000g2015aug_eas,1000g2015aug_eur,snp131,snp138,snp131NonFlagged,snp138NonFlagged,ljb26_all,avsnp150,cg46,cg69,dbscsnv11,eigen,gnomad_exome,gnomad_genome,intervar_20180118,revel,mcap,gme,exac03,exac03nontcga,exac03nonpsych,kaviar_20150923,hrcr1,fathmm,cg69,cg46,clinvar_20211010,ToMMo,HGVD,HGVD_XY,cosmic94_coding,cosmic94_noncoding,tumorportal,cBioPortal_all_mutation_annovar,tfbsConsSites,wgRna,targetScanS -operation gx,r,r,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,f,r,r,r,r -vcfinput -nastring . -xreffile /home/kks_th/CaGMeJ_git/SRC/v8/database/humandb/gene_xref.txt' annovar_enable = false //vep(parabricks mutectcaller and parabricks deepvariant) vep_cache_dir = '/home/kks_th/CaGMeJ_git/SRC/v8/database/vep/cache' vep_param = '--everything \ --custom file=/home/kks_th/CaGMeJ_git/SRC/v8/database/vep/clinvar_20231203.vcf.gz,short_name=ClinVar,format=vcf,type=exact,coords=0,fields=CLNSIG%CLNREVSTAT%CLNDN \ --custom file=/home/kks_th/CaGMeJ_git/SRC/v8/database/vep/tommo-38kjpn-20220630-GRCh38-af-autosome.vcf.gz,short_name=ToMMo,format=vcf,type=exact,coords=0,fields=AF \ --exclude_null_alleles --tab --xref_refseq' vep_enable = true //MSIsensor-pro msisensor_enable = true baseline_configure = '/home/kks_th/CaGMeJ_git/SRC/v8/database/msisensor/baseline.bam.configure' //sequenza sequenza_ref_fa = '/home/kks_th/CaGMeJ_git/SRC/v8/database/sequenza/hg19.fa' sequenza_gc_wiggle_enable = false sequenza_bam2seqz_enable = true chr_list = ['chr1', 'chr2', 'chr3', 'chr4', 'chr5', 'chr6', 'chr7', 'chr8', 'chr9', 'chr10', 'chr11', 'chr12', 'chr13', 'chr14', 'chr15', 'chr16', 'chr17', 'chr18', 'chr19', 'chr20', 'chr21', 'chr22', 'chrX', 'chrY'] gc_file = '/home/kks_th/CaGMeJ_git/SRC/v8/database/sequenza/hg19.gc200Base.wig.gz' window_size = '200' non_matching_normal_enable = false non_matching_normal_file = '/home/kks_th/CaGMeJ_git/SRC/v8/database/sequenza/hg19_5929_tumor.sorted.bam' bam2seqz_option = '-f illumina -N 20' chain_file = '/home/kks_th/CaGMeJ_git/SRC/v8/database/chain/hg38ToHg19.over.chain.gz' samtools_cpu = '10' crossmap_option = '' //NGSCheckMate ngscheckmate_enable = true NCM_mpileup_option = '' NCM_bed = '/NGSCheckMate-master/SNP/SNP_GRCh38_hg38_wChr.bed' //facets facets_enable = true facets_chr_list = [ 'chr1:10019-248946405', 'chr2:10133-242183510', 'chr3:18479-198234624', 'chr4:10008-190123113', 'chr5:10835-181478163', 'chr6:61932-170743651', 'chr7:10080-159335963', 'chr8:60059-145078588', 'chr9:10023-138262978', 'chr10:14583-133787418', 'chr11:61248-135076596', 'chr12:10115-133264995', 'chr13:18445873-114344390', 'chr14:18223528-106881263', 'chr15:19794750-101981165', 'chr16:10007-90228300', 'chr17:150263-83247223', 'chr18:10018-80259245', 'chr19:60659-58607539', 'chr20:79828-64333931', 'chr21:8522366-46699956', 'chr22:10584988-50806087', 'chrX:1082081-155700788', 'chrY:2781571-56887810'] facets_pileup_vcf = '/home/kks_th/CaGMeJ_git/SRC/v8/database/GRCh38/Homo_sapiens_assembly38.dbsnp138.vcf' snp_pileup_option = '-g -q15 -Q20 -P100 -r25,0' //MIMcall mimcall_enable = true mimcall_samtools_view_option = '-F 1024 -F 0x400' mimcall_region_db = '/MIMcall2/db/HM_MS_list_GRCh38.region_file.txt' mimcall_db = '/MIMcall2/db/HM_MS_list_GRCh38.txt' GPOS2RPOS_READ_F_option = '-BQ 10 -GE 1 -SW 0 -LL 100 -REF -FL 10 -MQ 20 -ML 550 -ISN 2 -GO 1 -SL 3' GPOS2RPOS_BLOOD_READ_F_option = '-BQ 10 -SL 3 -REF -GE 1 -GO 1 -ML 550 -MQ 20 -FL 3 -LL 100 -SW 0 ' MIM_CALLER_option = '-VAF 0.1 -BL -1 -CL -8 -ER /MIMcall2/Error_rate_matrix.txt -BD 15 -CD 15' //CHORD chord_enable = true chord_chr_list = 'chr1 chr2 chr3 chr4 chr5 chr6 chr7 chr8 chr9 chr10 chr11 chr12 chr13 chr14 chr15 chr16 chr17 chr18 chr19 chr20 chr21 chr22 chrX chrY' //genomonfisher genomon_mutation_enable = true interval_list = '/home/kks_th/CaGMeJ_git/SRC/v8/config/GRCh38.interval_list' simple_repeat_db = '/share/pub/genomon/.genomon_local/genomon_pipeline-2.6.3/database/tabix/simpleRepeat_hg38.bed.gz' fisher_pair_params = '--min_depth 8 \ --base_quality 15 \ --min_variant_read 4 \ --min_allele_freq 0.02 \ --max_allele_freq 0.1 \ --fisher_value 0.1 ' fisher_pair_samtools_params = '-q 20 \ -BQ0 \ -d 10000000 \ --ff UNMAP,SECONDARY,QCFAIL,DUP' fisher_single_params = '--min_depth 8 \ --base_quality 15 \ --min_variant_read 4 \ --min_allele_freq 0.02 \ --post_10_q 0.02 ' fisher_single_samtools_params = '-q 20 \ -BQ0 \ -d 10000000 \ --ff UNMAP,SECONDARY,QCFAIL,DUP' mutfilter_realignment_params = '--score_difference 5 \ --window_size 200 \ --max_depth 5000 \ --exclude_sam_flags 3332' mutfilter_read_length = 150 mutfilter_window = 200 mutfilter_exclude_sam_flags = 3332 mutfilter_indel_params = '--search_length 40 \ --neighbor 5 \ --min_depth 8 \ --min_mismatch 100000 \ --af_thres 1 ' mutfilter_indel_samtools_params = '-q 20 \ -BQ0 \ -d 10000000 \ --ff UNMAP,SECONDARY,QCFAIL,DUP' mutfilter_breakpoint_params = '--max_depth 1000\ --min_clip_size 20 \ --junc_num_thres 0 \ --mapq_thres 10 \ --exclude_sam_flags 3332' mutil_pair_params = '--fish_pval 1.0 \ --realign_pval 1.0 \ --eb_pval 4.0 \ --tcount 4 \ --ncount 2' mutil_single_params = '--post10q 0.1 \ --r_post10q 0.1 \ --count 4' //genomonsv genomon_sv_enable = true genomon_sv_parse_param = '' genomon_sv_filt_param = '--min_junc_num 2 \ --max_control_variant_read_pair 10 \ --min_overhang_size 50 \ --thread_num 6 \ --grc \ --genome_id hg38 \ --gene_bed /home/kks_th/CaGMeJ_git/SRC/v8/genomonsv/chr_gene.bed.gz \ --exon_bed /home/kks_th/CaGMeJ_git/SRC/v8/genomonsv/chr_exon.bed.gz' sv_utils_param = '--min_tumor_allele_freq 0.07 \ --max_control_variant_read_pair 1 \ --control_depth_thres 10 \ --inversion_size_thres 1000 \ --min_overhang_size 100 \ --grc \ --simple_repeat_file /share/pub/genomon/.genomon_local/genomon_pipeline-2.6.3/database/GenomonSV-0.6.0rc1/hg38/simpleRepeat.txt.gz \ --genome_id hg38 \ --refseq_junc_info /home/kks_th/CaGMeJ_git/SRC/v8/genomonsv/chr_refseq_junc.bed.gz \ --gencode_junc_info /home/kks_th/CaGMeJ_git/SRC/v8/genomonsv/chr_gencode_junc.bed.gz \ --simple_repeat_info /home/kks_th/CaGMeJ_git/SRC/v8/genomonsv/chr_simple_repeat.bed.gz' //genomon post analysis post_analysis_mutation_enable = true post_analysis_sv_enable = true pa_conf = '/share/pub/genomon/.genomon_local/genomon_pipeline-2.6.3/install/python-packages/GenomonPostAnalysis-1.4.1/genomon_post_analysis.cfg' //pmsignature pmsignature_full_enable = true pmsignature_full_signum_min = 2 pmsignature_full_signum_max = 6 pmsignature_full_trdirflag = 'F' pmsignature_full_trialnum = 10 pmsignature_full_bgflag = 'T' pmsignature_full_bs_genome = 'BSgenome.Hsapiens.UCSC.hg38::BSgenome.Hsapiens.UCSC.hg38' pmsignature_full_txdb_transcript = 'TxDb.Hsapiens.UCSC.hg38.knownGene::TxDb.Hsapiens.UCSC.hg38.knownGene' pmsignature_ind_enable = true pmsignature_ind_signum_min = 2 pmsignature_ind_signum_max = 6 pmsignature_ind_trdirflag = 'T' pmsignature_ind_trialnum = 10 pmsignature_ind_bgflag = 'T' pmsignature_ind_bs_genome = 'BSgenome.Hsapiens.UCSC.hg38::BSgenome.Hsapiens.UCSC.hg38' pmsignature_ind_txdb_transcript = 'TxDb.Hsapiens.UCSC.hg38.knownGene::TxDb.Hsapiens.UCSC.hg38.knownGene' //paplot paplot_enable = true paplot_conf = '/share/pub/genomon/.genomon_local/genomon_pipeline-2.6.3/genomon_conf/paplot/paplot_dna_GRCh38.cfg' //Virus count virus_count_enable = true bowtie_ref = '/home/kks_th/CaGMeJ_git/SRC/v8/database/VIRUS/all' //SurVirus survirus_enable = true survirus_threads = 10 survirus_db_dir = '/home/kks_th/CaGMeJ_git/SRC/v8/database/SurVirus' virus_list = ["HPV18", "HPV16"] //ascatngs ascatngs_enable = true ascatngs_option = '-snp_gc /home/kks_th/CaGMeJ_git/SRC/v8/database/hyperclust/SnpGcCorrections.tsv \ -genderChr chrY \ -protocol WGS \ -platform ILLUMINA \ -species Human \ -assembly GRCh38 \ -cpus 4' //hyperclust hyperclust_enable = true hyperclust_assembly = 'GRCh38' hyperclust_intraBS = 100 hyperclust_ws = 500000 hyperclust_times = 50 hyperclust_genome = '/home/kks_th/CaGMeJ_git/SRC/v8/database/hyperclust/Homo_sapiens_assembly38.fasta.p' hyperclust_available = '/home/kks_th/CaGMeJ_git/SRC/v8/database/hyperclust/available_chromosomes.txt' //cgpPindel cgpPindel_enable = true pindel_option = ' -noflag \ -sp Human \ -as GRCh38 \ -st WGS \ -c 1' FlagVcf_option = '-r /home/kks_th/CaGMeJ_git/SRC/v8/database/cgpPindel/genomicRules.lst \ -a /home/kks_th/CaGMeJ_git/SRC/v8/database/cgpPindel/gencode.v44.basic.annotation.gff3.gz \ -u /home/kks_th/CaGMeJ_git/SRC/v8/database/cgpPindel/unmatched.gff3.gz \ -s /home/kks_th/CaGMeJ_git/SRC/v8/database/cgpPindel/simpleRepeat.bed.gz' //scarHRD scarhrd_enable = true //battenberg battenberg_enable = true battenberg_nthreads = 8 beagle_basedir = '/home/kks_th/CaGMeJ_git/SRC/v8/database/battenberg' chrom_coord_file = '/home/kks_th/CaGMeJ_git/SRC/v8/database/battenberg/chromosome_coordinates_hg38.txt' beaglemaxmem = 10 beaglecpu = 2 //strelka strelka_enable = true strelka_configure_option = "" strelka_run_option = "-m local -j 6" } process { withName: fastqc_check { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=7G ' } withName: make_fastqc_list { cpus = 1 maxForks = 1 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G ' } withName: sequenza_gc_wiggle { cpus = 1 maxForks = 1 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=15G ' } withName: parabricks_fq2bam { cpus = 21 maxForks = 100 clusterOptions = '-S /bin/bash -l v100=2,s_vmem=47G ' } withName: bam_to_cram { cpus = 6 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=2G' } withName: cram_to_bam { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G' } withName: CollectMultipleMetrics { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=12G ' } withName: parabricks_bammetrics { cpus = 18 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l v100=0,s_vmem=55G ' } withName: CollectWgsMetrics { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=12G ' } withName: multiqc { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G ' } withName: sequenza_crossmap{ cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=15G' } withName: sequenza_crossmap_merge{ cpus = 10 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=2G ' } withName: sequenza_bam2seqz{ cpus = 3 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G ' } withName: sequenza_merge{ cpus = 1 maxForks = 500 //clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=40G ' clusterOptions = { def x = 20 + (5 * (task.attempt - 1)) ; return "-S /bin/bash -q !mjobs_rerun.q -l s_vmem=${x}G" } } withName: msisensor_pro { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G ' } withName: parabricks_mutect { cpus = 22 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l v100=2,s_vmem=45G ' } withName: mutect_annovar { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: mutect_vep { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=15G' } withName: parabricks_deepvariant { cpus = 17 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l v100=2,s_vmem=58G' } withName: deepvariant_annovar { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: deepvariant_vep { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=15G' } withName: parabricks_haplotypecaller { cpus = 26 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l v100=2,s_vmem=39G ' } withName: haplotype_annovar { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=6G' } withName: parabricks_cnvkit { cpus = 12 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l v100=0,s_vmem=21G' } withName: cnvkit_graphics { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: manta { cpus = 6 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=2G ' } withName: parabricks_strelka{ cpus = 12 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l v100=0,s_vmem=40G ' } withName: strelka_annovar { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: gridss { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=8G' } withName: gridss_former { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=8G' } withName: gridss_assembly { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=8G' } withName: gridss_latter { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=8G' } withName: ITD_cluster_bins { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=12G ' } withName: ITD_iterate_on_bins { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=25G' } withName: ITD_post_processing { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G ' } withName: genomon_pipeline { cpus = 1 maxForks = 1 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l exclusive,s_vmem=128G' } withName: NCM_pileup { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=7G' } withName: NCM_run { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=7G' } withName: facets_pileup { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G' } withName: facets_R { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=40G' } withName: mimcall { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=7G' } withName: mimcall_result { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: cnvkit_compare { cpus = 4 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=14G' } withName: cnvkit_compare_purity { cpus = 1 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=12G' } withName: chord { cpus = 1 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=7G' } withName: chord_summary { cpus = 1 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: genomon_mutation { cpus = 8 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: genomon_mutation_merge { cpus = 1 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G' } withName: genomon_sv { cpus = 6 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=7G' } withName: genomon_post_analysis_and_pmsignature { cpus = 1 maxForks = 100 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G' } withName: virus_count { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=5G' } withName: survirus { cpus = 10 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=2G' } withName: ascatngs { cpus = 4 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=15G' } withName: hyperclust { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=30G' } withName: cgpPindel { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G' } withName: scarhrd { cpus = 1 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=10G' } withName: battenberg { cpus = 8 maxForks = 500 clusterOptions = '-S /bin/bash -q kks.q -l s_vmem=11G' } withName: strelka { cpus = 6 maxForks = 500 clusterOptions = '-S /bin/bash -q !mjobs_rerun.q -l s_vmem=2G ' } } .. note:: **Genomon** | /share/pubのGenomonは使わずにnextflow上でGenomonの各ツールを実行する場合は | genomon_pipeline_enableをfalseにしてください。 .. note:: **hyperClust** | hyperClustを実行するときはparabricks_mutect_enableとcnvkit_compare_enableを | 両方trueにしてparabricks_mutectcallerとCNVkitの両方を実行してください。 .. note:: **scarHRD** | scarHRDを実行するときはhyperclust_enableとscarhrd_enableを | 両方trueにしてhyperclustとscarhrdの両方を実行してください。 .. note:: **Battenberg** | Battenbergを実行するときはcnvkit_compare_enableを | trueにしてCNVkitを実行してください。 .. note:: **parabricks strelka** | parabricks strelkaを実行するときはmanta_enableを | trueにしてManta(somatic)を実行してください。 ジョブで実行するツールの設定 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ .. csv-table:: configの設定 :header: 項目, 説明 container_bindpath, コンテナに設定するbindpath container_bin, コンテナを実行するためのexeファイル container_module_file, コンテナを実行するためのexeファイルのmodulefile modulefiles, parabricksのmodulefileのパス parabricks_version, parabricksのversion parabricks_container_bin, parabricksノードでコンテナを実行するためのexeファイル fastqc_only, "trueの場合, fastqcのみを実行します。" ref_fa, リファレンスファイルのパスを設定します。 ref_fa_copy_enable, リファレンスファイルを出力先のフォルダにコピーします。 monitoring_enable, "| trueの場合, parabricksをバックグラウンドで実行して | nvidia-smi, top, iostatを1分ごとに実行します。" sleep_time, すべてのジョブでsleepコマンドを実行します。実行しない場合は0sを設定してください。 fastqc_option, fastqcのオプションを設定します。 fastqc_enable, "trueの場合, fastqcを実行します。" per_page, 1ページあたりに載せるfastqcの結果の数 fq2bam_option, parabricks fq2bamのオプションを設定します。 bwa_options, parabricks fq2bamの ``--bwa-options`` に相当します。 bam2cram_enable, "trueの場合, bamをcramに変換します。" bam2cram_view_option, samtools viewのオプションを設定します。 bam2cram_index_option, samtools indexのオプションを設定します。 cram2bam_enable, "trueの場合, cramをbamに変換します。" cram2bam_view_option, samtools viewのオプションを設定します。 cram2bam_index_option, samtools indexのオプションを設定します。 parabricks_bammetrics_enable, "trueの場合, parabricks bammetricsを実行します。" CollectMultipleMetrics_enable, "trueの場合, CollectMultipleMetricsを実行します。" parabricks_mutect_enable, "trueの場合, parabricks mutectcallerを実行します" filtermutectcalls_java_option, FilterMutectCallsを実行するときのJAVA_TOOL_OPTIONSを設定します。 parabricks_haplotypecaller_enable, "trueの場合, parabricks haplotypecallerを実行します" haplotype_annovar_enable, "trueの場合, parabricks haplotypecallerの結果にannovarでアノテーションします" haplotype_option_list, parabricks haplotypecallerで使うオプションのリストを記入したファイルのパスを設定します。 parabricks_deepvariant_enable, "trueの場合, parabricks deepvariantを実行します" parabricks_cnvkit_enable, "trueの場合、parabricks cnvkitを実行します" cnvkit_compare_enable, "trueの場合、cnvkit.py batchを実行します" cnvkit_compare_option, cnvkit.py batchのオプションを設定します cnvkit_compare_purity_enable, "trueの場合、cnvkit.py call(腫瘍率による補正)を実行します" grep_option, "| cnr と cns から　一部の染色体のみを抽出して | diagram.pdfとscatter.pngを出力します。" manta_enable, "trueの場合, mantaを実行します。" manta_option, mantaのオプションを設定します。 gridss_enable, "trueの場合, gridssを実行します。" pondir, gridss_somatic_filterの ``--pondir`` に相当します。 gridss_option, gridssのオプションを設定します。 ref_type, readVcfのgenomeに相当します。 gridss_assembly_node, gridssのアセンブリを並列で実行するジョブ数を設定します。 gridss_work_dir, "| /work/{好きな名前}を設定します。 | dirname gridss_work_dirが存在する場合、 | --workingdir /work/{好きな名前}/{がんのサンプル名}をgridssに追加します。" gridss_work_dir_count_limit, /work/{好きな名前}の下に作成するディレクトリ数の上限を設定します。 gridss_wait_time, gridss_work_dir_count_limitを超えていた場合に待つ時間の間隔を設定します。 itd_assembler_enable, "trueの場合, itd assemblerを実行します。" exon_only, exon_bed_fileで設定した領域のみを抽出してitd assemblerを実行します。 bdir, blast用データベースのパスを設定します。 exon_bed_file, bedファイルのパスを設定します。 annotation_bed_file, itd assemblerの結果にannotateするためのbedファイルのパスを設定します。 cluster_bins_c, この値よりNの数が多いリードをフィルタリングします。 cluster_bins_pkmer, kmerのサイズを設定します。 iterate_on_bins_min_bin, 調べるITDの長さの最小値を設定します。 iterate_on_bins_max_bin, 調べるITDの長さの最大値を設定します。 iterate_on_bins_kmer, De Bruijn graphのkmerのサイズを設定します。 iterate_on_bins_cov_cut_min, De Bruijn graphのkmer frequencyの最小値を設定します。 iterate_on_bins_cov_cut_max, De Bruijn graphのkmer frequencyの最大値を設定します post_processing_cutoff, blastnのalignment lengthとITDの長さの和がこの値より大きいときフィルタリングします。 post_processing_min_bin, 調べるITDの長さの最小値を設定します。 post_processing_max_bin, 調べるITDの長さの最大値を設定します。 genomon_pipeline_enable, "trueの場合、Genomonを実行します。" genomon_ruffus_option, Genomonを実行するときのruffus optionを設定します。 build_version, annovarの ``-buildver`` に相当します。 annovar_param, annovarのオプションを設定します。 annovar_enable, "trueの場合, annovarを実行します。" vep_cache_dir, vepで使うcache_dirのパスを設定します。 vep_param, vepのオプションを設定します。 vep_enable, "trueの場合, vepを実行します。" msisensor_enable, "trueの場合, MSIsensor-proを実行します。" baseline_configure, msisensor-pro baselineで使うconfigureファイルを設定します。 sequenza_ref_fa, sequenza−utilsで使うfastaファイルを設定します。--fastaに相当します。 sequenza_gc_wiggle_enable, "trueの場合, sequenza-utils gc_wiggleを実行します。" sequenza_bam2seqz_enable, "trueの場合, sequenza-utils bam2seqzを実行します。" chr_list , sequenzaで処理する染色体を設定します。 gc_file, "| sequenza-utils bam2seqzの-gc に相当します。 | 設定しない場合はsequenza_gc_wiggle_enableをtrueにして | sequenza-utils gc_wiggleを実行してください" window_size, sequenza-utils gc_wiggleの-wとsequenza-utils seqz_binningの-wに相当します。 non_matching_normal_enable, "trueの場合, 正常なサンプルのcellularityを算出します。" non_matching_normal_file, "| sequenza-utils bam2seqzの-n2に相当します。 | bamファイルと同じフォルダにbaiファイルを置いてください。" bam2seqz_option, sequenza-utils bam2seqzのその他のオプションを設定します chain_file, CrossMapで使うchainファイルを設定します。 samtools_cpu, 並列処理でCrossMapした後のbamファイルのマージ処理のときsamtoolsが使うcpu数 ngscheckmate_enable, "trueの場合, NGSCheckMateを実行します" NCM_mpileup_option, NGSCheckMateで使うsamtools mpileupのオプションを設定します NCM_bed, NGSCheckMateで使うsamtools mpileupに設定するbedファイルのパス facets_enable, "trueの場合, FACETSを実行します" facets_chr_list, FACETSのsnp_pileupをジョブ並列で実行するためのregionのリスト facets_pileup_vcf, FACETSのsnp_pileupに設定するためのvcfファイルのパス snp_pileup_option, FACETSのsnp_pileupのオプションを設定します mimcall_enable, "trueの場合, MIMcallを実行します" mimcall_samtools_view_optio, "MIMcallで使うsamtools viewのオプションを設定します" mimcall_region_db, MIMcallで使うsamtools viewに設定するbedファイルのパス mimcall_db, MIMcallのassign_reads.all_chr.pyに設定するbedファイルのパス GPOS2RPOS_READ_F_option, MIMcallのGPOS2RPOS_READ_F.plのオプションを設定します GPOS2RPOS_BLOOD_READ_F_option, MIMcallのGPOS2RPOS.BLOOD.READ_F.plのオプションを設定します MIM_CALLER_option, MIMcallのMIM_CALLER.plのオプションを設定します chord_enable, "trueの場合, CHORDを実行します" chord_chr_list, CHORDに渡す変異の染色体を指定します genomon_mutation_enable, "trueの場合, Genomon Mutationを実行します" interval_list, GenomonFisherを並列で実行するためのregionを設定します。 simple_repeat_db, simpleRepeat.bed.bgzのパスを設定します。 fisher_pair_params, GenomonFisherのfisher comparisonのオプションを設定します。 fisher_pair_samtools_params, GenomonFisherのfisher comparisonの-Sオプションを設定します。 fisher_single_params, GenomonFisherのfisher singleのオプションを設定します。 fisher_single_samtools_params, GenomonFisherのfisher singleの-Sオプションを設定します mutfilter_realignment_params, GenomonMutationFilterのmutfilter realignmentのオプションを設定します。 mutfilter_read_length, mutfilter_realignment.pyで使う値 mutfilter_window, mutfilter_realignment.pyで使う値 mutfilter_exclude_sam_flags, mutfilter_realignment.pyで使う値 mutfilter_indel_params, GenomonMutationFilterのmutfilter indelのオプションを設定します。 mutfilter_indel_samtools_params, GenomonMutationFilterのmutfilter indelの-Sオプションを設定します。 mutfilter_breakpoint_params, GenomonMutationFilterのmutfilter breakpointのオプションを設定します。 mutil_pair_params, TumorとNormalを比較するときのmutil filterのオプションを設定します。 mutil_single_params, Tumorだけのときのmutil filterのオプションを設定します genomon_sv_enable, "trueの場合, Genomon SVを実行します" genomon_sv_parse_param, GenomonSV parseのオプションを設定します。 genomon_sv_filt_param, GenomonSV filtのオプションを設定します。 sv_utils_param, sv_utils filterのオプションを設定します。 post_analysis_mutation_enable, "trueの場合, GenomonPostAnalysis(mutation)を実行します" post_analysis_sv_enable, "trueの場合, GenomonPostAnalysis(sv)を実行します" pa_conf, GenomonPostAnalysisの設定ファイルのパスを設定します。 pmsignature_full_enable, "trueの場合, pmsignature(full)を実行します" pmsignature_full_signum_min, 変異シグネチャの数の最小値 pmsignature_full_signum_max, 変異シグネチャの数の最大値 pmsignature_full_trdirflag, readMPFileのtrDirに設定します。 pmsignature_full_trialnum, getPMSignatureのnumInitに設定します。 pmsignature_full_bgflag, "Tの場合, readBGFileを実行します" pmsignature_full_bs_genome, BSgenome.Hsapiens.UCSC.hg38を設定します。 pmsignature_full_txdb_transcript, TxDb.Hsapiens.UCSC.hg38.knownGeneを設定します。 pmsignature_ind_enable, "trueの場合, pmsignature(independent)を実行します" pmsignature_ind_signum_min, 変異シグネチャの数の最小値 pmsignature_ind_signum_max, 変異シグネチャの数の最大値 pmsignature_ind_trdirflag, readMPFileのtrDirに設定します pmsignature_ind_trialnum, getPMSignatureのnumInitに設定します pmsignature_ind_bgflag, "Tの場合, readBGFileを実行します" pmsignature_ind_bs_genome, BSgenome.Hsapiens.UCSC.hg38を設定します。 pmsignature_ind_txdb_transcript, TxDb.Hsapiens.UCSC.hg38.knownGeneを設定します。 paplot_enable, "trueの場合, paplotを実行します" paplot_conf, paplotの設定ファイルのパスを設定します。 virus_count_enable, "trueの場合, virus countを実行します" bowtie_ref, "virus countを実行する時に使うbowtieのインデックスファイルのprefix" survirus_enable, "trueの場合, SurVirusを実行します" survirus_threads, SurVirusの--threadsオプションを設定します survirus_db_dir, ウイルスのリファレンスデータが置いてある場所を設定します。 virus_list, 解析するウイルスの名前を設定します。 ascatngs_enable, "trueの場合, ascatngsを実行します" ascatngs_option, ascatNGSのオプションを設定します。 hyperclust_enable, "trueの場合, hyperclustを実行します" hyperclust_assembly, hyperclustのオプションを設定します。 hyperclust_intraBS, hyperclustのオプションを設定します。 hyperclust_ws, hyperclustのオプションを設定します。 hyperclust_times, hyperclustのオプションを設定します。 hyperclust_genome, randommutで出力したバイナリファイルのパスを設定します。 hyperclust_available, available_chromosomes.txtのパスを設定します。 cgpPindel_enable, "trueの場合, cgpPindelを実行します" pindel_option, Pindelのオプションを設定します。 FlagVcf_option, FlagVcfのオプションを設定します。 scarhrd_enable, "trueの場合, scarHRDを実行します" battenberg_enablee, "trueの場合, battenbergを実行します" battenberg_nthreads, beagle以外の並列処理で使うコア数を設定します。 beagle_basedir, battenbergのデータベースのパス chrom_coord_file, chromosome_coordinates_hg38.txtのパス' beaglemaxmem, beagleのヒープサイズ beaglecpu, beagleで使うコア数を設定します。 strelka_enable, "trueの場合, Strelka2を実行します" strelka_configure_option, configureStrelkaSomaticWorkflow.pyのオプションを設定します。 strelka_run_option, runWorkflow.pyのオプションを設定します。 | 設定を変更するときは「=」の右側の文字を書き換えてください。 | | 例えば .. code-block:: bash fastqc_enable = true | の場合はtrue .. code-block:: bash fastqc_enable = false | の場合はfalseを設定したことになります。 | | 数値などのクオテーションで囲まれた中身を変更するときはクオテーション(')は残しておいてください。 | | 例えば .. code-block:: bash per_page = '8' | の場合は8 .. code-block:: bash per_page = '16' | の場合は16を設定したことになります。 | | parabricksに慣れた人向け ^^^^^^^^^^^^^^^^^^^^^^^^^^^ | parabricksは複数のCPUコアを使います。 | 必要なCPUコア数を正しく設定しないとノード全体でCPUオーバーロードになったとき | 強制的にジョブを停止するようになっています( `https://supcom.hgc.jp/internal/mediawiki/正しく_def_slot_を宣言していないジョブのホールド `_ )。 | | GPU数を8に設定している場合はノード全体をジョブが利用しているため、CPUコア数を気にしなくても大丈夫です。 | | 例えばparabricks_fq2bamのジョブについてGPUを1個, CPUコアを10個, メモリを200GBに設定する場合は下のようになります。 .. code-block:: bash withName: parabricks_fq2bam { cpus = 10 maxForks = 16 clusterOptions = '-S /bin/bash -cwd -l parabricks,v100=1,s_vmem=20G' } | v100はGPU数、s_vmemは1コアあたりのメモリ量でcpusはCPUコア数になります。 | | .. note:: **I/O負荷について** | 大きいデータを扱う場合、一時領域にI/O負荷がかかるため遅くなることがあります。( `https://supcom.hgc.jp/internal/q/4160/parabricks-fq2bam-の-実行-が-遅-い `_ ) | 参考にGPU数と必要なCPUコア数の表です( parabricks v3.2.0 )。解析するデータの大きさやGPUの数により多少変わります。( parabricks cnvkitはGPU数を選択するオプションがありません。) .. csv-table:: :header: ツール名, GPU1, GPU2, GPU3, GPU4, GPU5, GPU6, GPU7 :widths: 5, 5, 5, 5, 5, 5, 5, 5 parabricks fq2bam, 10, 13, 15, 18, 20, 22, 24 parabricks mutectcaller, 16, 22, 28, 33, 38, 44, 48 parabricks cnvkit, 9, , , , , , parabricks deepvariant, 11, 15, 19, 23, 27, 31, 36 | report.htmlを見ることでジョブに必要なCPUコア数の目安が分かります。 | この値より多めに設定しましょう。 | 例えば1000%の場合はCPUコア数を11以上に設定しましょう。 .. note:: **Marking Duplicates, BQSRのエラーについて(parabricks v 3.5.0)** | 原因はわかりませんが、--memory-limit 160のオプションを追加すると | 特に問題なく動いてます。 | ここに同じ例があります。(https://forums.developer.nvidia.com/t/could-not-run-fq2bam-as-part-of-germline-pipeline/205484)