Ikke gjør det: Din FASTQ-fil er enten feil eller FASTQ-posten din strekker seg over mer enn fire linjer, noe som er tillatt i FASTQ. For en detaljert beskrivelse av hva som kan gå galt i FASTQ-parsering, se for eksempel http://biopython.org/DIST/docs/api/Bio.SeqIO.QualityIO-module.html#FastqGeneralIterator.

Hvis FASTQ er feil, bør du virkelig spørre deg selv hvordan dette skjedde i utgangspunktet og fikse kilden til problemet. Hvis posten er gyldig FASTQ, foreslår jeg at du analyserer lesingen med for eksempel FastqGeneralIterator og dumper det analyserte resultatet tilbake til FASTQ i en 4-linjers per postform.

Hvis du er 100% sikker på at den bare har 4 linjer (de kan ha flere), kan du bruke denne sed -kommandoen:

  sed -i. bak '/ ^ @ HWI-D00466: 116: CC62WANXX: 3: 1102: 7363: 63646 1: N: 0: GCACACG /, + 3d'  

-i. bak gjør sed til å endre originalfilen og lage en sikkerhetskopi med samme navn og filtypen .bak . Kommandoen betyr bare "slett linjen som samsvarer med mønsteret og de neste tre linjene".

Når jeg kan, liker jeg å gjøre filbehandling linje for linje i ånden av UNIX-verktøy. Du kan lese 4 linjer fra en Fastq-fil i fire tabulatoradskilte verdier på en enkelt linje ved hjelp av lim inn , og deretter bruke grep for å filtrere ut den aktuelle posten. (Da er det bare å gjøre flikene om til linjeskift.)

  lim inn - - - - < reads.fastq \ | grep -v 'HWI-D00466: 116: CC62WANXX: 3: 1102: 7363: 63646' \ | tr '\ t' '\ n' \ > read-fixed.fastq  

Det er imidlertid sannsynlig at andre lesinger i Fastq-filen din også er ødelagt, i så fall er det sannsynligvis bedre å skriv et skript på Python eller et annet språk som forkaster alle lesinger hvis leselengde ikke samsvarer med kvalitetstrenglengden.

Men selvfølgelig er det viktigste spørsmålet: hvordan ble dataene ødelagt i det første sted? Hvor kom denne filen fra, og hvilke forhåndsbehandlingstrinn ble utført på den? Kommer du til å bli kvitt denne lesingen (eller alle lesningene med feil sekvens / kvalitetslengde) for å løse problemet for deg? Dette er ikke spørsmål vi kan svare på for deg, men fortjener sannsynligvis gode svar. :-)

Her er en awk one-liner som fungerer som beregnet, i motsetning til bioawk -svaret.

Dette fjerner alle forekomster av fastq-poster der lengden på seq og qual feltene stemmer ikke overens. Igjen, legg til | gzip > filtered.fastq.gz for å gzip utdataene.

  zcat bad_file.fq.gz | awk '{pos = NR% 4; hvis (pos == 1) {h =  $ 0} annet hvis (pos == 2) \ {s = $ 0} annet hvis (pos == 3) {c = $ 0} annet hvis (pos == 0) \ {q = $  0; hvis (lengde (q) == lengde (r)) {printf ("% s \ n% s \ n% s \ n% s \ n", h, s, c, q)}}} ' kode > 

Slett \ tegnene på slutten av de to første linjene for å gjøre det enkelt å lime inn i terminalen din.

Her er en kortere versjon av det samme takket være @terdon

  zcat file.fastq.gz | awk '{record [++ k] =  $ 0; hvis (NR% 4 == 2) {slen = lengde ($ 0)} ellers hvis (NR% 4 == 0) {if (lengde ($  0) == slen) {for (i i posten) {utskrift [i]}} k = 0; }} ' 

For å generalisere dette for å fjerne alle avlesninger som ikke har samme lengde på lese- og sekvenskvalitet, kan du bruke denne bioawk one-liner:

  bioawk -cfastx '{if (lengde ( $ seq) == lengde ($  qual)) {printf ("@% s% s \ n% s \ n + \ n% s \ n",  $ name, $  comment,  $ seq, $  qual)}} 'my_fastq.gz  

Dette striper noe i "fastq kommentarfeltet", + , men det har nesten aldri noe der uansett.

Legg til | gzip > filtered.fastq.gz til kommandoen ovenfor for å gzip utdataene.