MS Excel voi näyttää 1 048 576 riviä. Vaikka se voi tuntua todella suurelta määrältä normaalikäytössä, on monia skenaarioita, joissa se ei ole aivan tarpeeksi.

Katsoitpa lokitiedostoja tai suuria tietojoukkoja, on helppo löytää CSV - tiedostoja, joissa on miljoonia rivejä tai valtavia tekstitiedostoja. Koska Excel ei voi tukea näin suuria tiedostoja, miten ne tarkalleen avataan? Otetaan selvää.

Miksi tavalliset tekstieditorit^{(Normal Text Editors)} eivät voi avata todella suuria tiedostoja^{(Open Really Large Files)} ?

Tietokoneessa on gigatavua tallennustilaa, joten miksi tekstieditorit eivät voi avata suuria tiedostoja?

Tässä on kaksi tekijää pelissä. Joillakin sovelluksilla on kovakoodattu rajoitus sille, kuinka paljon dataa ne voivat näyttää. Ei ole väliä kuinka paljon muistia tietokoneessasi on, he eivät vain käytä sitä.

Toinen ongelma on RAM . Monilla tekstieditoreilla ei ole kovaa rajoitusta rivien lukumäärälle, mutta ne eivät pysty näyttämään suuria tiedostoja muistirajoitusten vuoksi. He lataavat koko tiedoston järjestelmän RAM -muistiin , joten jos tämä muisti ei ole tarpeeksi suuri, prosessi epäonnistuu.

Tapa 1: Ilmaisten editorien käyttäminen

Paras tapa tarkastella erittäin suuria tekstitiedostoja on käyttää… tekstieditoria. Ei vain mikä tahansa tekstieditori, vaan koodin kirjoittamiseen tarkoitetut työkalut. Tällaiset sovellukset voivat yleensä käsitellä suuria tiedostoja ilman ongelmia ja ovat ilmaisia.

Large Text File Viewer on luultavasti yksinkertaisin näistä sovelluksista. Se on todella helppokäyttöinen, toimii nopeasti ja sen resurssienjälki on erittäin pieni. Ainoa haittapuoli? Se ei voi muokata tiedostoja. Mutta jos haluat tarkastella vain suuria CSV - tiedostoja, tämä on paras työkalu työhön.

Myös suurten tekstitiedostojen muokkaamiseen kannattaa kokeilla Emacsia^(Emacs) . Alun perin Unix - järjestelmille luotu se toimii erinomaisesti myös Windowsissa^(Windows) ja pystyy käsittelemään suuria tiedostoja. Samoin Neovim ja Sublime Text ovat kaksi kevyttä IDE^(IDEs) :tä, joita voidaan käyttää gigatavun kokoisten CSV - tekstitiedostojen avaamiseen.

Jos etsit vain tietoja suurten lokitiedostojen kautta, klogg on juuri sinulle sopiva työkalu. Suositun gloggin päivityshaarukka^(glogg) , tämä sovellus mahdollistaa monimutkaisten hakutoimintojen suorittamisen valtavien tekstitiedostojen kautta helposti. Koska tietokoneella luoduissa lokitiedostoissa voi usein olla miljoonia rivejä, klogg on suunniteltu toimimaan tällaisten tiedostokokojen kanssa ilman ongelmia.

Tapa^(Method) 2: Jaa useisiin osiin^{(Into Multiple Parts)}

Koko ongelma yritettäessä avata suuria CSV - tiedostoja on, että ne ovat liian suuria. Mutta entä jos jakaisit nämä useisiin pienempiin tiedostoihin?

Tämä on suosittu ratkaisu, koska se ei yleensä edellytä uuden tekstieditorin käyttöliittymän oppimista. Sen sijaan voit käyttää yhtä monista verkossa saatavilla olevista CSV-jakajista jakaaksesi^{(one of the many CSV splitters available online)} suuren tiedoston useiksi helposti avattaviksi tiedostoiksi. Jokainen näistä tiedostoista voidaan sitten käyttää normaalisti.

Tämä ei kuitenkaan ole paras tapa edetä asiassa. Suuren tiedoston jakaminen voi usein johtaa outoihin kirjoitusvirheisiin tai väärin konfiguroituihin tiedostoihin. Lisäksi jokaisen osan avaaminen erikseen estää sinua suodattamasta koko dataa kerralla.

Tapa 3: Tuo tietokantaan

Useisiin gigatavuihin ulottuvat teksti- ja .csv-tiedostot ovat yleensä suuria tietojoukkoja. Joten miksi ei vain tuoda niitä tietokantaan?

SQL on nykyään yleisin tietokannan merkintäkieli. SQL:stä on käytössä useita versioita^{(many versions of SQL)} , mutta helpoin on luultavasti MySQL . Ja kuten onni, on mahdollista muuntaa CSV-tiedosto MySQL-taulukoksi^{(convert a CSV file into a MySQL table)} .

Tämä ei suinkaan ole helpoin tapa käsitellä suuria CSV - tiedostoja, joten suosittelemme tätä vain, jos haluat käsitellä suuria tietojoukkoja säännöllisesti. Jos MySQL kuulostaa liian vaikealta, voit aina tuoda .csv-tiedostosi MS Accessiin^{(MS Access)} .

Menetelmä^(Method) 4: Analysoi Python- kirjastoilla

Kun työskentelet miljoonia tietorivejä sisältävän .csv-tiedoston kanssa, et selvästikään pysty ymmärtämään sitä manuaalisesti. Haluat luultavasti suodattaa tiedot ja suorittaa tiettyjä kyselyitä ymmärtääksesi trendejä.

Joten miksi et kirjoittaisi Python-koodia^{(write Python code)} tehdäksesi juuri sen?

Jälleen kerran, tämä ei ole käyttäjäystävällisin tapa. Vaikka Python ei ole vaikein ohjelmointikieli oppia^{(Python isn’t the hardest programming language to learn)} , se on koodausta, joten se ei ehkä ole paras tapa sinulle. Jos kuitenkin joudut jäsentämään todella suuria CSV -tiedostoja päivittäin, sinun kannattaa ehkä automatisoida tehtävä jollain Python-koodilla^{(automate the task with some Python code)} .

Menetelmä 5: Premium-työkaluilla

Ensimmäisessä menetelmässä näkemämme tekstieditorit eivät olleet CSV - käsittelyyn tarkoitettuja työkaluja. Ne olivat yleiskäyttöisiä työkaluja, joita voitiin käyttää myös suurten .csv-tiedostojen kanssa.

Mutta entä erikoissovellukset? Eikö siellä ole olemassa sovelluksia, jotka on luotu ratkaisemaan tämän ongelman?

Itse asiassa niitä on. Esimerkiksi CSV Explorer perustuu samaan prosessiin, jota kuvailimme kahdessa viimeisessä menetelmässä ( ^{(CSV Explorer)}SQL - tietokanta ja Python -koodi) luodakseen sovelluksen, joka pystyy katselemaan ja muokkaamaan kaikenkokoisia CSV -tiedostoja. ^(CSV)Voit tehdä kaiken mitä laskentataulukkotyökalulta odotat, kuten luoda kaavioita tai suodattaa tietoja CSV Explorerissa^{(CSV Explorer)} .

Toinen vaihtoehto on UltraEdit . Toisin kuin edellinen työkalu, tämä ei ole tarkoitettu vain .csv-tiedostoille, vaan kaikentyyppisille tekstitiedostoille. Se voi helposti käsitellä muutaman gigatavun teksti- ja CSV -tiedostoja, ja sen käyttöliittymä on samanlainen kuin monet aiemmin keskustelleet ilmaiseditorit. 

Ainoa haittapuoli näissä työkaluissa on, että ne ovat premium-sovelluksia, jotka edellyttävät maksullisen lisenssin hankkimista voidaksesi käyttää niitä. Voit aina kokeilla heidän ilmaisia ​​kokeiluversioita tarkistaaksesi niiden ominaisuudet tai jos sinulla on vain kertakäyttöinen käyttö.

Mikä on paras tapa avata suuria teksti-^{(Large Text)} ja CSV-tiedostoja^{(CSV Files)} ?

Tällä Big Datan^{(Big Data)} aikakaudella ei ole harvinaista törmätä gigatavujen tekstitiedostoihin, joita voi olla vaikea edes tarkastella sisäänrakennetuilla työkaluilla, kuten Muistiolla^(Notepad) tai MS Excelillä^{(MS Excel)} . Jotta voit avata tällaisia ​​suuria CSV -tiedostoja, sinun on ladattava ja käytettävä kolmannen osapuolen sovellusta.

Jos haluat vain katsella tällaisia ​​tiedostoja, Large Text File Viewer on paras valinta sinulle. Voit itse muokata niitä kokeilemalla monipuolista tekstieditoria, kuten Emacsia^(Emacs) , tai valita premium-työkalun, kuten CSV Explorer .

Tekniikat, kuten CSV - tiedoston jakaminen tai sen tuominen tietokantaan, sisältävät liian monta vaihetta. Sinun on parempi hankkia maksullinen lisenssi erityiselle premium-työkalulle, jos huomaat työskenteleväsi paljon valtavien tekstitiedostojen kanssa.

How to Open Really Large Text and CSV Files

MS Excel can display 1,048,576 rоws. While that may seem like а really large number in normal usage, therе are plenty of sсеnarios where that isn’t quite enough.

Whether you’re looking at log files or large data sets, it’s easy to come across CSV files with millions of rows or enormous text files. Since Excel cannot support files this large, how exactly do you open them? Let’s find out.

Why Can Normal Text Editors Not Open Really Large Files?

A computer has gigabytes of storage, so why can’t text editors open large files?

There are two factors at play here. Some applications have a hardcoded limit on how much data they can display. It doesn’t matter how much memory your PC has, they just won’t use it.

The second issue is RAM. Many text editors do not have a hard limit on the number of rows, but cannot display large files due to memory limitations. They load the entire file into the system RAM, so if this memory isn’t large enough, the process fails.

Method #1: Using Free Editors

The best way to view extremely large text files is to use… a text editor. Not just any text editor, but the tools meant for writing code. Such apps can usually handle large files without a hitch and are free.

Large Text File Viewer is probably the simplest of these applications. It’s really easy to use, works fast and has a very low resource footprint. The only downside? It cannot edit the files. But if you only want to view large CSV files, this is hands down the best tool for the job.

For editing large text files as well, you should try Emacs. Originally created for Unix systems, it works perfectly well on Windows as well, and can handle large files. Similarly, Neovim and Sublime Text are two lightweight IDEs that can be used to open gigabyte-sized CSV text files.

If all you’re looking for is to search for data through large log files, then klogg is just the tool for you. An updating fork of the popular glogg, this application allows you to perform complex search operations through enormous text files with ease. Since computer-generated log files can often have millions of rows, klogg is designed to work with such file sizes without an issue.

Method #2: Split Into Multiple Parts

The whole problem with trying to open large CSV files is that they are too large. But what if you were to split these into multiple smaller files?

This is a popular solution, as it generally doesn’t involve having to learn the interface of a new text editor. Instead, you can use one of the many CSV splitters available online to break up the large file into a number of easy-to-open files. Each of these files can then be accessed normally.

However, this isn’t the best way to go about this. Splitting a large file can often lead to weird typos or improperly configured files. Moreover, opening each chunk separately prevents you from filtering through the whole data at once.

Method #3: Import Into a Database

Text and .csv files extending to multiple gigabytes are generally large datasets. So why not just import them into a database?

SQL is the most common database markup language used these days. There are many versions of SQL in use, but the easiest is probably MySQL. And as luck would have it, it is possible to convert a CSV file into a MySQL table.

This is by no means the easiest method of dealing with large CSV files, so we only recommend this if you want to deal with large datasets on a regular basis. If MySQL sounds too tough, you can always import your .csv files to MS Access instead.

Method #4: Analyze With Python Libraries

When you’re working with a .csv file with millions of rows of data, you’re obviously not going to be able to make much sense of it manually. You probably want to filter the data and run specific queries to understand trends.

So why not write Python code to do just that?

Once again, this is not the most user-friendly method. While Python isn’t the hardest programming language to learn, it is coding, so it might not be the best approach for you. Still, if you find yourself having to parse through really large CSV files on a daily basis, you might want to automate the task with some Python code.

Method #5:  With Premium Tools

The text editors we saw in the first method weren’t dedicated tools meant for CSV processing. They were general-purpose tools that could be used to work with large .csv files as well.

But what about specialized applications? Are there no apps out there that are created to solve this problem?

There are, actually. CSV Explorer, for example, builds on the very process we described in the last two methods (SQL database and Python code) to create an app capable of viewing and editing CSV files of any size. You can do everything you expect from a spreadsheet tool like create graphs or filter the data in CSV Explorer.

Another option is UltraEdit. Unlike the previous tool, this is meant not just for .csv files but for any type of text file. It can easily handle text and CSV files ranging to a few gigabytes, with an interface similar to many of the free editors we discussed earlier. 

The only drawback with these tools is that they are premium applications, requiring you to get a paid license to be able to use them. You can always try out their free trial versions to check out their features, or if you only have a one-time use.

What Is the Best Way To Open Large Text and CSV Files?

In this age of Big Data, it’s not uncommon to run into text files running into gigabytes, which can be hard to even view with built-in tools like Notepad or MS Excel. To be able to open such large CSV files, you need to download and use a third-party application.

If all you want is to view such files, then Large Text File Viewer is the best choice for you. For actually editing them, you can try a feature-rich text editor like Emacs, or go for a premium tool like CSV Explorer.

Techniques like splitting the CSV file or importing it into a database involve just too many steps. You’re better off getting a paid license of a dedicated premium tool if you find yourself working with huge text files a lot.

Related posts

• Kuinka etsiä tekstiä useista PDF-tiedostoista kerralla

• Kuinka lähettää anonyymi tekstiviesti, jota ei voida jäljittää sinulle

• Tekstin muotoilu Discordissa: Fontti, Lihavoitu, Kursivointi, Yliviivaus ja paljon muuta

• Kuinka muuntaa useita kuvia PDF-tiedostoiksi

• Tiedostojen automaattinen siirtäminen tai kopioiminen Windowsissa

• Kuinka päästä eroon Yahoo-hausta Chromessa

• Kuinka muuttaa erämuutoksia Windows-tiedostoille

• Piilota tiedostot ja kansiot Windowsissa (helposti hakkeroitu)

• Kuinka lukea ja avata POT .PO .MO -laajennustiedostoja

• Kuinka käyttää tekstiä puheeksi TikTokissa

• Kuinka purkaa salattujen Windows-tiedostojen salaus

• Tiedostojen piilottaminen JPG-kuvassa

• Tekstin kaareminen InDesignissa

• Kuinka avata tiedostoja Windowsissa eri tiedostotunnisteilla

• Nopein tapa skannata suuri määrä valokuvia kotona

• Kuinka avata tai purkaa RAR-tiedostoja Windowsissa ja Macissa

• Kuinka purkaa tiedostoja kuolleelta kiintolevyltä

• .DAT-tiedostojen lukeminen ja avaaminen Windowsissa

• Vaihtoehtoinen tapa piilottaa tiedostoja ja kansioita Windowsissa

• 3 tapaa ottaa valokuva tai videota Chromebookilla