Use Ram as suplimental HDD Buffer/Cache?

Questions about other topics - please check if your question fits better in another category before posting here
Forum rules
Before you post please read this

Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Fri Oct 04, 2013 10:41 pm

I would like to know if it is possible or if there are any tools created to allocate some unused system ram to act as a large HDD/SSD buffer on Linux Mint 15.

I know it is possible within Windows 7, using a third party tool, PrimoCache http://www.romexsoftware.com/en-us/prim ... index.html

This tool gives great file benchmark results with atto and HDtune, but since I have now moved to linux, I would like to achieve the same thing & be able allocate some of my RAM to supplement disk caching. While I cannot make the disk any faster, it will help with inter-system data exchanges, if there is a possibility to adjust deferred write as well would be useful.

I am using:
Linux SR2 3.8.0-19-generic #29-Ubuntu SMP Wed Apr 17 18:16:28 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Linux Mint is funded by ads and donations.
 

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby passerby on Fri Oct 04, 2013 11:47 pm

Linux does this automatically. The amount is up to your system. Not sure how easy it is to change that value, but I'd leave it for the system to manage.

You can offload entire directories to RAM by editing your fstab file. eg. In my fstab file I have the line
Code: Select all
none /tmp tmpfs defaults,nosuid 0 0

which moved my /tmp (temp file) directory to RAM.
I know that isn't what you asked about, but I thought it was worth mentioning.
Home PC: Xubuntu 14.04 x64, Nvidia GTX650, i7 3770K, 16GB RAM, Asus Xonar DX
Work PC: Mint 13 x64 XFCE, Nvidia GT620, i5 3470, 8GB RAM
Laptop: System76 Kudu Pro, Xubuntu 14.04 x64

My HTML5 login themes + screenshots
User avatar
passerby
Level 6
Level 6
 
Posts: 1374
Joined: Sun Dec 16, 2012 7:29 pm

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Sat Oct 05, 2013 5:42 am

passerby wrote:Linux does this automatically. The amount is up to your system. Not sure how easy it is to change that value, but I'd leave it for the system to manage.

You can offload entire directories to RAM by editing your fstab file. eg. In my fstab file I have the line
Code: Select all
none /tmp tmpfs defaults,nosuid 0 0

which moved my /tmp (temp file) directory to RAM.
I know that isn't what you asked about, but I thought it was worth mentioning.


Thanks for your suggestion passerby, I will try it out later on :)

For now Ive just done some tweaking to some of these settings:

Code: Select all
nano /proc/sys/vm/swappiness
(Set this to 100)
Code: Select all
nano /proc/sys/vm/dirty_writeback_centisecs
(set this one to 5000)
Code: Select all
nano /proc/sys/vm/dirty_background_ratio
(set this to 35)
Code: Select all
nano /proc/sys/vm/dirty_ratio
(set this one to 50)

Any advice on those settings? I'm pretty much playing around at this point, not really sure where I should set them.

Do you know any other tweaks etc, which could help with caching/buffering or general system improvement. RAM isn't a problem for me, I have 24GB of it, and 2 Xeons. I really just want to see blinding system performance. My data on the system is not critical. I do a lot with FTP over 10Gbps LAN, so I would love to improve the performance of that if that's achievable. My FTP server is running Debian, and I have tweaked the /etc/security/limits.conf file to give users very high proiorties by default, can I do the same for ionice?
Last edited by XenonK on Sat Oct 05, 2013 6:20 am, edited 1 time in total.
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby catweazel on Sat Oct 05, 2013 5:51 am

XenonK wrote:
passerby wrote:Do you know any other tweaks etc, which could help with caching/buffering or general system improvement. RAM isn't a problem for me

Install and configure profile sync daemon, and add these lines to /etc/fstab:
Code: Select all
tmpfs          /tmp                    tmpfs   noatime,nodev,mode=1777                      0       0
tmpfs          /var/log                tmpfs   defaults,noatime,mode=0755                   0       0
tmpfs          /var/lock               tmpfs   nodev,nosuid,noatime,mode=1777               0       0
tmpfs          /var/run                tmpfs   nodev,nosuid,noatime,mode=1777               0       0

All logs will be lost when you shutdown or reboot. The lines above cause the logs and other temporary areas to be stored in RAM. Delete all existing logs in /var/log first.

You can also roll your own kernel and up the RAM allocated to ram disks.
Mint Testing Team & Mint Donor #3606
KDE 4.12.0, custom preemptive kernel 3.12.5,
Intel i7 4770K @ 4.7GHz, 16GB 2666MHz XMP,
4 Samsung 840 PRO 512GB SSDs in RAID0,
6TB HW RAID10, dual 24" Acer X243H,
Gigabyte nVidia GTX 680 Super Overclock
User avatar
catweazel
Level 7
Level 7
 
Posts: 1656
Joined: Fri Oct 12, 2012 9:44 pm

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby passerby on Sat Oct 05, 2013 6:21 am

You may notice a performance increase by swapping IO schedulers. The default is cfq. Using the mainstream kernel, you can also swap to noop and deadline.
Comparison of those three: http://www.phoronix.com/scan.php?page=a ... sched_2012
If you have a patched or alternate kernel, you can use others, such as bfq. I don't have a worthwhile comparison with bfq to show you, but there are youtube videos and such if you google it.

If you wind up using a significant amount of your RAM, you may wish to decrease your system's swappiness. That way, you can use more RAM before your system starts swapping to disk.
If you're running applications directly on the machine (not just leaving the same services idle until needed), installing preload will result in further application caching (anticipatory caching based on what you use).
Home PC: Xubuntu 14.04 x64, Nvidia GTX650, i7 3770K, 16GB RAM, Asus Xonar DX
Work PC: Mint 13 x64 XFCE, Nvidia GT620, i5 3470, 8GB RAM
Laptop: System76 Kudu Pro, Xubuntu 14.04 x64

My HTML5 login themes + screenshots
User avatar
passerby
Level 6
Level 6
 
Posts: 1374
Joined: Sun Dec 16, 2012 7:29 pm

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Sat Oct 05, 2013 7:14 am

catweazel wrote:
XenonK wrote:
passerby wrote:Do you know any other tweaks etc, which could help with caching/buffering or general system improvement. RAM isn't a problem for me

Install and configure profile sync daemon, and add these lines to /etc/fstab:
Code: Select all
tmpfs          /tmp                    tmpfs   noatime,nodev,mode=1777                      0       0
tmpfs          /var/log                tmpfs   defaults,noatime,mode=0755                   0       0
tmpfs          /var/lock               tmpfs   nodev,nosuid,noatime,mode=1777               0       0
tmpfs          /var/run                tmpfs   nodev,nosuid,noatime,mode=1777               0       0

All logs will be lost when you shutdown or reboot. The lines above cause the logs and other temporary areas to be stored in RAM. Delete all existing logs in /var/log first.

You can also roll your own kernel and up the RAM allocated to ram disks.


Thanks catweazel, I have installed profile sync daemon, and added the following lines to the /etc/fstab. Now I will have to perform some tests. :)

passerby wrote:You may notice a performance increase by swapping IO schedulers. The default is cfq. Using the mainstream kernel, you can also swap to noop and deadline.
Comparison of those three: http://www.phoronix.com/scan.php?page=a ... sched_2012
If you have a patched or alternate kernel, you can use others, such as bfq. I don't have a worthwhile comparison with bfq to show you, but there are youtube videos and such if you google it.

If you wind up using a significant amount of your RAM, you may wish to decrease your system's swappiness. That way, you can use more RAM before your system starts swapping to disk.
If you're running applications directly on the machine (not just leaving the same services idle until needed), installing preload will result in further application caching (anticipatory caching based on what you use).


Is swapping the IO scheduler an easy task? I will take a look on youtube in a moment to see the differences, I would like to get more performance where possible.

So if I get what you are saying, a swapiness setting of 100 will be no good for me.... I would have to set this to something lower like 5 prehaps?
Last edited by XenonK on Sat Oct 05, 2013 7:22 am, edited 1 time in total.
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Sat Oct 05, 2013 7:19 am

Sorry here are the complete benchmark results.

:D sorry if its a bit long.

Code: Select all
SR2 current # iozone –R -a -b /home/adam/Documents/output.wks
   Iozone: Performance Test of File I/O
           Version $Revision: 3.397 $
      Compiled for 64 bit mode.
      Build: linux-AMD64

   Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
                Al Slater, Scott Rhine, Mike Wisner, Ken Goss
                Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
                Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
                Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
                Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
                Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer.
                Ben England.

   Run began: Sat Oct  5 11:56:49 2013

   Auto Mode
   Command line used: iozone -a -b /home/adam/Documents/output.wks –R
   Output is in Kbytes/sec
   Time Resolution = 0.000001 seconds.
   Processor cache size set to 1024 Kbytes.
   Processor cache line size set to 32 bytes.
   File stride size set to 17 * record size.
                                                            random  random    bkwd   record   stride                                   
              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
              64       4  627470 1638743  4018152 12902017 5860307 1933893 3203069  3165299  9318832  3958892  1933893 3541098  6421025
              64       8  801764 1933893  4897948  794053912902017 5389653 4564786  3541098  7100397  2892445  2278628 4564786  7940539
              64      16  799377 1933893  7100397 2273779110821524 4897948 4897948  5860307 10402178  4564786  3203069 5283570 15972885
              64      32 1279447 2067979  7100397  900617912902017 5860307 4207076  4274062  6421025  2892445  3363612 4897948  9318832
              64      64  889431 2067979 12902017  710039712902017 4643754 3203069  4274062  4274062  5860307  2772930 4564786 20962191
             128       4 1152564 1878447  4717434 10779307 9129573 4012317 3895854  5325799  4759253  4135958  2367096 4407601  8036304
             128       8  895074 1967960  5122535  640613810779307 5074121 5847904  6330599  8036304  4934216  2784517 6114306 12842051
             128      16 1015251 2238774  5784891 1588107811720614 5545860 3982553  3759450  6114306  3867787  2511022 6727225 14200794
             128      32 1196221 2248149  6114306 1420079411720614 6114306 4759253  6406138  7176872  5545860  2784517 4267461 14200794
             128      64 1306873 2211113  9129573  6727225 9129573 5847904 6114306  6727225  8548124  4267461  4267461 6406138 16365173
             128     128 1561553 2175277 12842051  912957312842051 5784891 6114306  6406138  6727225  6114306  3445772 6406138 14200794
             256       4 1185399 2205688  5971678  5455847 8271916 4332998 5022044  5455847  6595234  4197489  2305128 3994490  5022044
             256       8 1369908 2872459  6719046 1281227710651598 5428265 4929815  6891544  7735574  3935921  2285501 5455847  6936061
             256      16 1549845 3368013  6249745 1281227711091721 5687020 5687020  6073004  6891544  3123106  3557725 6249745 12228612
             256      32 1471270 3078337  6249745 1281227711569783 6107548 4652146  6398720 11569783  5242734  2880164 6595234 12812277
             256      64 1619994 3114048  8024634 1362518012228612 6249745 6073004  6554972  9114515  5687020  3879045 6554972 13454450
             256     128 1407621 2726577  8888172  712003411695808 6213578 6595234  6719046  9192546  4652146  4404088 6249745  6719046
             256     256 1755037 2754556 12228612 1222861211569783 6073004 5320671  6107548  5022044  5455847  2911402 6213578 12228612
             512       4 1354190 2782414  5164632  5439343 8394979 4411377 4827914  5509113  7758090  3941742  2906696 5566231  8394979
             512       8 1575781 3081897  6736026  631973910856530 5278892 4650188  6632013 10434519  4882800  3122224 5807059  8018812
             512      16 1571169 3239989  6843354  588665011374040 5566231 5886650  6736026  9510316  4827914  2979282 5067142  6018636
             512      32 1589779 2958758  7211022  880817611943357 5822804 5509113  6086873  7620440  5127637  3122224 5164632  6246213
             512      64 1635797 2979282  6571132  665255812499490 6246213 6652558  6156675  8701110  4871723  3659616 6319739 12797441
             512     128 1707325 2991733  6736026  762044011877300 6246213 6174377  6821616  8955098  5684095  4131319 5822804 12215097
             512     256 1801873 3029721  8140399  601863611620224 3877684 5870558  5886650  8140399  4532414  5278892 6035551  8265729
             512     512 1897396 3366987 11374040 1187730011620224 5624545 6395018  5822804  6174377  5624545  3913012 6319739 11620224
            1024       4 1452570 2892612  6059442  8750850 8457895 4339202 5018624  5310258  6489770  4199201  2805690 5071963  7826025
            1024       8 1584972 3037876  6559147  7941793 9832672 4832290 6355328  6963241  9402175  4674510  3018660 6317933  8970167
            1024      16 1651398 3170172  6733974  759088710230845 4659297 6692005  6874084 10158253  4805258  3170172 5782087  7113161
            1024      32 1815435 3458646  6559147  781179111773301 5853003 6317933  7054742  9946527  5120336  3390391 5917516  7319232
            1024      64 1815435 3291652  7257394  8750850 9045736 6244448 5720477  7369466 12828238  4949226  3369115 6355328  7811791
            1024     128 1777861 3369115  7008693 1136819011773301 6208343 6355328  7113161 12173747  5417427  3643490 5720477  9855234
            1024     256 1762539 3390391  6776473 1113246211249091 5853003 5925680  6441107 10134284  5444898  3999762 5782087  9485232
            1024     512 1896395 3603747  8183918 1161411811645609 5821271 6208343  6059442  8061038  4594502  5885083 6280976 10230845
            1024    1024 1885572 3778101 11489839 1164560911645609 5821271 6317933  5821271  6441107  5813392  3908759 6441107 10230845
            2048       4 1486197 2920945  4923146  9062970 8423109 4423683 5159722  5389574  8128206  4248644  2879817 4889518  9567698
            2048       8 1728424 3219850  5372719 1170600610903620 5389574 4697018  7013303  9015410  4886737  3215029 6690992 10389302
            2048      16 1798259 3330973  6603549  914011711380325 5765808 6823876  6895083 10339282  5020987  3368858 6603549  8784909
            2048      32 1838281 3447273  7112016  948319711851361 6132138 6007763  6917293 10452512  5029807  3396834 6149699  8749118
            2048      64 1906837 3525079  5970183  985303712488897 6340344 6149699  7311791 11564174  5306340  3436240 7088541  9567698
            2048     128 1887563 3525079  6738230 1055526411966935 6397004 6149699  7343043 11072275  5251194  3454204 5754221 11320334
            2048     256 1948800 3436240  6649556 1151765711380325 5953632 6303124  6588354 10240672  4720248  3650932 5578583 10503637
            2048     512 1967097 3675930  7159438 1162678411579763 5836323 6345027  6378005  9268323  5461535  4248644 6340344 11320334
            2048    1024 1889224 3677503  8190205 1170600611579763 5804771 6420913  6167360  8221561  3975338  4785996 6479029 11626784
            2048    2048 1954120 3730203 11502234 1169007611579763 5816563 6378005  5868220  6459541  5750369  4031308 6440169 11380325
            4096       4 1537512 2886496  5953231  9550708 8292220 4307020 5404504  5556581  7742845  3980686  2957556 5885924  8920873
            4096       8 1671225 3360164  6919538 1061268110950922 5286429 6032669  7001316 10502389  4757904  3237937 6693092 10752164
            4096      16 1838440 3438858  6930704 1125953911252164 5520868 6608135  6861502  9874590  4773769  3268741 6804432  9566663
            4096      32 1885037 3552638  6661947 1016677111907264 6066754 6459069  7108502  9920205  4990078  3399392 6480999 11409087
            4096      64 1901520 3615440  7061751 1069193912523544 6330545 7087972  7286380 11341302  5120972  3474326 6532752 12264277
            4096     128 1931232 3540193  6430059 1100705112151506 6330545 6512939  7418527 11281721  5101205  3491981 6449370 10288543
            4096     256 1929280 3720353  6532752 1104242511289134 6005255 6284231  6780263 11633127  4836939  3407483 6321227 10950922
            4096     512 1959873 3730046  6724530 1104242511439475 5769304 6169144  6451792 10344298  4871226  3771811 5794602 10041975
            4096    1024 1944126 3747131  7197849 1066538810978915 5696610 6351609  6300364  9593374  4231697  3516281 6351609  9685316
            4096    2048 1935584 3653887  7261741  8552280 8642630 5013377 6005255  5988509  8028705  3751222  4248440 6216019  8514134
            4096    4096 1858326 3287506  6575257  6804432 6790983 3996428 5736555  3540193  5696610  3730856  3747131 5611025  6512939
            8192       4 1542192 2961585  5859631  6450345 6563708 3240321 5315713  5576245  6229323  3449147  2837582 5672914  6155667
            8192       8 1720670 3289963  5665431  7142200 7922821 3756063 6173362  6983962  7571884  3919746  3231483 6606618  6966969
            8192      16 1802449 3323375  6763986  7473073 8515834 4051471 6429825  6872214  8000301  3978753  3234221 6843471  7142200
            8192      32 1851298 3487304  6775991  7530397 8770148 4271577 6591409  6854392  8307870  4106182  3347986 6792065  6978288
            8192      64 1904662 3578839  6919267  7663074 9052027 4392252 6708520  7328036  8761203  4171488  3406404 6793408  6931830
            8192     128 1928393 3600590  6340832  7092077 8496881 4488649 6425016  7440706  8659632  4047176  3397646 6370221  6912307
            8192     256 1928393 3608910  6248582  6763986 7952160 4406334 6045199  6725591  7295362  3864202  3378271 6150158  6623173
            8192     512 1943555 3616888  6434642  6989645 7669917 4293461 6150158  6420214 10894690  4017364  3497955 5414558  6267959
            8192    1024 1941688 3615366  6670750  7136266 7930135 4182150 6239504  6425016 10447482  3294063  3050997 5897851  6470997
            8192    2048 1931645 3544870  6930432  7211152 6827153 3946308 6131500  6307078  9547539  3320806  3096083 6210183  6470997
            8192    4096 1809187 2945842  5756551  5876668 5316535 3229054 5214865  3951754  5700206  3104195  3959039 5143053  5382328
            8192    8192 1675937 2830569  4468800  4540851 4452008 2906225 4341197  3094968  4427912  2963884  3086627 3913942  4586309
           16384       4 1568443 2940398  5706741  5883111 5178244 2725254 5365018  5490615  5236246  2910139  2846374 5755011  5770960
           16384       8 1718510 3271607  6736671  6701197 6248471 3104729 6032360  6954141  6405137  3257185  3218890 6641612  6577407
           16384      16 1742035 3362206  6849477  6712324 6662863 3241820 6384903  6849477  6630078  3265699  3247642 6692713  6473317
           16384      32 1857393 3458661  6820923  6857679 6585601 3537899 6509495  7077327  6736671  3360890  3330108 6750568  6553571
           16384      64 1917353 3508278  6852209  6569233 6971779 3663708 6566722  7406867  6726121  3408398  3357442 6731392  6553571
           16384     128 1889309 3558602  6528046  6480642 6841294 3778534 6402750  7394115  6747917  3392079  3401313 6419497  6447807
           16384     256 1942391 3547946  6222445  6210635 6284471 3803842 6054683  6826343  6355378  3256568  3339008 6120472  6124836
           16384     512 1959561 3592084  6326125  6306387 6481253 3809324 6163841  6407526  6289648  3369129  3376081 6145651  6241661
           16384    1024 1951658 3592084  6468442  6488597 6533011 3842338 6136321  6501489 10930746  3004549  2881464 6289072  6270136
           16384    2048 1943105 3503092  6671272  6686851 6504566 3673501 6070193  6318564 10421823  2801696  2719753 6226956  6253020
           16384    4096 1826732 3132753  5441055  5485356 5088143 3356786 5147215  3704992  5895729  2864289  2714810 5097579  5269977
           16384    8192 1704698 2844489  4491232  4497405 4509801 3023453 4428142  3096614  4438724  2765170  3430518 4389112  4474272
           16384   16384 1669455 2839553  4367909  4489765 4333206 2943168 4364303  3013509  4371522  2853940  3033061 4482736  4388831
           32768      64 1896944 3487076  6646689  6662800 6579865 3649002 6546954  7358410  6579865  3349489  3342646 6683211  6771790
           32768     128 1927404 3573387  6454410  6523648 6551011 3772084 6426343  7438861  6517152  3345005  3348836 6518388  6553510
           32768     256 1948029 3564860  6195463  6182643 6222672 3793951 6110080  6844976  6213107  3310202  3318594 6125875  6181530
           32768     512 1952679 3597708  6319669  6352677 6339199 3838776 6173201  6544460  6351797  3327674  3328318 6239056  6282117
           32768    1024 1957936 3609234  6401201  6482417 6438988 3838776 6261796  6551011  6459263  2794451  2809072 6289304  6328399
           32768    2048 1936065 3577666  6441402  6509435 6500199 3819997 6243874  6509435 10914951  2595057  2583399 6226054  6315023
           32768    4096 1784462 3143559  5299606  5309227 5208624 3254009 5094519  3976728  5927719  2515363  2507103 5127973  5140248
           32768    8192 1703131 2894682  4501206  4271632 4504894 3061559 4414460  3149249  4469151  2659278  2688355 4458278  4362060
           32768   16384 1700644 2857845  4412617  4359155 4442570 2972693 4416730  3034052  4446739  2718236  3412952 4357496  4451059
           65536      64 1894928 3509282  6692780  6677822 6477804 3644541 6550981  7392806  6556293  3335823  3327545 6555043  6683180
           65536     128 1937331 3585310  6215468  6518976 6378742 3764687 6477041  7400967  6444091  3337200  3333154 6488661  6525631
           65536     256 1935217 3578868  6162379  6210132 6113994 3791063 6158927  6826753  6184980  3297408  3291919 6176225  6203825
           65536     512 1965873 3573750  6299799  6358380 6293740 3832022 6223772  6606561  6295470  3312428  3316744 6135694  5787901
           65536    1024 1964384 3572589  6338147  6406842 6307026 3831648 6237329  6578575  6366922  2766740  2765571 6321676  6318043
           65536    2048 1941930 3559773  6270196  6463790 6347221 3824930 6192505  6537271  6351621  2509617  2524901 6232097  6359557
           65536    4096 1785526 3154266  5139268  5023096 5066144 3307724 5072034  3962557  5818654  2362330  2374759 5087335  5074749
           65536    8192 1705993 2882987  4453930  4395739 4469500 3014679 4396020  3199089  4437106  2405790  2416343 4432027  4362670
           65536   16384 1699013 2870583  4450685  4458554 4391315 3012598 4396301  3103166  4388090  2666573  2690534 4405461  4343642
          131072      64 1919338 3513988  6679510  6653077 6481379 3640096 6599804  7428248  6530034  3352398  3352909 6681864  6661138
          131072     128 1941373 3581965  6538577  6551668 6391260 3781878 6497388  7491616  6488723  3352643  3332968 6535934  6545116
          131072     256 1947349 3593579  6172190  6237669 6187334 3805807 6185593  6874628  6188169  3312244  3295842 6201083  6220518
          131072     512 1966041 3592287  6315489  6362413 6302457 3818337 6206053  6593155  6307012  3316360  3309214 6281286  6338426
          131072    1024 1962685 3600781  6355058  6404364 6378135 3840154 6289766  6582577  6367350  2765165  2754469 6325881  6152435
          131072    2048 1960516 3578072  6342155  6425398 6365802 3827721 6264823  6543792  6385025  2507120  2497132 6284302  6392523
          131072    4096 1809861 3136733  5157677  5182962 5084079 3328810 5112447  4043576  5138298  2312864  2304323 5124026  5150767
          131072    8192 1727337 2887118  4469348  4469493 4445819 3041882 4435166  3171805  4461586  2299263  2300601 4457787  4477429
          131072   16384 1729635 2890229  4430805  4456992 4454139 3035768 4441293  3177893  4446574  2417010  2414918 4431091  4434415
          262144      64 1909266 3518281  6685635  6717002 6523595 3629544 6602451  7474037  6490171  3354278  3353510 6688197  6696058
          262144     128 1949071 3567065  6559361  6581899 6440709 3742129 6512737  7309814  6472062  3327630  3357894 6619464  6586039
          262144     256 1953833 3586836  6202685  6264316 6205486 3801449 6255513  6823297  6206922  3312492  3248775 6201216  6250605
          262144     512 1966543 3605786  6326493  6365647 6314756 3825575 6356704  6504492  6378054  3334876  3311993 6327548  6334876
          262144    1024 1969809 3628597  6384869  6414108 6365316 3855057 6372916  6583200  6375096  2765991  2763454 6388765  6399064
          262144    2048 1967338 3594352  6393780  6390138 6402343 3841547 6331046  6568726  6384869  2501568  2501921 6360713  6385982
          262144    4096 1799943 3121769  5123902  5164261 5123210 3311315 5062352  3981230  5121802  2276427  2279792 5108547  5106340
          262144    8192 1694421 2863991  4427056  4435288 4344954 3023753 4412912  3137232  4427893  2230691  2250396 4455580  4460189
          262144   16384 1729023 2877355  4418694  4418481 4405857 3026608 4408524  3179848  4426895  2285935  2173971 4310292  4356644
          524288      64 1912635 3530702  6698788  6694179 6455870 3613386 6569527  7428484  6451571  3358452  3358129 6525450  6683497
          524288     128 1951826 3601963  6547132  6525527 6422816 3760628 6492984  7392052  6443895  3328158  3328918 6593816  6556130
          524288     256 1958001 3605660  6272890  6268849 6211863 3803046 6304560  6779789  6202087  3309002  3310317 6255830  6309354
          524288     512 1978220 3616203  6350386  6345475 6308358 3862015 6320670  6511441  6309951  3313834  3312201 6350166  6361335
          524288    1024 1981834 3623950  6392122  6408048 6392977 3852199 6380605  6576049  6385570  2764315  2761534 6389615  6407208
          524288    2048 1957116 3575049  6335876  6384495 6351615 3803513 6341943  6509494  6359550  2483776  2481648 6367671  6376479
          524288    4096 1812696 3151375  5127269  5141186 5123697 3336712 5119796  3948035  5118354  2268987  2269517 5125261  5122098
          524288    8192 1726568 2895994  4453882  4465975 4457927 3052198 4460088  3186039  4462558  2222605  2228662 4463020  4468643
          524288   16384 1730831 2913942  4455506  4450853 4435224 3051838 4458424  3190671  4462558  2248368  2248501 4457475  4461119

iozone test complete.
Excel output is below:

"Writer report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   627470  801764  799377  1279447  889431
"128"   1152564  895074  1015251  1196221  1306873  1561553
"256"   1185399  1369908  1549845  1471270  1619994  1407621  1755037
"512"   1354190  1575781  1571169  1589779  1635797  1707325  1801873  1897396
"1024"   1452570  1584972  1651398  1815435  1815435  1777861  1762539  1896395  1885572
"2048"   1486197  1728424  1798259  1838281  1906837  1887563  1948800  1967097  1889224  1954120
"4096"   1537512  1671225  1838440  1885037  1901520  1931232  1929280  1959873  1944126  1935584  1858326
"8192"   1542192  1720670  1802449  1851298  1904662  1928393  1928393  1943555  1941688  1931645  1809187  1675937
"16384"   1568443  1718510  1742035  1857393  1917353  1889309  1942391  1959561  1951658  1943105  1826732  1704698  1669455
"32768"   0  0  0  0  1896944  1927404  1948029  1952679  1957936  1936065  1784462  1703131  1700644
"65536"   0  0  0  0  1894928  1937331  1935217  1965873  1964384  1941930  1785526  1705993  1699013
"131072"   0  0  0  0  1919338  1941373  1947349  1966041  1962685  1960516  1809861  1727337  1729635
"262144"   0  0  0  0  1909266  1949071  1953833  1966543  1969809  1967338  1799943  1694421  1729023
"524288"   0  0  0  0  1912635  1951826  1958001  1978220  1981834  1957116  1812696  1726568  1730831

"Re-writer report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   1638743  1933893  1933893  2067979  2067979
"128"   1878447  1967960  2238774  2248149  2211113  2175277
"256"   2205688  2872459  3368013  3078337  3114048  2726577  2754556
"512"   2782414  3081897  3239989  2958758  2979282  2991733  3029721  3366987
"1024"   2892612  3037876  3170172  3458646  3291652  3369115  3390391  3603747  3778101
"2048"   2920945  3219850  3330973  3447273  3525079  3525079  3436240  3675930  3677503  3730203
"4096"   2886496  3360164  3438858  3552638  3615440  3540193  3720353  3730046  3747131  3653887  3287506
"8192"   2961585  3289963  3323375  3487304  3578839  3600590  3608910  3616888  3615366  3544870  2945842  2830569
"16384"   2940398  3271607  3362206  3458661  3508278  3558602  3547946  3592084  3592084  3503092  3132753  2844489  2839553
"32768"   0  0  0  0  3487076  3573387  3564860  3597708  3609234  3577666  3143559  2894682  2857845
"65536"   0  0  0  0  3509282  3585310  3578868  3573750  3572589  3559773  3154266  2882987  2870583
"131072"   0  0  0  0  3513988  3581965  3593579  3592287  3600781  3578072  3136733  2887118  2890229
"262144"   0  0  0  0  3518281  3567065  3586836  3605786  3628597  3594352  3121769  2863991  2877355
"524288"   0  0  0  0  3530702  3601963  3605660  3616203  3623950  3575049  3151375  2895994  2913942

"Reader report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   4018152  4897948  7100397  7100397  12902017
"128"   4717434  5122535  5784891  6114306  9129573  12842051
"256"   5971678  6719046  6249745  6249745  8024634  8888172  12228612
"512"   5164632  6736026  6843354  7211022  6571132  6736026  8140399  11374040
"1024"   6059442  6559147  6733974  6559147  7257394  7008693  6776473  8183918  11489839
"2048"   4923146  5372719  6603549  7112016  5970183  6738230  6649556  7159438  8190205  11502234
"4096"   5953231  6919538  6930704  6661947  7061751  6430059  6532752  6724530  7197849  7261741  6575257
"8192"   5859631  5665431  6763986  6775991  6919267  6340832  6248582  6434642  6670750  6930432  5756551  4468800
"16384"   5706741  6736671  6849477  6820923  6852209  6528046  6222445  6326125  6468442  6671272  5441055  4491232  4367909
"32768"   0  0  0  0  6646689  6454410  6195463  6319669  6401201  6441402  5299606  4501206  4412617
"65536"   0  0  0  0  6692780  6215468  6162379  6299799  6338147  6270196  5139268  4453930  4450685
"131072"   0  0  0  0  6679510  6538577  6172190  6315489  6355058  6342155  5157677  4469348  4430805
"262144"   0  0  0  0  6685635  6559361  6202685  6326493  6384869  6393780  5123902  4427056  4418694
"524288"   0  0  0  0  6698788  6547132  6272890  6350386  6392122  6335876  5127269  4453882  4455506

"Re-Reader report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   12902017  7940539  22737791  9006179  7100397
"128"   10779307  6406138  15881078  14200794  6727225  9129573
"256"   5455847  12812277  12812277  12812277  13625180  7120034  12228612
"512"   5439343  6319739  5886650  8808176  6652558  7620440  6018636  11877300
"1024"   8750850  7941793  7590887  7811791  8750850  11368190  11132462  11614118  11645609
"2048"   9062970  11706006  9140117  9483197  9853037  10555264  11517657  11626784  11706006  11690076
"4096"   9550708  10612681  11259539  10166771  10691939  11007051  11042425  11042425  10665388  8552280  6804432
"8192"   6450345  7142200  7473073  7530397  7663074  7092077  6763986  6989645  7136266  7211152  5876668  4540851
"16384"   5883111  6701197  6712324  6857679  6569233  6480642  6210635  6306387  6488597  6686851  5485356  4497405  4489765
"32768"   0  0  0  0  6662800  6523648  6182643  6352677  6482417  6509435  5309227  4271632  4359155
"65536"   0  0  0  0  6677822  6518976  6210132  6358380  6406842  6463790  5023096  4395739  4458554
"131072"   0  0  0  0  6653077  6551668  6237669  6362413  6404364  6425398  5182962  4469493  4456992
"262144"   0  0  0  0  6717002  6581899  6264316  6365647  6414108  6390138  5164261  4435288  4418481
"524288"   0  0  0  0  6694179  6525527  6268849  6345475  6408048  6384495  5141186  4465975  4450853

"Random read report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   5860307  12902017  10821524  12902017  12902017
"128"   9129573  10779307  11720614  11720614  9129573  12842051
"256"   8271916  10651598  11091721  11569783  12228612  11695808  11569783
"512"   8394979  10856530  11374040  11943357  12499490  11877300  11620224  11620224
"1024"   8457895  9832672  10230845  11773301  9045736  11773301  11249091  11645609  11645609
"2048"   8423109  10903620  11380325  11851361  12488897  11966935  11380325  11579763  11579763  11579763
"4096"   8292220  10950922  11252164  11907264  12523544  12151506  11289134  11439475  10978915  8642630  6790983
"8192"   6563708  7922821  8515834  8770148  9052027  8496881  7952160  7669917  7930135  6827153  5316535  4452008
"16384"   5178244  6248471  6662863  6585601  6971779  6841294  6284471  6481253  6533011  6504566  5088143  4509801  4333206
"32768"   0  0  0  0  6579865  6551011  6222672  6339199  6438988  6500199  5208624  4504894  4442570
"65536"   0  0  0  0  6477804  6378742  6113994  6293740  6307026  6347221  5066144  4469500  4391315
"131072"   0  0  0  0  6481379  6391260  6187334  6302457  6378135  6365802  5084079  4445819  4454139
"262144"   0  0  0  0  6523595  6440709  6205486  6314756  6365316  6402343  5123210  4344954  4405857
"524288"   0  0  0  0  6455870  6422816  6211863  6308358  6392977  6351615  5123697  4457927  4435224

"Random write report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   1933893  5389653  4897948  5860307  4643754
"128"   4012317  5074121  5545860  6114306  5847904  5784891
"256"   4332998  5428265  5687020  6107548  6249745  6213578  6073004
"512"   4411377  5278892  5566231  5822804  6246213  6246213  3877684  5624545
"1024"   4339202  4832290  4659297  5853003  6244448  6208343  5853003  5821271  5821271
"2048"   4423683  5389574  5765808  6132138  6340344  6397004  5953632  5836323  5804771  5816563
"4096"   4307020  5286429  5520868  6066754  6330545  6330545  6005255  5769304  5696610  5013377  3996428
"8192"   3240321  3756063  4051471  4271577  4392252  4488649  4406334  4293461  4182150  3946308  3229054  2906225
"16384"   2725254  3104729  3241820  3537899  3663708  3778534  3803842  3809324  3842338  3673501  3356786  3023453  2943168
"32768"   0  0  0  0  3649002  3772084  3793951  3838776  3838776  3819997  3254009  3061559  2972693
"65536"   0  0  0  0  3644541  3764687  3791063  3832022  3831648  3824930  3307724  3014679  3012598
"131072"   0  0  0  0  3640096  3781878  3805807  3818337  3840154  3827721  3328810  3041882  3035768
"262144"   0  0  0  0  3629544  3742129  3801449  3825575  3855057  3841547  3311315  3023753  3026608
"524288"   0  0  0  0  3613386  3760628  3803046  3862015  3852199  3803513  3336712  3052198  3051838

"Backward read report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   3203069  4564786  4897948  4207076  3203069
"128"   3895854  5847904  3982553  4759253  6114306  6114306
"256"   5022044  4929815  5687020  4652146  6073004  6595234  5320671
"512"   4827914  4650188  5886650  5509113  6652558  6174377  5870558  6395018
"1024"   5018624  6355328  6692005  6317933  5720477  6355328  5925680  6208343  6317933
"2048"   5159722  4697018  6823876  6007763  6149699  6149699  6303124  6345027  6420913  6378005
"4096"   5404504  6032669  6608135  6459069  7087972  6512939  6284231  6169144  6351609  6005255  5736555
"8192"   5315713  6173362  6429825  6591409  6708520  6425016  6045199  6150158  6239504  6131500  5214865  4341197
"16384"   5365018  6032360  6384903  6509495  6566722  6402750  6054683  6163841  6136321  6070193  5147215  4428142  4364303
"32768"   0  0  0  0  6546954  6426343  6110080  6173201  6261796  6243874  5094519  4414460  4416730
"65536"   0  0  0  0  6550981  6477041  6158927  6223772  6237329  6192505  5072034  4396020  4396301
"131072"   0  0  0  0  6599804  6497388  6185593  6206053  6289766  6264823  5112447  4435166  4441293
"262144"   0  0  0  0  6602451  6512737  6255513  6356704  6372916  6331046  5062352  4412912  4408524
"524288"   0  0  0  0  6569527  6492984  6304560  6320670  6380605  6341943  5119796  4460088  4458424

"Record rewrite report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   3165299  3541098  5860307  4274062  4274062
"128"   5325799  6330599  3759450  6406138  6727225  6406138
"256"   5455847  6891544  6073004  6398720  6554972  6719046  6107548
"512"   5509113  6632013  6736026  6086873  6156675  6821616  5886650  5822804
"1024"   5310258  6963241  6874084  7054742  7369466  7113161  6441107  6059442  5821271
"2048"   5389574  7013303  6895083  6917293  7311791  7343043  6588354  6378005  6167360  5868220
"4096"   5556581  7001316  6861502  7108502  7286380  7418527  6780263  6451792  6300364  5988509  3540193
"8192"   5576245  6983962  6872214  6854392  7328036  7440706  6725591  6420214  6425016  6307078  3951754  3094968
"16384"   5490615  6954141  6849477  7077327  7406867  7394115  6826343  6407526  6501489  6318564  3704992  3096614  3013509
"32768"   0  0  0  0  7358410  7438861  6844976  6544460  6551011  6509435  3976728  3149249  3034052
"65536"   0  0  0  0  7392806  7400967  6826753  6606561  6578575  6537271  3962557  3199089  3103166
"131072"   0  0  0  0  7428248  7491616  6874628  6593155  6582577  6543792  4043576  3171805  3177893
"262144"   0  0  0  0  7474037  7309814  6823297  6504492  6583200  6568726  3981230  3137232  3179848
"524288"   0  0  0  0  7428484  7392052  6779789  6511441  6576049  6509494  3948035  3186039  3190671

"Stride read report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   9318832  7100397  10402178  6421025  4274062
"128"   4759253  8036304  6114306  7176872  8548124  6727225
"256"   6595234  7735574  6891544  11569783  9114515  9192546  5022044
"512"   7758090  10434519  9510316  7620440  8701110  8955098  8140399  6174377
"1024"   6489770  9402175  10158253  9946527  12828238  12173747  10134284  8061038  6441107
"2048"   8128206  9015410  10339282  10452512  11564174  11072275  10240672  9268323  8221561  6459541
"4096"   7742845  10502389  9874590  9920205  11341302  11281721  11633127  10344298  9593374  8028705  5696610
"8192"   6229323  7571884  8000301  8307870  8761203  8659632  7295362  10894690  10447482  9547539  5700206  4427912
"16384"   5236246  6405137  6630078  6736671  6726121  6747917  6355378  6289648  10930746  10421823  5895729  4438724  4371522
"32768"   0  0  0  0  6579865  6517152  6213107  6351797  6459263  10914951  5927719  4469151  4446739
"65536"   0  0  0  0  6556293  6444091  6184980  6295470  6366922  6351621  5818654  4437106  4388090
"131072"   0  0  0  0  6530034  6488723  6188169  6307012  6367350  6385025  5138298  4461586  4446574
"262144"   0  0  0  0  6490171  6472062  6206922  6378054  6375096  6384869  5121802  4427893  4426895
"524288"   0  0  0  0  6451571  6443895  6202087  6309951  6385570  6359550  5118354  4462558  4462558

"Fwrite report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   3958892  2892445  4564786  2892445  5860307
"128"   4135958  4934216  3867787  5545860  4267461  6114306
"256"   4197489  3935921  3123106  5242734  5687020  4652146  5455847
"512"   3941742  4882800  4827914  5127637  4871723  5684095  4532414  5624545
"1024"   4199201  4674510  4805258  5120336  4949226  5417427  5444898  4594502  5813392
"2048"   4248644  4886737  5020987  5029807  5306340  5251194  4720248  5461535  3975338  5750369
"4096"   3980686  4757904  4773769  4990078  5120972  5101205  4836939  4871226  4231697  3751222  3730856
"8192"   3449147  3919746  3978753  4106182  4171488  4047176  3864202  4017364  3294063  3320806  3104195  2963884
"16384"   2910139  3257185  3265699  3360890  3408398  3392079  3256568  3369129  3004549  2801696  2864289  2765170  2853940
"32768"   0  0  0  0  3349489  3345005  3310202  3327674  2794451  2595057  2515363  2659278  2718236
"65536"   0  0  0  0  3335823  3337200  3297408  3312428  2766740  2509617  2362330  2405790  2666573
"131072"   0  0  0  0  3352398  3352643  3312244  3316360  2765165  2507120  2312864  2299263  2417010
"262144"   0  0  0  0  3354278  3327630  3312492  3334876  2765991  2501568  2276427  2230691  2285935
"524288"   0  0  0  0  3358452  3328158  3309002  3313834  2764315  2483776  2268987  2222605  2248368

"Re-Fwrite report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   1933893  2278628  3203069  3363612  2772930
"128"   2367096  2784517  2511022  2784517  4267461  3445772
"256"   2305128  2285501  3557725  2880164  3879045  4404088  2911402
"512"   2906696  3122224  2979282  3122224  3659616  4131319  5278892  3913012
"1024"   2805690  3018660  3170172  3390391  3369115  3643490  3999762  5885083  3908759
"2048"   2879817  3215029  3368858  3396834  3436240  3454204  3650932  4248644  4785996  4031308
"4096"   2957556  3237937  3268741  3399392  3474326  3491981  3407483  3771811  3516281  4248440  3747131
"8192"   2837582  3231483  3234221  3347986  3406404  3397646  3378271  3497955  3050997  3096083  3959039  3086627
"16384"   2846374  3218890  3247642  3330108  3357442  3401313  3339008  3376081  2881464  2719753  2714810  3430518  3033061
"32768"   0  0  0  0  3342646  3348836  3318594  3328318  2809072  2583399  2507103  2688355  3412952
"65536"   0  0  0  0  3327545  3333154  3291919  3316744  2765571  2524901  2374759  2416343  2690534
"131072"   0  0  0  0  3352909  3332968  3295842  3309214  2754469  2497132  2304323  2300601  2414918
"262144"   0  0  0  0  3353510  3357894  3248775  3311993  2763454  2501921  2279792  2250396  2173971
"524288"   0  0  0  0  3358129  3328918  3310317  3312201  2761534  2481648  2269517  2228662  2248501

"Fread report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   3541098  4564786  5283570  4897948  4564786
"128"   4407601  6114306  6727225  4267461  6406138  6406138
"256"   3994490  5455847  6249745  6595234  6554972  6249745  6213578
"512"   5566231  5807059  5067142  5164632  6319739  5822804  6035551  6319739
"1024"   5071963  6317933  5782087  5917516  6355328  5720477  5782087  6280976  6441107
"2048"   4889518  6690992  6603549  6149699  7088541  5754221  5578583  6340344  6479029  6440169
"4096"   5885924  6693092  6804432  6480999  6532752  6449370  6321227  5794602  6351609  6216019  5611025
"8192"   5672914  6606618  6843471  6792065  6793408  6370221  6150158  5414558  5897851  6210183  5143053  3913942
"16384"   5755011  6641612  6692713  6750568  6731392  6419497  6120472  6145651  6289072  6226956  5097579  4389112  4482736
"32768"   0  0  0  0  6683211  6518388  6125875  6239056  6289304  6226054  5127973  4458278  4357496
"65536"   0  0  0  0  6555043  6488661  6176225  6135694  6321676  6232097  5087335  4432027  4405461
"131072"   0  0  0  0  6681864  6535934  6201083  6281286  6325881  6284302  5124026  4457787  4431091
"262144"   0  0  0  0  6688197  6619464  6201216  6327548  6388765  6360713  5108547  4455580  4310292
"524288"   0  0  0  0  6525450  6593816  6255830  6350166  6389615  6367671  5125261  4463020  4457475

"Re-Fread report"
        "4"  "8"  "16"  "32"  "64"  "128"  "256"  "512"  "1024"  "2048"  "4096"  "8192"  "16384"
"64"   6421025  7940539  15972885  9318832  20962191
"128"   8036304  12842051  14200794  14200794  16365173  14200794
"256"   5022044  6936061  12228612  12812277  13454450  6719046  12228612
"512"   8394979  8018812  6018636  6246213  12797441  12215097  8265729  11620224
"1024"   7826025  8970167  7113161  7319232  7811791  9855234  9485232  10230845  10230845
"2048"   9567698  10389302  8784909  8749118  9567698  11320334  10503637  11320334  11626784  11380325
"4096"   8920873  10752164  9566663  11409087  12264277  10288543  10950922  10041975  9685316  8514134  6512939
"8192"   6155667  6966969  7142200  6978288  6931830  6912307  6623173  6267959  6470997  6470997  5382328  4586309
"16384"   5770960  6577407  6473317  6553571  6553571  6447807  6124836  6241661  6270136  6253020  5269977  4474272  4388831
"32768"   0  0  0  0  6771790  6553510  6181530  6282117  6328399  6315023  5140248  4362060  4451059
"65536"   0  0  0  0  6683180  6525631  6203825  5787901  6318043  6359557  5074749  4362670  4343642
"131072"   0  0  0  0  6661138  6545116  6220518  6338426  6152435  6392523  5150767  4477429  4434415
"262144"   0  0  0  0  6696058  6586039  6250605  6334876  6399064  6385982  5106340  4460189  4356644
"524288"   0  0  0  0  6683497  6556130  6309354  6361335  6407208  6376479  5122098  4468643  4461119
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby passerby on Sat Oct 05, 2013 8:10 am

XenonK wrote:Is swapping the IO scheduler an easy task?

Very: http://ubuntuforums.org/showthread.php? ... st11043496
Some custom kernels will do it for you automatically.

XenonK wrote:So if I get what you are saying, a swapiness setting of 100 will be no good for me.... I would have to set this to something lower like 5 prehaps?


Yes. I believe the default is 60. I always set mine to 10.
Home PC: Xubuntu 14.04 x64, Nvidia GTX650, i7 3770K, 16GB RAM, Asus Xonar DX
Work PC: Mint 13 x64 XFCE, Nvidia GT620, i5 3470, 8GB RAM
Laptop: System76 Kudu Pro, Xubuntu 14.04 x64

My HTML5 login themes + screenshots
User avatar
passerby
Level 6
Level 6
 
Posts: 1374
Joined: Sun Dec 16, 2012 7:29 pm

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Sat Oct 05, 2013 11:38 am

passerby wrote:
XenonK wrote:Is swapping the IO scheduler an easy task?

Very: http://ubuntuforums.org/showthread.php? ... st11043496
Some custom kernels will do it for you automatically.

XenonK wrote:So if I get what you are saying, a swapiness setting of 100 will be no good for me.... I would have to set this to something lower like 5 prehaps?


Yes. I believe the default is 60. I always set mine to 10.



Much appreciated for the help I will keep tweaking and compare my results to IOzone benches to get the best speeds on my SSD.

Naturally still open to other suggestions as well. I must try swapping my scheduler some day.
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Sat Oct 19, 2013 7:39 pm

Hi guys, I have changed my IO scheduler from CFQ to DEADLINE as described in the past posts, and have these results when I run IOzone:

Code: Select all
iozone -A  -+B
   Iozone: Performance Test of File I/O
           Version $Revision: 3.397 $
      Compiled for 64 bit mode.
      Build: linux-AMD64

   Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
                Al Slater, Scott Rhine, Mike Wisner, Ken Goss
                Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
                Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
                Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
                Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
                Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer.
                Ben England.

   Run began: Sun Oct 20 00:20:46 2013

   Auto Mode 2. This option is obsolete. Use -az -i0 -i1
   >>> Sequential Mixed workload. <<<
   Command line used: iozone -A -+B
   Output is in Kbytes/sec
   Time Resolution = 0.000001 seconds.
   Processor cache size set to 1024 Kbytes.
   Processor cache line size set to 32 bytes.
   File stride size set to 17 * record size.
                                                         
              KB  reclen   write rewrite    read    reread
              64       4  780776 1734015  3406295 10402178
              64       8  983980 1452528  4564786  7100397
              64      16  811459 2006158  5283570  9006179
              64      32  969761 1892980  5735102 12902017
              64      64 1210227 2222043  7940539 10821524
             128       4 1059322 1391557  4104338  4717434
             128       8 1196221 2784517  7176872 14200794
             128      16 1220700 1939522  5325799  6114306
             128      32 1254941 2175277  5325799 14200794
             128      64 1406136 3468030  6727225  8548124
             128     128 1543594 2276751 12842051 16365173
             256       4 1143731 1911233  5455847  5540300
             256       8 1292410 2392442  5117791  6891544
             256      16 1384034 2726577  6249745  6936061
             256      32 1292410 3052087  5687020 12812277
             256      64 1610276 2435861  7791708 13454450
             256     128 1570244 2509882  7314033  7073132
             256     256 1752173 3465855 11091721  9868433
             512       4 1209982 2099600  5127637  8992598
             512       8 1441452 2381315  6472112  7871843
             512      16 1450212 2830083  6571132 11620224
             512      32 1616100 2764505  6491676 11374040
             512      64 1476130 2942541  7309196 11138071
             512     128 1625889 2875558  7410080 10641343
             512     256 1506154 3046915  7988981  9344779
             512     512 1827947 3220553 11620224 11374040
            1024       4 1248607 2115949  3804877  7208671
            1024       8 1418508 2573677  5417427  8840915
            1024      16 1605111 2900425  6280976 11398360
            1024      32 1727102 3101494  5983467 11368190
            1024      64 1726407 3239514  6441107 10796646
            1024     128 1780809 3414650  6569179 12173747
            1024     256 1765437 3594699  6650556  8000971
            1024     512 1560781 3436508  8000971 11489839
            1024    1024 1885572 3603747 11520658 11645609
            2048       4 1272808 2066474  4631177  6990474
            2048       8 1512630 2752473  5238385 10555264
            2048      16 1665101 3016334  5503525  9653719
            2048      32 1715309 3250308  6945257 10555264
            2048      64 1776319 3319389  6780783 12398764
            2048     128 1853353 3525079  6340344 11440955
            2048     256 1798259 3530875  5937172 11380325
            2048     512 1915768 3561619  6717153 11517657
            2048    1024 1906837 3592903  7636816 11440955
            2048    2048 1897990 3669648 11072275 11072275
            4096       4 1281237 2235854  4691638  7784948
            4096       8 1508619 2769246  5093643  8883968
            4096      16 1689800 3082251  6189146  9163546
            4096      32 1757206 3346419  6490793 10950922
            4096      64 1841791 3462422  6618318 10665388
            4096     128 1874752 3561476  6490793 10665388
            4096     256 1838440 3571100  5859825 10190895
            4096     512 1813215 3637640  5810280 10288543
            4096    1024 1902362 3647681  6772244 10012712
            4096    2048 1912954 3602551  7038605  9795765
            4096    4096 1789419 3139133  5751920  6094733
            8192       4 1240835 2103725  5494212  6064404
            8192       8 1488671 2443827  4911476  6804170
            8192      16 1548307 2833604  6496691  7379976
            8192      32 1748604 3254747  6210183  6848927
            8192      64 1804342 3412155  5923270  6215800
            8192     128 1884087 3455043  5517150  6506533
            8192     256 1854195 3434666  5665431  6278267
            8192     512 1925691 3434666  6354905  6884607
            8192    1024 1907411 3499380  6532510  6943036
            8192    2048 1888851 3460959  6730861  6959913
            8192    4096 1746737 2997498  5393311  5704938
            8192    8192 1643628 2644316  3942685  4483963
           16384       4 1184230 1985434  5008779  5247842
           16384       8 1378198 2398099  5917050  5874561
           16384      16 1563981 2691208  5945205  5868541
           16384      32 1627351 2867277  6311600  6122108
           16384      64 1813762 3329302  6861103  6643539
           16384     128 1819621 3312451  6367745  6467833
           16384     256 1859705 3416872  6304073  6222445
           16384     512 1858448 3332046  6333122  6357730
           16384    1024 1871608 3471942  6529907  6574890
           16384    2048 1849196 3396438  5795294  6372469
           16384    4096 1731021 3013376  5214393  5280100
           16384    8192 1590846 2633656  4100989  4155044
           16384   16384 1599362 2520168  4291264  4437864
           32768       4 1184330 1985830  5092254  4056543
           32768       8 1418273 2470643  6367688  6158264
           32768      16 1501805 2764269  6094095  6245009
           32768      32 1690561 2948839  6558827  6712261
           32768      64 1796498 3270580  6522100  6370344
           32768     128 1835828 3332434  6562898  6514680
           32768     256 1855507 3366637  6230853  6245009
           32768     512 1881596 3397009  6317346  6344174
           32768    1024 1885701 3409481  6380103  6468383
           32768    2048 1849315 3341265  6278673  6464428
           32768    4096 1691352 2993607  4953682  5096786
           32768    8192 1623464 2730658  4256155  4238044
           32768   16384 1653205 2770845  3852333  3727480
           65536       4 1266912 2119813  5372612  5293666
           65536       8 1493497 2618488  6251657  6406991
           65536      16 1559486 2892026  6620404  6570555
           65536      32 1724910 3114982  6772425  6660831
           65536      64 1701790 3267967  6688058  6798388
           65536     128 1843014 3363045  6570712  6579205
           65536     256 1857222 3381830  6198369  6251657
           65536     512 1879175 3394065  6259487  6311950
           65536    1024 1869742 3422932  6326477  6428869
           65536    2048 1846084 3285505  6231390  6326477
           65536    4096 1727718 2953776  4964042  4801125
           65536    8192 1617178 2701853  4217548  4069021
           65536   16384 1634603 2735326  4120255  4226432
          131072       4 1269744 2124546  5524917  5465160
          131072       8 1496920 2625162  6523293  6262682
          131072      16 1554515 2909225  6594500  6477789
          131072      32 1720644 3127329  6760749  6729549
          131072      64 1807391 3273295  6774078  6695862
          131072     128 1847280 3360205  6621106  6607736
          131072     256 1867917 3382846  6241564  6236183
          131072     512 1910195 3497490  6203672  6246600
          131072    1024 1908497 3488944  6242415  6283081
          131072    2048 1903759 3454177  6169558  6241848
          131072    4096 1759450 3031265  5093359  5110213
          131072    8192 1657084 2698283  4074081  4122041
          131072   16384 1645828 2675812  4051921  3861300
          262144       4 1277404 2141332  5528245  5585479
          262144       8 1499055 2639650  6386909  6519881
          262144      16 1641859 2926437  6455646  6327403
          262144      32 1738930 3147813  6328313  6466163
          262144      64 1815829 3302146  6721807  6759079
          262144     128 1856082 3380670  6456101  6508535
          262144     256 1877242 3389507  6069391  6073616
          262144     512 1915823 3505393  6235151  6243436
          262144    1024 1891356 3439404  6246309  6393445
          262144    2048 1878358 3388108  5931001  6053719
          262144    4096 1681390 2949580  4875476  4923352
          262144    8192 1701019 2842872  4481641  4486469
          262144   16384 1692791 2836843  4446211  4462542
          524288       4 1301592 2180083  4985194  4863171
          524288       8 1512376 2651723  6088444  6300189
          524288      16 1651519 2929258  5758175  5883803
          524288      32 1687550 3161006  6458885  6430704
          524288      64 1821356 3308414  6139422  6212021
          524288     128 1858814 3385848  6621892  6725935
          524288     256 1887768 3420076  6296852  6308449
          524288     512 1899036 3441045  6356627  6366971
          524288    1024 1910071 3529416  6307978  6311110
          524288    2048 1910767 3462958  6254335  6283788
          524288    4096 1711129 2932946  4972108  5055623
          524288    8192 1641339 2684171  4075557  4000764
          524288   16384 1623670 2764210  3829411  3871221

iozone test complete.



It looks like I am getting peak something like 16GB/s and there after averaging at about 3GB/s using DEADLINE according to these figures.

Here is a quick test using NOOP.

Code: Select all
SR2 adam # cat /sys/block/sda/queue/scheduler
[noop] deadline cfq
SR2 adam # iozone -A  -+B
   Iozone: Performance Test of File I/O
           Version $Revision: 3.397 $
      Compiled for 64 bit mode.
      Build: linux-AMD64

   Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
                Al Slater, Scott Rhine, Mike Wisner, Ken Goss
                Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
                Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
                Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
                Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
                Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer.
                Ben England.

   Run began: Sun Oct 20 00:56:48 2013

   Auto Mode 2. This option is obsolete. Use -az -i0 -i1
   >>> Sequential Mixed workload. <<<
   Command line used: iozone -A -+B
   Output is in Kbytes/sec
   Time Resolution = 0.000001 seconds.
   Processor cache size set to 1024 Kbytes.
   Processor cache line size set to 32 bytes.
   File stride size set to 17 * record size.
                                                         
              KB  reclen   write rewrite    read    reread
              64       4  842003 1421755  4564786  8182586
              64       8 1101022 1828508  4897948 15972885
              64      16 1124074 1991276  4988978  9006179
              64      32  710511 1679761  7940539 16983463
              64      64 1049372 1991276  7940539  9006179
             128       4 1059322 2211113  4407601  9287508
             128       8  780556 1911894  6114306  5603747
             128      16 1082825 2035099  6114306  6727225
             128      32 1185654 2286447  5847904 12842051
             128      64 1057236 2673584  6330599 14200794
             128     128 1206978 2905056 12842051 12842051
             256       4 1023775 1707589  3879045  4734192
             256       8 1280084 2228578  5022044  6891544
             256      16 1398455 2223962  6595234  5810112
             256      32 1523457 3326279  5320671 11695808
             256      64 1579483 2392442  5841722  6554972
             256     128 1340826 2486631  7120034  7518900
             256     256 1683493 2588541  9868433  7735574
             512       4 1140576 1975959  5177083  8528336
             512       8 1380303 2668325  4882800  7540170
             512      16 1488408 2521095  5019764  7988981
             512      32 1550747 2800557  5566231  8528336
             512      64 1652157 3415178  6736026 10694336
             512     128 1547395 2942541  6999490 11620224
             512     256 1619757 3046915  6472112 10694336
             512     512 1815584 3239989 11374040 11620224
            1024       4 1247157 2060128  4178773  7590887
            1024       8 1444266 2681328  5821271  8610501
            1024      16 1589665 3112733  5536137  8988941
            1024      32 1620249 3335105  5885083 10454984
            1024      64 1765437 3579719  7472033 11249091
            1024     128 1796451 3458646  5983467  8895850
            1024     256 1861867 3532609  6787181 11132462
            1024     512 1790460 3422814  7811791 11132462
            1024    1024 1790460 3655895 11520658 11614118
            2048       4 1274507 2240576  4796687  7311791
            2048       8 1507057 2844532  4983122  9752360
            2048      16 1657071 3012103  5629769 11380325
            2048      32 1756343 3448657  6738230 10555264
            2048      64 1807720 3567536  6851089 12204980
            2048     128 1807720 3624742  6097316 10945301
            2048     256 1838281 3598924  5816563 11260973
            2048     512 1882186 3663388  7088541 11440955
            2048    1024 1868674 3598924  8097557 11380325
            2048    2048 1895895 3669648  9796850 10555264
            4096       4 1289701 2222261  4526013  7038605
            4096       8 1534628 2780451  5777065  9891647
            4096      16 1690465 3093907  5527974 10950922
            4096      32 1799729 3360164  6872481 11252164
            4096      64 1847535 3408159  6978564 11508442
            4096     128 1892721 3509816  5761565 10288543
            4096     256 1880704 3533639  6330545 10089154
            4096     512 1909552 3646906  6410863  9801354
            4096    1024 1923879 3598778  6503078  9966244
            4096    2048 1904260 3562214  7355007  8062616
            4096    4096 1818782 3240380  5544029  6430059
            8192       4 1292944 2167149  5364680  5724900
            8192       8 1511726 2747942  5421393  6961323
            8192      16 1712438 2937280  4727012  6989645
            8192      32 1783549 3182693  6670750  6230453
            8192      64 1847118 3375284  6633402  7287625
            8192     128 1888955 3453654  6292063  7049878
            8192     256 1898977 3334341  5974769  6527546
            8192     512 1925259 3363060  6365501  6890129
            8192    1024 1904662 3424738  6461262  6741425
            8192    2048 1861831 3061326  6365501  6827153
            8192    4096 1677000 3069531  5661696  5793435
            8192    8192 1634480 2536184  4447398  4017834
           16384       4 1294156 2130585  5253057  5312346
           16384       8 1547673 2658002  6199429  5448389
           16384      16 1702586 2902396  6375425  6182697
           16384      32 1786693 3140484  6470878  6460536
           16384      64 1824501 3309261  6493502  6466008
           16384     128 1897185 3392079  6206148  6059488
           16384     256 1895197 3417552  6010201  6034479
           16384     512 1918048 3397781  6075022  6139062
           16384    1024 1927950 3402829  6201108  6246199
           16384    2048 1874160 3306554  6267848  6364797
           16384    4096 1702966 2871350  5075366  4825871
           16384    8192 1626542 2656666  4062441  4099032
           16384   16384 1598283 2664908  4146770  4293409
           32768       4 1299809 2143370  4814512  5190526
           32768       8 1516537 2636627  5949015  6062643
           32768      16 1662163 2905452  6340369  6264079
           32768      32 1750328 3125260  6221545  6042386
           32768      64 1837399 3278068  6330731  6266650
           32768     128 1869999 3353657  5650620  6042386
           32768     256 1872878 3370104  5964506  5898969
           32768     512 1877483 3412952  6014621  6001489
           32768    1024 1889096 3429816  6119057  6169875
           32768    2048 1870839 3361861  6061306  6163788
           32768    4096 1700391 2966022  5021920  4964059
           32768    8192 1651954 2733373  4027538  3990353
           32768   16384 1641105 2700504  4155145  3931791
           65536       4 1289013 2162183  5310028  5445088
           65536       8 1505744 2677665  6122028  5988911
           65536      16 1668598 2953015  6278072  6307026
           65536      32 1766989 3153035  6259344  6331869
           65536      64 1831532 3321153  6321531  6341803
           65536     128 1864087 3403226  6166250  6237329
           65536     256 1864314 3423486  5920162  6072126
           65536     512 1904670 3451990  5910106  6068104
           65536    1024 1903905 3456548  5971996  6203685
           65536    2048 1880898 3422591  6068774  6184980
           65536    4096 1715694 2916358  4925261  4823789
           65536    8192 1609828 2636723  4191630  4124582
           65536   16384 1597349 2775540  4308174  4003709
          131072       4 1281778 2174169  4978012  5376437
          131072       8 1518671 2702793  6217775  6330470
          131072      16 1673631 2972700  6391854  6558468
          131072      32 1771937 3214837  6361824  6472070
          131072      64 1845407 3359691  6341204  6477179
          131072     128 1873634 3439675  6305203  6367350
          131072     256 1896764 3462204  5964597  5917473
          131072     512 1915473 3487616  6174200  6182046
          131072    1024 1913380 3500764  5933568  6267180
          131072    2048 1912933 3457370  6113777  6238236
          131072    4096 1688372 3031984  4958839  5007713
          131072    8192 1653859 2718766  4172694  4089081
          131072   16384 1661517 2734371  4049682  4189994
          262144       4 1291184 2176786  5434496  5515903
          262144       8 1522376 2707091  5780459  5623962
          262144      16 1672925 2991381  6418938  6407342
          262144      32 1773952 3228570  6584067  6536432
          262144      64 1854233 3400230  6556857  6570493
          262144     128 1890075 3479898  5736428  6351783
          262144     256 1895609 3492788  6136735  6157527
          262144     512 1915963 3515548  6230558  6168547
          262144    1024 1934044 3546219  6269138  6325546
          262144    2048 1912580 3497632  6184960  6262568
          262144    4096 1750742 3036781  5045325  4899046
          262144    8192 1676284 2820636  4436720  4444396
          262144   16384 1667116 2638592  4279624  4268326
          524288       4 1303184 2195068  5558481  5565698
          524288       8 1531035 2715548  6358245  6338652
          524288      16 1685646 3027924  6366510  6558926
          524288      32 1789689 3261388  6617209  6612454
          524288      64 1861870 3407743  6290871  6274232
          524288     128 1895056 3494230  6218433  6228313
          524288     256 1911192 3509101  6094873  6131445
          524288     512 1926941 3550523  6093472  5971455
          524288    1024 1930715 3556760  6347618  6361868
          524288    2048 1935385 3525172  6291033  6308738
          524288    4096 1788049 3094897  5127807  5151387
          524288    8192 1691508 2849421  4234959  4263302
          524288   16384 1693929 2759351  3994935  4008779

iozone test complete.


Here it looks like I still get about 16GB/s but it looks like a more consistent average of about 6GB/s...

Any other tests I could run to test my system and possibly compare it to something. Perhaps someone knows some tests.
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby teatime on Sun Oct 20, 2013 3:50 pm

CFQ is a good default scheduler and is the best for average users - noop, deadline get used in large database systems and often you use noop as databases have their own scheduler. Concerning

Code: Select all
nano /proc/sys/vm/swappiness

(Set this to 100) is not a good idea as it means the system should always swap - swapping takes time as your hd is much slower as RAM and therefore you should lower it; swappiness 50 means in case your system ram is filled 50% the kernel start swapping - depends how much ram you have but I have set it to 20 and here is some background information: http://www.linuxvox.com/2009/10/what-is ... wappiness/
teatime
Level 2
Level 2
 
Posts: 65
Joined: Thu Aug 16, 2012 12:47 pm

Re: Use Ram as suplimental HDD Buffer/Cache?

Postby XenonK on Sat Oct 26, 2013 7:55 pm

teatime wrote:CFQ is a good default scheduler and is the best for average users - noop, deadline get used in large database systems and often you use noop as databases have their own scheduler. Concerning

Code: Select all
nano /proc/sys/vm/swappiness

(Set this to 100) is not a good idea as it means the system should always swap - swapping takes time as your hd is much slower as RAM and therefore you should lower it; swappiness 50 means in case your system ram is filled 50% the kernel start swapping - depends how much ram you have but I have set it to 20 and here is some background information: http://www.linuxvox.com/2009/10/what-is ... wappiness/



Thanks for the advice,

I have to do my whole install again since I lent my mate my IBM M1015, so I will be testing these settings again when I install it all on the Revodrive X2.

I'll Probally go for a swapiness setting of 5 as I have a lot of RAM as mentioned before, and my files are non-critical. I dont want to have it swapping to disk for the point you mentioned. I got confused with this setting clearly....


Another thing... I have played around with the default priority settings in /etc/security/limits.conf and upped my cpu priorities for running processes, but I also see there is a ionice command to elevate IO scheduling? My question is, can I also set a default ionice value for processes for all users? if so how. Forgive me if my desription of this is perhaps wrong, I just want to aviod having to find the process PID and then elevating the process from the terminal.

Thanks.
XenonK
Level 1
Level 1
 
Posts: 9
Joined: Fri Aug 31, 2012 6:34 pm
Location: England

Linux Mint is funded by ads and donations.
 

Return to Other topics

Who is online

Users browsing this forum: No registered users and 3 guests