1. Get an M1 mac (via scaleway)
2. Connect via VNC over SSH
3. Install Docker Desktop

Setup Docker Hub account

1. Log in to Docker Hub
2. Generate access token. Copy to clipboard

Docker commands:

# Build: $ docker buildx build --tag gabrys/elasticsearch:6.8 . # Log in to Docker Hub: $ security -v unlock-keychain ~/Library/Keychains/login.keychain-db $ docker login -u gabrys $ docker buildx create --use # Build and push: $ docker buildx build --platform linux/arm64/v8,linux/amd64 --push --tag gabrys/elasticsearch:6.8 .

by Gabrys

Unfortunately, I never delivered on that promise, and to put it as directly as I can, I need to close the project altogether. (Please continue reading if you're interested in doing a similar thing yourself!)

History

svn2github has been up since 2011/2012 (based on whois data). That's been 7 years already! What started a little side project, stayed exactly that. I kept it running, because I've seen people use it. I'm extremely happy I could help, but this time has come to an end.

I created svn2github back in 2011 to help my team at Allegro deal with SVN dependencies to our Git project. We wanted to use Git for our PHP application and Git submodules for our dependencies, but at that point in time many mainstream projects were still using SVN. Then out of a weekend of quick Python coding, svn2github was born!

7 years later and most programmers don't know what SVN is anymore :-). Most projects are either hosted in Git or Mercurial with big corporations backing them (Microsoft, Facebook). Also it looks like git submodules didn't catch on and language-specific dependency management is used instead (npm for JS, composer for PHP, etc). I don't think anyone will miss svn2github, but if you will, please leave me a comment, I will gladly share some information on how to build a service like svn2github. Let me remind you it was born in one weekend!

Stats

Through the 7 years of operation, its users mirrored about 1300+ SVN repositories to GitHub. My single server running the project was down a few times due to not scaling properly when mirroring HUGE repos (that I needed to disable at some point to continue operating). After removing the HUGE repos, the repos mirrored to GitHub currently take about 200GB.

Plan forward

13 January 2019: This note posted
20 January 2019: Disable automatically updating the repos (can still add more repos, but this will be a one-time import operation)
27 January 2019: Disable adding new repos

I'm not going to remove repos from GitHub (unless someone requests it due to legal issues, etc).

Next steps

The biggest challenge running the project was making sure all of the 1,000+ repos are actually mirrored. If you have just one or two repos to look after, your job is much easier, in fact I created a little helper script to help you do just that. Please check the simplified "just one repo" host-yourself version of svn2github at this link: https://github.com/gabrys/svn2github

Thank you!

Thank you all for using the service. If you want to contact me, please leave me a direct message on Wikidot, or send me an email, or leave a comment.

by Gabrys

• Add more transparency in the "add" queue and process — i.e. you should be able to see more than just "Queued" when you add a repo to be mirrored.
• Add some end-to-end tests. Should be easy to do, given how limited the functionality is
• Add a status page: showing results of the tests above, number of repos cloned, average mirror latency, last sync time, etc
• Add Monaro mining on the add page. Mine some money for me while waiting to get your repo cloned (I'd rather do this than ads)
• Change the syncing mechanism: currently it's mostly random, i.e. your repo might be updated every few hours or days depending on your luck. I'd like to weigh how often a repo is updated given how it is (sync smaller/faster repos more often) and whether it generally succeeds or not (if a repo doesn't sync once, increase the interval for it, so other repos can be at benefit).

by Gabrys

Get the minimal root fs

1. Check out Docker images for CentOS: https://hub.docker.com/_/centos/
2. Follow the Dockerfile link for the version you're interested in, say 6.6: https://github.com/CentOS/sig-cloud-instance-images/blob/8911843d9a6cc71aadd81e491f94618aded94f30/docker/Dockerfile
3. Go one level up in GitHub and locate the centos-*.tar.xz file, it's the archive with the mininal rootfs for CentOS: https://github.com/CentOS/sig-cloud-instance-images/blob/8911843d9a6cc71aadd81e491f94618aded94f30/docker/centos-6.6-20150304_1234-docker.tar.xz
4. Click the download link

Prepare a directory, unpack the root fs

sudo mkdir -p /mnt/centos-chroot/ # You may need to uncompress the XZ file, but my tar could deal with it, so try yourself: sudo tar -xf /path/to/centos-6.6-20150304_1234-docker.tar.xz # Mount some pseudo filesystems: cd /mnt/centos-chroot/ sudo mount --bind /sys sys sudo mount --bind /dev dev sudo mount -t proc proc proc

Enter your precious chroot:

sudo chroot /mnt/centos-chroot/ /bin/bash . /etc/environment

Done!

by Gabrys

Touch Bar

The keyboard is equipped with the amazing piece of technology called Touch Bar. What is it? It's a replacement for the top row of the keys on the keyboard. What's wrong with this?

*Firstly*, the buttons on it are displayed. You need to touch them, not press. This means a lot of accidental actions done.

*Secondly*, the buttons displayed change depending on the application running. This means you need to LOOK at the keys before you can "press" them. Not sure about you guys, but I think looking at the keyboard is LAME.

*Thirdly*, when running some programs the things displayed on the bar change with every key press. This is very annoying. Example: iTerm.

How to solve: unfortunately you cannot disable Touch Bar, but you can configure it to only show the functional keys. You take away the customizability of it for the applications so the buttons shown are always the same.

Unfortunately this still means you press a lot of those keys accidentally, so to solve the other part of the problem: use an external keyboard.

Keyboard continued

Touch bar is just one thing that's wrong with the keyboard, there are more things.

This is highly subjective, but the keyboard is very unpleasant to type on. It feels very plasticky.

There are no "Home" and "End" buttons on the integrated keyboard. Even if your external keyboard has the Home and End buttons (and other useful stuff like Page Up/Down), which is better do, those work in a very weird way: Home takes you to the beginning of the document, End to the end, rather than to the first and last character of the line. There's a bit of trickery you can do to "fix" that thankfully, but the default behavior is just broken.

I treat my work and my health seriously. My work involves typing on a keyboard and that can involve serious injuries. That's why it's important to use ergonomic keyboards. Those keyboards tend to have PC layout rather than a Mac layout. What does it mean? The layout of the lowest row is like that: Ctrl, Win, Alt, Space, Alt, Menu, Ctrl. On Macs your layout is this: Ctrl, Option (alt), Command (win), space, Command (win), Option. On a PC the convention is the right Alt is for typing local characters, for example Alt+a = ą, while the left Alt is for shortcuts. On Macs both Options work the same way. The problem with this setup is you can't easily switch between keyboards, because you'll quickly start hitting Command+a instead of Option+a which selects everything in your text field. Super annoying, so what you need to do is to remap your internal keyboard to switch Command and Option keys. If you wanted to "fix" your external keyboard instead you're going to re-learn typing your local characters with your left Windows key, because there's no Windows key on the right side…

As some of you may know, I type on a keyboard using the Dvorak layout. On Macs this mean I can only type in English… There's no Polish Dvorak… Unless you load a custom keymap, which binds ź to Option-x instead of Option-w which is just next to Z… Thankfully you don't use ź that much.

Mouse / Touchpad

There's a controversial setting for your mouse and touchpad named "Natural" scrolling, which is really "reversed" scrolling, i.e. it reverses how the scroll used to work on both touchpad and mouse. While I agree the "Natural" scrolling makes sense for touchpad, and I'd like to use that, that setting also reverses the scroll behavior for your mouse. ANNOYING! You need a separate program running in the background to allow you to control both settings separately. It's called "Scroll reverser".

Playing with windows

A bunch of annoyances related to window positioning. There's a Command+Tab shortcut for switching applications and Control-Tab shortcut for switching tabs in a window. But how do you switch between windows of the same application? (Say you have a few browser windows). There's another keyboard shortcut for that. Don't worry. There's no setting to merge window and application switcher though.

I expect the application to hide when I click on the application icon in the dock. What happens? Nothing. Great. But hey, there's Command+h shortcut for this. (Also annoying if you're used to using Ctrl-h shortcut and also started "naturally" using Command instead of Ctrl for some shortcuts).

Slowness

Macs take forever to (re)boot. Even with SSD, ultra high performance CPU and software carefully trimmed to the hardware (or the other way round). It takes very long to reboot your computer. Thankfully you don't need to do that daily, but once you want to do this, you're gonna have a lot of waiting.

When I click my Terminal icon on an older Linux machine, my terminal window pops out and shows me my prompt sign immediately (I mean everything happens below 200ms from the click). On my Mac it may take 3 seconds from the window opening to showing the prompt. This depends on the system load, but it's definitely not as snappy as one would expect from a top-tier PRO computer.

Ports

Remember I needed to connect an external keyboard? It so happens it's a wireless keyboard with a very slim radio transmitter you put to your USB port and your laptop now has a very subtle bump. Well, that is, if your laptop has any USB-A ports. If you have a Mac, you'll need a 10-cm long adapter for your transmitter. Bravo! Obviously you also need an adapter if you want to connect your screen to a display, because the laptop doesn't have an HDMI port either.

Summary and some good things

Summing up, the machine needs a lots of customization to make it work sensibly. Switching from using Ctrl for most shortcuts to Command is not that bad and has one big up-side. In your terminal applications, you can use the same Command+c, Command+v for copy/paste as in the other applications and Ctrl+* for your regular in-command-line shortcuts (Ctrl+c, Ctrl+z, etc). There's no conflicts like in Linux (where the copy is done with Ctrl+Shift+c instead).

Also because the laptop is powered with USB-C, I can use my laptop charger to charge my USB-C phone!

by Gabrys

Be able to manage and run "tasks" on a Linux server. More specifically:

• There should be a WEB interface where:
  • I could define commands or tasks that the server is capable of doing
  • I could schedule tasks to run at specific times (like cron)
• The tasks/commands should be (optionally) parametrized
• The tasks/commands should be (optionally) stored in GitHub and/or a database
• The task runs should not overlap with each other (i.e. when the previous run is still in progress don't start the new one) — configurable
• The task configuration should include:
  • the command to run
  • task timeout — the task should be killed after the specified time
  • environment variables to set for the task
  • max CPU/memory/disk to use (optional)
  • number of times to retry on failure
  • what to do on success and failure — e-mail, webhook and trigger another task
  • directory to run the command in: I can specify one, or a temporary one is created for each run and cleared after the run
  • user to run the command as: I can specify one, or a temporary user is created for each run and cleared after the run
• The task run view should include
  • colored command output
  • command exit code: OK/FAIL
  • resources used by the task (optional)
  • time the task took, time the task started and ended
  • environment variables
  • link to next/previous run and a button to re-run
• The code should be free and open and extremely easy to install
• There should be an error log in the UI to track all the jobs failures
• Misconfigured tasks should not take the machine down — there should be some level of monitoring — don't start new jobs when load is high or disk is almost full, etc
• One should be able to have a nice dashboard with selected tasks for easy launching

What I describe here is to some extent already covered by some of the following:

• Jenkins https://jenkins.io/
• Travis-CI https://travis-ci.com/
• Rundeck http://rundeck.org/
• Minicron https://github.com/jamesrwhite/minicron/

Here's what's wrong with them:

• Jenkins' UI is to complicated for simple tasks, also it feel very heavy
• in Travis-CI you specify the tasks in your code, not in Travis, also it's not software you run locally
• My experience with Rundeck is it doesn't work out of the box, I could debug it, but I didn't want to, also UI is a bit too complex
• Minicron is way too simple and (currently) only allows you to run jobs through ssh (not locally)

To reiterate I'd like:

• A web UI for cron, that's also
• a bit like Jenkins in a way you can see the output of each of the command runs
• and have ability to sandbox the processes it runs
• looks nice and is easy to install and doesn't require maintenance

by Gabrys

$ synclient CoastingSpeed=0

by Gabrys

You cannot really remap the keys, but what you can do is check what channel is currently displayed on the TV and launch another one instead. Unfortunately, there's no pub/sub mechanism, so you need to poll.

Here's te whole code:

#!/bin/bash PLAYSTATION=tvinput.hdmi3 ROKU_MEDIA_PLAYER=2213 YOUTUBE=837 while sleep 1; do curApp="`curl -s http://roku:8060/query/active-app | grep -o '>.*</app>'`" case "$curApp" in *VUDU*) curl -X POST http://roku:8060/launch/$ROKU_MEDIA_PLAYER ;; *Netflix*) curl -X POST http://roku:8060/launch/$YOUTUBE ;; *Rdio*) curl -X POST http://roku:8060/launch/$PLAYSTATION ;; esac done

As you can see starting VUDU channel opens the Roku Media Player, starting Netflix opens YouTube, and RIP Rdio is remapped to to HDMI3, which is the HDMI port I used for my PlayStation.

To find out what IDs different channels have, just call:

curl http://roku:8060/query/apps

(Note I'm using http://roku:8060/ in this script, that's because I run a local DNS server in my local network and my Roku TV has a fixed IP that "roku" name resolves to.)

by Gabrys

The webcam reader

I decided, it's time to record the temperature, so I brought the laptop, adjusted the screen angle, set the brightness to max and took a shot from the webcam to see if the thermometer is in the view of the camera:

mplayer tv:// -vo png -frames 3

This takes 3 frames from the webcam and saves them as PNG files: 00000001.png, 00000002.png, and 00000003.png. If you wonder why I need 3 frames, the first one is always under- or overexposed and out of focus, the second is usually OK and the third is almost always good (as for a webcam), so long story short, I'm giving some time to the camera to auto-adjust its settings.

Here's a script that does just a bit more than that:

#!/bin/bash set -e export DISPLAY=:0 curdate=`date +%x-%X | sed 's/[\.:]//g'` outpng=/home/quake/git/thermonitor/out/"$curdate".png tmppng=/home/quake/git/thermonitor/tmp/00000005.png mkdir -p /home/quake/git/thermonitor/out/ /home/quake/git/thermonitor/tmp cd /home/quake/git/thermonitor/tmp # White background ristretto ../white.png & # Wake screen xte "mousemove 100 100" sleep 0.2 xte "mousemove 99 99" # Dump screen mplayer tv:// -vo png -frames 5 -noconsolecontrols cp "$tmppng" "$outpng" echo "$outpng" kill $!

It's very hacky, but here are the big parts:

• set -e makes the script stop if any of the commands in it fail
• export DISPLAY=:0 selects the default X display, so I can run the command from an SSH shell
• Then we have some hard-coded paths to tmp and out directories
• ristretto ./white.png & starts a image-viewer and shows a white.png file which is a big all-white file. This makes the screen display enough white, so the LCD thermometer is properly lit
• I use xte to move the mouse around: this blocks the automatic screen dimming, so the screen continues to be 100% bright
• Then we have the mplayer command from before, just changed to 5 frames (just to be sure) and -noconsolecontrols. mplayer kind of hangs when you start it without a proper terminal on stdin, unless you pass this option
• Then I copy the 5th frame to the output file, which has the current date and the time in its path
• Finally I close the ristretto process I opened before

I run this command in a while loop like that:

while sleep 28 ; do ./dup.sh ; done

./dup.sh takes around 2 seconds, so I have about 2 photos a minute.

I put that to a screen session.

Now in the out directory I serve the files using Python HTTP server:

python -m SimpleHTTPServer

This starts an HTTP server on port 8000 and serves all the files and creates an index of them when requesting /.

The processing

How easier to copy the HTTP-exposed files than using a plain-old wget command?

wget -r http://dell:8000/

This creates directory dell:8000 and downloads all the PNG files to it.

Once you have that directory you may later want to update it with only the newer files:

rm dell\:8000/index.html wget -nc -r http://dell:8000/

The -nc switch makes wget ignore files that are already there. We explicitly remove the index.html so it downloads a new list (that includes newer files).

I wanted to make a program that gets a photo of the 7-segment display and reads it producing a number that along with the date could be used to graph the temperature over time.

First, let's use ImageMagick to:

• crop the picture to only the interesting part: the OUT reading
• shear the picture to make the LCD segments vertical and horizontal, not skewed
• bump contrast/gamma to remove the noise
• auto-adjust the visual properties of the picture so it's more consistent across different times (like night vs day)
• make it black and white — turned out it works best if I only use the Green channel, R and B turned out more noisy than G.
• resize to as small size as needed — for easier and faster processing

Here's the actual command:

convert $file_in -gamma 1.5 -auto-level -brightness-contrast 35x80 -shear -14x0 -crop 260x70+320+227 -channel Green -separate -resize 40x20 $file_out

Input image:

Output image:

Zoomed in:

You can see the bottom segment is not really visible, but that's OK, all the digits can be properly read without that segment being visible, so we'll only consider the 6 segments that we can easily read.

Now comes the meat, the Python program reading the file and returning the temperature:

#!/usr/bin/env python #encoding: utf-8 from PIL import Image # Points that hold each segment: # d1 is the first digit d1_sA = [(12,1), (13,1), (14,1), (15,1)] d1_sB = [(18,2), (18,3), (18,4), (18,5)] d1_sC = [(18,8), (18,9)] d1_sE = [(11,8), (12,9), (11,9), (12,8)] # Don't need this, as we only ever have 1 and 2 in the first place d1_sF = [] d1_sG = [(13,7), (14,7), (15,7), (16,7)] # d2 is the second digit d2_sA = [(24,1), (25,1), (26,1), (27,1)] d2_sB = [(29,2), (29,3), (29,4), (29,5)] d2_sC = [(29,8), (29,9)] d2_sE = [(22,8), (22,9)] d2_sF = [(22,2), (22,3), (22,4), (22,5)] d2_sG = [(24,6), (25,6), (26,6), (24,7), (25,7), (26,7)] # d3 is the small digit (first after the decimal point) d3_sA = [(35,4), (36,4), (37,4)] d3_sB = [(38,5), (38,6), (38,7)] d3_sC = [(38,9)] d3_sE = [(34,9)] d3_sF = [(34,5), (34,6), (34,7)] d3_sG = [(35,8), (36,8)] # Now the tricky part, for each segment I define a threshold below which I consider it "lit" # 0 means completely black, 255 is white. # Because of uneven lighting, for each segment (and digit, but we ignore that) the value is different. tA = 200 tB = 170 tC = 120 tE = 115 tF = 140 tG = 170 # A threshold for the "-" sign tSIGN = 200 # All of those were obviously updated on the go to match the files # A nice debugging function that prints which segments the code considers lit # Also if you wondered what A, B, C, E, F, G meant, here's the schematic: def print_digit(segs): # Only print this if there's a second argument to the script passed if len(sys.argv) == 2: return print ''' {A}{A} {A}{A} {F} {B} {F} {B} {F} {B} {G}{G} {G}{G} {E} {C} {E} {C} {E} {C} '''.format( A='###' if 'A' in segs else ' ', B='###' if 'B' in segs else ' ', C='###' if 'C' in segs else ' ', E='###' if 'E' in segs else ' ', F='###' if 'F' in segs else ' ', G='###' if 'G' in segs else ' ', ) # This doesn't do anything spectacular, just passes the coordinates for each of the segments and the average value of the first 9 pixels of the image: (0,0) - (3,3) def read_digit(im, pointsA, pointsB, pointsC, pointsE, pointsF, pointsG, avg9px): segs = '' segs += 'A' if read_segment(im, pointsA, tA-avg9px) else '' segs += 'B' if read_segment(im, pointsB, tB-avg9px) else '' segs += 'C' if read_segment(im, pointsC, tC-avg9px) else '' segs += 'E' if read_segment(im, pointsE, tE-avg9px) else '' segs += 'F' if read_segment(im, pointsF, tF-avg9px) else '' segs += 'G' if read_segment(im, pointsG, tG-avg9px) else '' print_digit(segs) # A list of all digits and their representation on the 7-segment display: if segs == 'ABCEF': return 0 if segs == 'BC': return 1 if segs == 'ABEG': return 2 if segs == 'ABCG': return 3 if segs == 'BCFG': return 4 if segs == 'ACFG': return 5 if segs == 'ACEFG': return 6 if segs == 'ABC': return 7 if segs == 'ABCEFG': return 8 if segs == 'ABCFG': return 9 # A special case for the first digit, it doesn't display "0", just doesn't display any segments if segs == '': return 0 # The function that takes the PIL image object, gets a list of (x,y) coordinates # and checks if the average value of them is smaller than the threshold passed: segment "on" # For 0 points passed it returns False: segment "off" def read_segment(im, points, threshold=128): val = 0 for point in points: val += im.getpixel(point) return val < threshold * len(points) # Nothing interesting in here, just for printing the date from the file name def get_date(file_name): time_str = file_name.split('-')[-1].replace('.png', '') d1, d2, m1, m2, y1, y2, y3, y4 = file_name.split('/')[-1].split('-')[0] return '{}{}/{}{}/{}{}{}{} '.format(m1, m2, d1, d2, y1, y2, y3, y4) + '{}{}:{}{}:{}{}'.format(*list(time_str)) # A bunch of imports in the middle of the file # Don't do that at home ;-) import sys import subprocess # This will be for example: pngs/dell\:8000/24092016-101055.png file_in = sys.argv[1] # And this: processed-pngs/dell\:8000/24092016-101055.png file_out = 'processed-' + file_in # Calling the ImageMagick as discussed in the article subprocess.check_call(['convert', file_in, '-gamma', '1.5', '-auto-level', '-brightness-contrast', '35x80', '-shear', '-14x0', '-crop', '260x70+320+227', '-channel', 'Green', '-separate', '-resize', '40x20', file_out]) # Reading what it created im=Image.open(file_out) # Now a thing I added at some point later. # Because of different lighting throughout the day and because the ImageMagick command # above was not good compensating for it (in spite of auto-level and high contrast) # some of the images were darker than the others. In most images (the ideal scenario for the code) # the first 9 pixels of the image (0,0) to (3,3) were just white (or very close), but in those darker # images the whole image was darker and I used the first 9 pixels to detect how much darker first9px = im.getpixel((0,0)) + im.getpixel((0,1)) + im.getpixel((0,2)) \ + im.getpixel((1,0)) + im.getpixel((1,1)) + im.getpixel((1,2)) \ + im.getpixel((2,0)) + im.getpixel((2,1)) + im.getpixel((2,2)) # This is the compensation, for most of the images it's 0 or very few, but for darker images, it's more avg9px = 255-first9px/9 num = '{}{}{}.{}'.format( '-' if read_segment(im, [(2,6), (3,6), (4,6)], tSIGN-avg9px) else '+', read_digit(im, d1_sA, d1_sB, d1_sC, d1_sE, d1_sF, d1_sG, avg9px), read_digit(im, d2_sA, d2_sB, d2_sC, d2_sE, d2_sF, d2_sG, avg9px), read_digit(im, d3_sA, d3_sB, d3_sC, d3_sE, d3_sF, d3_sG, avg9px), ) if 'None' not in num: print get_date(file_in) + '\t' + num # If there's a second argument to the script passed, show the original image for comparison if len(sys.argv) > 2: Image.open(file_in).show()

Even though this script is so simple, after tweaking the thresholds, most of the files were recognized correctly, those that weren't had one or more non-recognized digits, so they were easy to filter out. For over 1-day worth of images, only 2 or 3 minutes had a missing reading.

I loaded the data to LibreOffice and generated this pretty graph:

Timelapse video

Another approach visualizing the data was to create a video.

The plan:

• Annotate the images with the recorded time
• Compose the video from single frames, putting 60 frames per a second of the resulting video

60 frames a second with roughly 2 frames captured a minutes means a day of recording is compressed to:

2 frames a minute * 60 minutes an hour * 24 hours a day = 2880 frames 2880 frames / 60 frames a second = 48 seconds

This makes is "viewable". 60 FPS (versus 30 FPS at higher speed) means you can pause at any time and read the crisp time and temperature.

Here's the annotate part:

#!/usr/bin/env python import sys import subprocess path_in = sys.argv[1] path_out = sys.argv[2] date, time = path_in.replace('.png', '').split('/')[-1].split('-') D1, D2, M1, M2, Y1, Y2, Y3, Y4 = date h1, h2, m1, m2, s1, s2 = time label = '{}{}/{}{}/{}{}{}{} {}{}:{}{}:{}{}\\n'.format(M1, M2, D1, D2, Y1, Y2, Y3, Y4, h1, h2, m1, m2, s1, s2) subprocess.check_call([ 'convert', path_in, '-gravity', 'south', '-pointsize', '45', '-font', 'FreeMono', '-annotate', '0', label, '-fill', 'black', path_out ])

Here's the result:

Running this in a loop, 16 images at a time:

#!/bin/bash i=0 for file_in in dell*/*.png; do file_out="`printf "labeled/%06d.png" $i`" echo ./add-labels.py "$file_in" "$file_out" i=$((i+1)) done | parallel -j 16

In addition to annotatig the image it also names them as 000001.png, 000002.png etc, which makes it easy for avconv to convert them to a video:

avconv -fflags +genpts -r 60 -i labeled/%06d.png -r 60 temperature.mkv

And here's the video:

by Gabrys

It seems a Roku device (Roku TV in my case) hosts an HTTP server which is exposed on port 8060.

There's a series of MDNS requests to determine the available player in the network, but we can skip that since I assume you know the IP address of your Roku. After the device (a phone in my case) identified the target player, it sends an HTTP request:

GET http://your-roku-address:8060/query/device-info

You get a nice XML document in return that lists some properties like this:

<device-info> <udn>...</udn> <serial-number>...</serial-number> <device-id>...</device-id> <advertising-id>...</advertising-id> <vendor-name>Hisense</vendor-name> <model-name>Hisense 40H4</model-name> <model-number>5203X</model-number> <model-region>US</model-region> <screen-size>40</screen-size> <wifi-mac>...</wifi-mac> <network-type>wifi</network-type> <user-device-name/> <software-version>7.2.0</software-version> <software-build>4143</software-build> <secure-device>true</secure-device> <language>en</language> <country>US</country> <locale>en_US</locale> <time-zone>US/Pacific</time-zone> <time-zone-offset>-420</time-zone-offset> <power-mode>PowerOn</power-mode> <supports-suspend>true</supports-suspend> <developer-enabled>true</developer-enabled> <keyed-developer-id/> <search-enabled>true</search-enabled> <voice-search-enabled>true</voice-search-enabled> <notifications-enabled>true</notifications-enabled> <notifications-first-use>false</notifications-first-use> <headphones-connected>true</headphones-connected> <expert-pq-enabled>0.5</expert-pq-enabled> </device-info>

You can see for example my device is Hisense 40H4 and it's a secure device.

This is interesting, but this doesn't cause anything to play.

Here's the part that gets Roku to play something:

POST http://your-roku-address:8060/input/15985?t=v&u=http%3A%2F%2F192.168.1.108%3A8000%2Fstream.m3u8&k=(null)&videoName=192.168.1.108%3A8000%2Fstream.m3u8&videoFormat=hls

That's it, you pass the m3u8 URI as u param (need to URL encode it first) and Roku starts playing it. Note the HTTP method used in POST, but the payload is empty.

I'm not sure what's the meaning of 15985 in the URL, maybe it's the ID of the PlayOnRoku video source.

by Gabrys

While writing this post I realized how much I want not only to list my setup but also explain what are the reasons for each element of it.

This makes it not suitable for one post. That's why it's going to be a few separate blog posts on each of the parts.

Today we start with…

Hardware

My current computer is a one supplied by my company — Wikia. It's Dell Latitude E6430s. Previously I also used an older version of Dell Latitude, both are very similar-looking and built around the same platform.

(My previous laptop)

(My current one)

Intel-based

The computer is based on Intel hardware: Intel CPU, Intel Ethernet and Wi-Fi cards, Intel graphics. The hardware is very nicely supported by Linux, which will be covered in the next post.

Docking station

I'm a big fan of docking stations: you just put your laptop on it and you don't need to play with any cables whatsoever. The laptop gets power from it and you can connect a few devices through it all by placing the laptop in the correct spot.

Screens

I used to have two external screens, but now I only have one — a bigger one, though. The main difference between my old and new laptop from my standpoint was the number of simultaneously supported screens. Previously the graphic adapter could only support 2, the new model supports 3.

With the old model, it was very tricky to script the computer in a way that would switch from displaying the contents just on the laptop to displaying it on two external screens. You needed to do that in stages: first, activate one external screen, then disable the laptop screen, and finally activate the other screen. I did finally craft the script that worked, that it required some time.

With the new model, the regular tools for screen management (based on XRandr) works flawlessly whether you want to use internal, internal + 1 external, 2 external or internal + 2 external screens and whatever the transitions you want, it'll just work.

Keyboard

When I joined Wikia, my first project was rewriting the ad engine. That required a lot of coding and my hands started to be in pain. I asked for an ergonomic keyboard and got one. The keyboard I used was a Microsoft Natural 4000. I'm not an expert on keyboards, but I must say my pain was gone and I never wanted to type on a non-ergonomic keyboard again.

When I moved to the States, my keyboard was left in Poland, so I asked for another ergonomic keyboard and got a Microsoft keyboard again. This time, it was a different model: Microsoft L5V-00001. The keyboard took some time to get used to, but as before my hands don't hurt.

I want to say one thing here: I don't think ergonomic keyboard (or mouse for that matter) makes you type faster — your body can adjust to using almost any sensible tool at comparable speeds — but it does help you type without pain. As I spend a good part of the day typing, this is important.

Mouse

As for the mouse, almost anything goes, I used wired, Bluetooth and proprietary-wireless-USB mouses. Also the laptop touchpads. Dells are equipped with track point devices. I don't like using them. I like the fact you get a dedicated middle button with it, I use it way more often that most of the people.

One thing that I absolutely need my mouse-like device to give me is a sane scroll and the middle button I mentioned before. My Bluetooth mouse has the scroll broken — when scrolling down, it sometimes scrolls up — and this is very very annoying for me.

Summing up: I don't use the mouse that often, mostly to scroll content, so give me anything that allows me to scroll, and I'm happy.

Extras

The laptop has a removable big capacity battery, SD card reader, USB3, and eSATA. It features an extension bay which by default is occupied by a DVD-writer. I have a 500GB placed in there with the original Windows installation moved to it, so I can both boot to it and start it in VirtualBox.

The very annoying part of the laptop is the HDMI output, which is realized through a mini-HDMI port. The port is not very solid and after using it just a few times it stopped working (mechanically, it was later replaced by Dell support). You also need the adapter which you normally don't carry on you.

Seating arrangement

Again, because I spent a good part of the day working on a computer it is important for me to seat in a position that my body can handle. There are some resources online to help you arrange your seat, your desk, your keyboard and your screen in a way that is optimal, so I'm not going to go through that, but here's what I needed to do:

• As the desks in the office don't offer height alignment I ordered a monitor stand and I'm having my keyboard sit on top of it. This makes up for the fact my desk is too low for me. I keep my mouse on it too. There's no place for my num pad, but that's OK.
• With my keyboard already risen, you can expect my screen needs to be placed high as well. Even with quite wide height-alignment range of the screen, it's not enough, I placed the screen on a bunch of Amazon boxes.
• What works one day, doesn't work on the other. Every few days I adjust the screen and the seat to be higher or lower just a tad, just to change the position a little bit and to not cause any Repetitive Strain Injuries (well, not really, but I guess you know what I mean).

Home setup

Whenever I'm not at work and I use my laptop, I use it completely bare: no external screen, no ergonomic keyboard, no optimized seating position, usually no AC cord. The battery, when fully charged, allows for anywhere between 3 and 6 hours of work/play and that's more than enough I need to use my computer outside the office.

Next time

The next posts will be dedicated to the operating system.

by Gabrys

by Gabrys

Ogólnie moja opinia na temat samochodów i ich ekranów multimedialnych, jest taka, że dla wszystkich byłoby dużo lepiej, gdyby producenci samochodów przestali się tym w ogóle zajmować, tylko dali jakąś dobrą integrację z tabletem, który można byłoby sobie wsadzić w odpowiedni slot w samochodzie.

Ale do rzeczy. Dlaczego system w aucie, który kupiliśmy jest według mnie taki słaby?

Po pierwsze sposób w jaki startuje. Nawigacja i reszta bajerów (radio, odtwarzacz MP3 itd) uruchamia się dopiero po "przekręceniu kluczyka". Uruchomienie systemu trwa około minutę, więc nici z szybkiego ustawienia nawigacji czy wyboru stacji przed ruszeniem w podróż.

System mógłby już zacząć się uruchamiać gdy otwieramy drzwi a nawet gdy kluczyk zbliża się do auta (mamy czujnik bliskości), wtedy długi czas uruchamiania systemu (o ile nie można go sensownie skrócić) nie byłby taki straszny, bo proces miałby miejsce zanim wsiądziemy do auta.

Po drugie brak możliwości sterowania nawigacją w czasie jazdy. Gdy przekraczamy około 5 mil na godzinę nawigacja przechodzi w tryb ograniczonego sterowania: niemożliwe jest wpisywanie adresu czy nazwy pożądanego punktu, a jeśli nazwę już wpisaliśmy w czasie, gdy auto się toczyło: niemożliwe jest zatwierdzenie wpisanej nazwy.

Są dostępne tylko niektóre opcje, wybrane chyba zupełnie losowo, bo o logice ciężko w tej sytuacji rozmawiać. Auto nie jest zainteresowane kto obsługuje nawigację. Niezależnie od tego, czy następny punkt podróży chce wpisać kierowca czy pasażer "z powodów bezpieczeństwa" jest to niemożliwe.

W sytuacji gdy jedziemy autostradą i w wyniku zmiany planów (np. ktoś się źle poczuł i należy podjechać po drodze do apteki) należy zatrzymać auto (albo zwolnić do około 5 mph) i dopiero wtedy możliwe jest ustawienie następnego punktu podróży.

Jeśli w Mazdzie nazywa się to bezpieczeństwem (zatrzymywanie auta na autostradzie), to jest po prostu głupia (tak jak i ich nawigacja).

Po konsultacji na forum Mazdy6 w Polsce dowiedziałem się, że zabezpieczenie, o którym piszę wcale nie występuje w Polskich samochodach. Bardzo mnie to zdziwiło, bo jeżeli to kwestia bezpieczeństwa, to chyba powinno to działać tak samo we wszystkich krajach? Dla dociekliwych, to też nie kwestia regulacji prawnych w stanach, bo inne marki samochodów nie utrudniają w ten sposób życia swoim kierowcom.

Jak zwykle w takich sytuacjach zwróciłem się do Mazdy z pytaniem jak to naprawić.

Niestety nie mam zapisanego mojego pytania, ale dotyczyło ono dlaczego niemożliwe jest w aucie sterowanie nawigacją (nawet przez pasażera) w czasie jazdy. Oto odpowiedź:

Dear Piotr Gabryjeluk,

Good Morning

Apologies that you are unhappy with our navigation system , to answer your question about operating the navigation while the vehicle is in motion , for safety precautions it could be a distraction to operate while in the vehicle is in motion. For the other issues with the navigation if it is not working as normal I suggest taking the vehicle into a local Mazda dealer to inspect your concern.

Thank you for contacting Mazda Customer Experience Center.

If you have any questions in the future, you can reach me directly using the number and extension below.

Sincerely,

William

Representative, Customer Experience

Nie można takiej odpowiedzi pozostawić bez odzewu, więc zadałem kolejne pytanie w nawiązaniu do tej odpowiedzi:

Dear William,

Could you please tell me how exactly operating the navigation system by a passenger is a distraction?

Thank you very much,
Piotr Gabryjeluk

Po ośmiu dniach nie dostałem żadnej odpowiedzi, więc zapytałem:

Hi there,

Am I going to get the response from William?

My issue is definitely NOT SOLVED!

Thanks,
Piotr Gabryjeluk

Odpowiedź:

Dear Piotr Gabryjeluk,

Good Morning Apologies but it looks like I did supply the answer for you in regards why your not able to use the navigation while vehicle is in motion.

Thank you for contacting Mazda Customer Experience Center.

If you have any questions in the future, you can reach me directly using the number and extension below.

Sincerely,
William
Representative, Customer Experience

Moja odpowiedź:

Dear William,

You claimed that my navigation system cannot be operated by the passenger, because it is a security threat. I asked you why is that a security issue. You did not answer to that. Please answer that question.

Thank you,
Piotr Gabryjeluk

Brak odpowiedzi. Nikt się nie przejmuje. Po przeszukaniu Internetu mam wrażenie, że nie tylko ja mam ten problem i wszyscy są jednakowo ignorowani przez Mazdę.

Jak to naprawić?

Skoro Mazda ma w dupie wygodę klientów, może jest jakiś sposób na naprawę problemu? Wygląda na to, że jest to możliwe. Na stronie forum Mazdy6: http://forum.mazda6club.com/car-electronics/351338-infotainment-hacks.html znalazłem informację o tym, że problem może być rozwiązany przez zalogowanie się przez ssh do samochodu i wyłączenie flagi.

Tylko jak się zalogować? Okazuje się, że wystarczy podpiąć kartę Ethernetową do złącza USB w aucie, a auto pobierze adres IP przez DHCP, następne pod tym adresem na standardowym porcie SSH należy się zalogować na roota (hasło jci), przemontować system plików w tryb read-write mount -o rw,remount / a następnie wyedytować skrypt /jci/scripts/set_lvds_speed_restriction_config.sh wykomentowując linię zawierającą enable_speed_restriction.

Co z tego wynika?

Jeżeli to prawda (jeszcze tego nie sprawdzałem), to znaczy, że Mazda mając techniczną możliwość zdjęcia "zabezpieczenia" (które zresztą jest włączone tylko w niektórych krajach) odmawia tego klientom powołując się na kompletnie bezsensowne argumenty (że jest to podobno kwestia bezpieczeństwa). Dodatkowo obsługa klienta Mazdy nie odpowiada na pytania i ignoruje klientów.

Jednocześnie, zgodnie z opiniami Mazdofili, wychodzi na to, że Mazda postawiła na sprawdzone rozwiązanie (wygląda na to, że pod "maską" systemu infotainmentu mamy dość standardowego Linuxa) co powinno się przełożyć na niezawodność systemu.

Kwestię umożliwienia logowania na konto roota i trzyliterowe hasło zostawiam bez komentarza. Auto nie jest standardowo podłączone z Internetem i wymagany jest fizyczny dostęp do samochodu, żeby się dostać do systemu. Zakładam, że takie "standardowe" hasło i logowanie bezpośrednio na konto roota ułatwia pracę serwisantom, więc nie widzę w tym dużego zagrożenia.

Linki

• http://forum.mazda6club.com/car-electronics/351338-infotainment-hacks.html
• https://github.com/mazdahacks/tweaks
• http://mazda3revolution.com/forums/2014-2016-mazda-3-skyactiv-audio-electronics/104730-index-infotainment-project.html
• http://openmzdc.wikia.com/
• http://www.lukasz-skalski.com/portfolio/mazda-media-player/ (klonowanie obrazu z Androida na wyświetlacz Mazdy)

by Gabrys

The problem is that even though the TV has an USB port and Roku has a "Roku Media Player" channel that allows you plan video and audio files from the USB disk, not all formats are accepted.

Interestingly Roku has support for subtitles, but the support is quite limited. I found out that one of the options that work nicely is to have the subtitles embedded into the movie itself, given the movie uses Matroska container (.mkv files).

On a side note, if the files are not encoded "properly" (Roku only supports a selection of video and audio codecs), you'll need to re-encode the video using ffmpeg or avconv, but how to do it is much simpler to Google than how to deal with the subtitles. In this post I'll only show you how to deal with the subtitles.

So let's see what we have:

quake@quake-laptop:~/movies$ ls movie.mp4 movie.txt

There's a MP4 file and subtitles in a separate file.

quake@quake-laptop:~/movies$ avconv -i movie.mp4 -f microdvd -sub_charenc cp1250 -i movie.txt -c:v copy -c:a copy movie-with-subs.mkv

Let's look at this command part by part:

• avconv — the tool we're using
• -i movie.mp4 — the movie to convert
• -f microdvd — format for the subtitles (this part is actually optional)
• -sub_charenc cp1250 — the encoding of the subtitles (optional if UTF-8)
• -i movie.txt — the subtitles
• -c:v copy -c:a copy — copy the audio and video stream (rather than re-encode)
• movie-with-subs.mkv — the output file

Which is very nice is this command will not do any re-coding, it will only repackage the movie from MPEG to Matroska container and convert the subtitles. This means there's no quality lost and it only takes a few seconds.

As noted above if the file is not playable on Roku (or there's audio missing) you may actually need to transcode the file (omitting or modifying the -c:v copy -c:a copy line).

by Gabrys

Ale Inea to nie tylko mistrzowie w piłkę, również mistrzowie czytania ze zrozumieniem.

Oto moja komunikacja z nimi. Muszę przyznać, że byłem nieco wkurzony podniesieniem ceny Internetu i zwalanie tego na klientów ("odpowiadając na zapotrzebowanie klientów na szybszy Internet podnieśliśmy jego prędkość do 100 Mbit/s, ale żeby zrównoważyć poniesione koszty podnieśliśmy też jego cenę o 5 złotych na miesiąc"):

Dzień dobry,

Od kilku dni obserwujemy niepokojąco wolno działający Internet. Dzisiaj postawiłem przetestować prędkość korzystając z narzędzi typu speedtest.pl oraz http://speedtest.inea.pl/ i uzyskane wyniki oscylowały w granicach 20-50 Mbit/s. Testy przerowadziłem w odpowiednich warunkach (połączenie po kablu, nieobciążony komputer, brak innych korzystających z Internetu urządzeń). Ściąganie testowego 1GB pliku z serwerów Inea trwało ponad 3 minuty:

user@debian:~$ curl http://speedtest.inea.pl/1GB.test > /dev/null
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed
100 1024M 100 1024M 0 0 5610k 0 0:03:06 0:03:06 ::— 5573k

Jak widać raportowana prędkość to 5.6*8 ~ 50 Mbit/s. Ściąganie testowego pliku 10 MB z "zewnątrz" sieci Inea:

user@debian:~$ curl http://lastlook.pl/~quake/test10mb.html > /dev/null
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed
100 9.9M 100 9.9M 0 0 2262k 0 0:00:04 0:00:04 ::— 2262k

Prędkość jeszcze gorsza: około 20 Mbit/s. Proszę o poprawienie przepustowości do zgodnej z umową (100 Mbit/s).

Dziękuję, Piotr Gabryjeluk

Odpowiedź Inei:

Dotyczy: problemy techniczne
Reklamacja została rozpatrzona przez: Dział Korespondencji i Reklamacji
Podstawa prawna rozstrzygnięcia: § 25 ust. 1 Regulaminu Świadczenia Usług Telekomunikacyjnych
Rozstrzygnięcie reklamacji: odmowa

Szanowny Panie,
działając w imieniu INEA S.A. (dalej „Dostawca usług”) z siedzibą w Poznaniu, ul. Klaudyny Potockiej 25, 60-211, adres do korespondencji: Wysogotowo, ul. Wierzbowa 84, 62-081 Przeźmierowo; niniejszym, na podstawie art. 106 ustawy z dnia 16 lipca 2004 roku – Prawo telekomunikacyjne (Dz. U. 2014 poz. 243 – „Ustawa”) w odpowiedzi na reklamację złożoną w dniu 19 marca 2015 roku chciałabym opisać wynik postępowania reklamacyjnego w przedstawionej sprawie.

W odpowiedzi na Pana uwagi dotyczące problemów technicznych z działaniem usługi dostępu do sieci Internet uprzejmie informuję, że przeprowadzona diagnostyka nie wykazała występowania u Pana opisanych problemów z działaniem łącza. Opisane nieprawidłowości wskazują na nieprawidłową konfigurację Państwa sieci wi-fi. Jednocześnie w przypadku połączenia bezprzewodowego Regulamin Świadczenia Usług Telekomunikacyjnych § 12 ust. 3 określa, iż jakość oraz prędkość transmisji danych jest zależna od licznych czynników zewnętrznych niezależnych od Dostawcy Usług (maksymalna prędkość obsługiwana przez terminal abonencki, obciążenie sieci etc.). Ponadto, sygnał doprowadzony do Państwa lokalu jest prawidłowy, a opisane nieprawidłowości są charakterystyczne dla zewnętrznych zakłóceń sieci wi-fi. Modem oferowany przez Dostawcę usług oferuje możliwość właściwej konfiguracji Państwa sieci bezprzewodowej, tak, aby zminimalizować wpływ zakłóceń zewnętrznych na parametry działania sieci bezprzewodowej.

Mając na uwadze powyższe okoliczności, nie odnajduje podstaw do uznania wniesionej reklamacji, którą tym samym należy uznać za niezasadną i udzielić odpowiedzi odmownej.

Ufam, iż udzielona odpowiedź spotka się z Pana uznaniem, a nasza dalsza współpraca będzie przebiegała pomyślnie dla obu Stron.

Z wyrazami szacunku

Agnieszka Marczak
Specjalista ds. Korespondencji

Trochę się zdziwiłem, że piszą o konfiguracji wi-fi jeśli wyraźnie zaznaczyłem, że piszę o problemach na kablu, więc pociągnąłem temat:

Dzień dobry,

Dlaczego w odpowiedzi na moją reklamację, sugerują Państwo, że problem był związany z nieprawidłową konfiguracją sieci wi-fi, jeśli w treści reklamacji wyraźnie napisałem, że:

"Testy przerowadziłem w odpowiednich warunkach (połączenie po kablu, nieobciążony komputer, brak innych korzystających z Internetu urządzeń)."

Czy mam rozumieć, że nikt nie przeczytał nawet treści reklamacji?

Dziękuję,
Piotr Gabryjeluk

Na to oni:

Dotyczy: problemy techniczne

Reklamacja została rozpatrzona przez: Dział Korespondencji i Reklamacji

Podstawa prawna rozstrzygnięcia: § 25 ust. 1 Regulaminu Świadczenia Usług Telekomunikacyjnych

Rozstrzygnięcie reklamacji: odmowa

Szanowny Panie,

działając w imieniu INEA S.A. (dalej „Dostawca usług”) z siedzibą w Poznaniu, ul. Klaudyny Potockiej 25, 60-211, adres do korespondencji: Wysogotowo, ul. Wierzbowa 84, 62-081 Przeźmierowo; niniejszym, na podstawie art. 106 ustawy z dnia 16 lipca 2004 roku – Prawo telekomunikacyjne (Dz. U. 2014 poz. 243 – „Ustawa”) w odpowiedzi na reklamację złożoną w dniu 13 kwietnia 2015 roku chciałabym opisać wynik postępowania reklamacyjnego w przedstawionej sprawie.

Odnosząc się do zgłoszonych przez Pana uwag uprzejmie informuję, że szczegółowa odpowiedź została udzielona w odpowiedzi na reklamację z dnia 30 marca 2015 roku numer 0235176. Wskazuję, iż Dostawca usług nie będzie się ponownie odnosił do poruszanych przez Pana kwestii, oraz stanowisko Dostawcy usług we wniesionej sprawie pozostaje niezmienione.

Jednocześnie informuję, że przeprowadzona diagnostyka nie wykazała występowania u Pana opisanych problemów z działaniem łącza jak i opisane nieprawidłowości wskazują na nieprawidłową konfigurację Państwa sieci wi-fi.

Mając na uwadze powyższe okoliczności, nie odnajduje podstaw do uznania wniesionej reklamacji, którą tym samym należy uznać za niezasadną i udzielić odpowiedzi odmownej.

Jednakże, jeżeli opisywane przez Pana nieprawidłowości nadal występują, uprzejmie proszę o kontakt poprzez Infolinie Dostawy usług, a Pana sprawa zostanie ponownie rozpatrzona.

Ufam, iż udzielona odpowiedź spotka się z Pana uznaniem, a nasza dalsza współpraca będzie przebiegała pomyślnie dla obu Stron.

Z wyrazami szacunku

Agnieszka Marczak

Specjalista ds. Korespondencji

Dużo (za dużo?) pustych słów. Zero konkretów, a zatem ja:

Dzień dobry!

Informuję, że nie w obecnej chwili problemy z usługą nie występują.

Czy mają Państwo coś na przeciwko, żebym opublikował naszą korespondencję (tj. oryginalną reklamację, następnie Waszą odpowiedź, potem moje pytanie o to, czy ktokolwiek przeczytał treść oryginalnej reklamacji, a potem niniejszą odpowiedź), na moim blogu?

Jeśli nie wyrażają Państwo zgody, proszę o informację z informacją dlaczego.

Dziękuję,
Piotr Gabryjeluk

Odpowiedzi (w przewidzianym na odpowiedź czasie 14 dni) brak, a zatem notka na blogu jest!

by Gabrys

UPDATE: The server is now replicated with no data loss. RAID is still recovering though (copying data from one disk to another), so to not overwhelm the whole system I'll re-enable svn2github syncing only after that is done.

After migrating svn2github.com (and several other services) to a new server everything was going smoothly for a month or two, until recently I received an alert regarding RAID degradation.

One of the disk in the RAID failed (reading /dev/sda just fails) and in order to prevent the other disk from failing I disabled any write operation (read: updates) for the svn2github-controlled repos.

A new server is on the way, but unfortunately, due to the weekend, it will be back only on Monday. Once the data is migrated I'll re-start updating the repos again.

Expect an update on this on Tuesday :-)

by Gabrys

Given how basic the git-svn is, and how easy it is to have a Git repo in GitHub, we thought, hey, there must be an automatic mirroring tool to clone publicly available SVN repos to GitHub. The service would be probably called svn2github.com.

Such service was not there and we struggled looking for one, but again, since this was so easy to set up, I decided that I can do it myself! So I did.

Svn2github.com operated with only minor administration from my side, but at some point I realized there are over 500 repos mirrored by it, which was fine.

But recently the server svn2github is hosted on started to experience some problems, mostly with I/O throughput and I connected them directly to the operation of the svn2github processes.

Basically with so many repositories stored at the disk, the periodical task to do just git svn rebase and git push if there were any changes might be challenging due to just the number of IO operations needed to accomplish this. Also at some point the (most important) data just stops fitting in cache and the disk IO needs to be requested each time an FS operation is needed.

The problem became apparent to me, because of the other services that I run on the same hardware, mainly the database. It started to be terribly slow meaning all the other apps would take forever to do even a basic task.

I needed to suspend the svn2github operation to let the more important services continue to run, but I planned to bring this useful service back to life. As often in such cases I want to add more features while doing that and make the updates more clever, so they don't consume so much server "life" as they were.

The first step though is restarting svn2github, which means you can now add more SVN repos to be mirrored to GitHub and the repos will be synchronized with one small exception. Any repository that contains more than 2000 files (including the .git files) will not be automatically updated.

I'll update the GitHub descriptions of those "paused" mirrors and if you want them to be "resumed", I'll ask you to contact me and let me know. This way the service will continue to work for the small repos (which are the majority), which don't cause so much trouble for the machine, while the big repos would be only updated when requested (I assume most of them were needed "once" and now no-one really needs them in place).

Happy SVN mirroring! See you on svn2github.com!

UPDATE: Some svn2github stats

To give a notion of scale this project is at here are some stats:

Repositories with less than 2000 files each (including the .git files):

Number of them: 482
Total size of them on disk: 19G
Total number of files on disk: 954321
The biggest one: 635M (DevIL)
The smallest one: just 208k (aszip)

Repositiories with over 2000 files in each:

Number of them: 231
The total size: 308G (took 133m58.527s to compute that)
The biggest one: 42G (testingazuan)

by Gabrys

My approach to this issue was to use PulseAudio software mixer capabilities, so the hardware mixer is never adjusted (other than for the initial setup).

Step 1. Getting PulseAudio to use the software mixer

I found no good documentation on this other than PulseAudio uses paths to convert the desired volume to the hardware mixer settings and if it lacks the ability to do so it would turn the volume up/down using software. Reading between the lines I realized if I remove the paths I will get what I want. Just do this and restart pulseaudio and you'll have PulseAudio doing all the mixing in software:

sudo mv /usr/share/pulseaudio/alsa-mixer/paths /usr/share/pulseaudio/alsa-mixer/paths.bak

Verifying it works

Open two terminal windows. In each of them open alsamixer. Both should display very simple controls and say Card: PulseAudio. Use F6 to switch to the real card in one of the windows. Usually the cards have plethora of controls, so should yours.

Now change the output volume in the alsamixer still saying "Card: PulseAudio". If the volume reported by the other alsamixer does not change, it works as expected!

If you now rename the paths directory back and restart the pulseaudio process, updating the PulseAudio volume should update the real device volume as well.

Step 2. Integrating this with XFCE (or other DE)

The way xfce4 handles the volume is two-fold:

• There's a xfce4-volumed daemon. It only controls the key bindings. It binds volume up, volume down and mute keys to control the real device controls
• There's a panel applet called "Audio Mixer" that shows the current volume level and lets you change the volume as well.

Both component are optional and both seem to not work with PulseAudio (even through PulseAudio ALSA emulation which tricks alsamixer for instance).

We're going to overcome this problem by replacing these components with two other programs.

pa-applet

pa-applet will replace the "Audio Mixer" applet. The difference is the pa-applet docks to the systray, so is not XFCE-specific. The downside is we don't have control over the specific position of the icon, all we know is it will appear in the systray (so don't forget to have the systray applet added to the panel).

In order to install this software you need to clone the source, and run ./autogen.sh, ./configure, make, sudo make install. You will get information about deps missing, for instance:

configure: error: Package requirements (glib-2.0) were not met: No package 'glib-2.0' found

You need to find the proper *-dev package for each unmet dependency (for this one it will be libglib2.0-dev).

I came across one additional problem. The software seems not updated after some GTK+ 3 updates and it uses a deprecated function. Because the code is configured in a way that every warning stops the compilation, it wouldn't let you compile the code unless you open the src/Makefile file and then find and remove the -Werror flag from it.

xfce4-volumed-pulse

This part will take care of binding the media keys to the pulse audio controls (rather than to the sound card controls).

You need to download the tar package, untar it, ./configure, make, sudo make install. It also requires quite a few libs to be installed, but I didn't found any issues when compiling.

Hooking this up together

Since I didn't need the original xfce4-volume anymore I decided to remove it:

apt-get remove xfce4-volumed

But because XFCE will try to launch this anyway on each start, I decided to take advantage of it and replace it with a script:

#!/bin/bash /usr/local/bin/xfce4-volumed-pulse /usr/local/bin/pa-applet

Add the executable bit, restart the laptop and all should be working correctly at this moment.

Setting the hw mixer controls

Since PulseAudio won't update the hw controls after you follow up this little howto, it's quite important to set all the important channels to 100% (or other number up to your taste). The way to update the hw controls was described before.

Open the terminal, type alsamixer and hit F6. This will give the list of ALSA devices besides the PulseAudio emulation, your real sound cards should display as well. Choose the right one and you should be given access to tweak the real card controls.

Note if you removed the PulseAudio paths, the PulseAudio controls wouldn't update when you tweak the hw controls.

by Gabrys

Przeprowadziłem nieco frustrującą rozmowę z allegro na temat błędu w ich serwisie. Po około miesiącu usłyszałem plotkę jakoby większość ludzi z działu obsługi klienta allegro zostało zwolnionych. Nie zmieniło to jednak w ogóle podejścia do klienta.

Dzisiaj na forum allegro, mnóstwo zgłoszeń o "zwielokrotnionym działaniu koszyka", a allegro wciąż przerzuca odpowiedzialność za ich błąd na sprzedawców i kupujących, czego doświadczyła dziś moja żona.

To zainspirowało mnie do upublicznienia historii mojej rozmowy z allegro.

Moja wiadomość do allegro (skopiowane z maila, które allegro wysyła jako potwierdzenie, że otrzymali, warto zwrócić uwagę do wagi przywiązanej do bezpieczeństwa, tak dużej, że znak cudzysłowu jest zaeskepowany nawet nie raz, co i tak dla e-maila nie ma sensu, ale aż TRZY RAZY!):

Dzień dobry,

chciałem kupić przez koszyk 6 żarówek z aukcji: "KIERUNKOWSKAZ LED 5
SMD W5W T10 POMARAŃCZOWY NW5P" (numer 4552723961).

Dodałem więc 6 żarówek do koszyka i przeszedłem przez wszystkie etapy
finalizowania zamówienia.

Na ostatnim etapie po kliknięciu "potwierdź" pojawił się
komunikat o błędzie technicznym i prośba o spróbowanie ponowne za chwilę.

W związku z tym upewniłem się, że transakcji nie ma w
"kupionych", przeszedłem do koszyka i ponownie zamówiłem
przedmioty (które wciąż tam były). Nie dodawałem kolejnych 6 sztuk do koszyka!

Przy płatności okazało się, że mam do zapłaty kwotę za 12 żarówek, a na mój e-mail
przyszły DWA potwierdzenia zakupu po 6 żarówek w każdym przypadku.

Proszę o usunięcie jednej z kupionych aukcji (albo przerobienie obu na 3 sztuki),
tak abym mógł zapłacić sprzedającemu za 6 sztuk żarówek i otrzymać produkt, w
ilości której potrzebuję.

Proszę o pilne naprawienie Waszego błędu.

Dziękuję,
Piotr Gabryjeluk

Odpowiedź allegro:

Dzień dobry.

Po potwierdzeniu zakupu dochodzi do zawarcia umowy, kolejne potwierdzenie dodaje nowe sztuki. Pan potwierdził zakup dwukrotnie:

quakee 2,15 zł 6 pon, 15 wrz 2014, 09:13:12
quakee 2,15 zł 6 pon, 15 wrz 2014, 09:12:02

Rozumiem jednak, że doszło do nieporozumienia i kupił Pan więcej sztuk, niż Pan zamierzał. Ze strony Allegro nie ma możliwości, żeby anulować Pana zakup, ale proszę skontaktować się ze Sprzedającym, będzie on mógł zwrócić się do nas z prośbą o zwrot prowizji za niesprzedane przedmioty. Pan zostanie tylko poproszony o wyjaśnienia w formularzu, do którego link prześlemy Panu w powiadomieniu.

Jeśli Sprzedający jest przedsiębiorcą, może Pan odstąpić od umowy w ciągu 10 dni od chwili otrzymania towaru, tak mówi Ustawa. Natomiast część Sprzedających wyraża zgodę na anulowanie zakupu jeszcze przed wysyłką tego towaru.

Proszę również ustalić ze Sprzedającym sposób zapłaty za przedmioty, ponieważ system PayU będzie wymagał zapłaty za całe zakupy.

W przyszłości jeśli wystąpi podobny problem proszę nie potwierdzać zakupu kilka razy. Proszę wykonać zrzut ekranu z widocznym błędem i wysłać go do nas. Będziemy mieli wówczas możliwość szczegółowej analizy opisanego problemu.

Pozdrawiam,

Moja odpowiedź:

Dzień dobry,

Dziękuje za odpowiedź.

Czy w allegro po zakupie przedmiotów pozostają one w koszyku?

Kupowałem już wielokrotnie przez koszyk zarówno w allegro jak i w innych serwisach
i dotąd zawsze po potwierdzeniu zakupów, koszyk ulegał opróżnieniu (co ma sens w
kontekście ogólnie pojętego UX).

Proszę o ponowne przeczytanie mojej wiadomości i rzeczową odpowiedź.

W międzyczasie skontaktuję się ze sprzedawcą na wypadek, gdyby jednak nie
potrafiła mi Pani pomóc.

Pozdrawiam,
Piotr Gabryjeluk

Odpowiedź allegro:

Witam.

Po zakupie przedmioty powinny zniknąć z koszyka. Jeśli tak się nie stało, należało się z nami skontaktować przed ponownym potwierdzeniem zakupu.

Nie mam mozliwości anulowania zakupu, gdyż w chwili jego potwierdzenia staje się on wiążący dla Pana i Sprzedającego.

Nie mamy możliwości weryfikacji ewentualnego problemu technicznego po naszej stronie, kiedy jest już po fakcie.

Jeśli w przyszłości wystąpi podobny problem proszę nie potwierdzać zakupu kilka razy, proszę od razu się z nami skontaktować. Sprawa trafi wtedy do Działu Technicznego i będzie weryfikowana.

Pozdrawiam,

Moja odpowiedź:

Dzień dobry,

czy zatem na allegro komunikat mówiący o tym, że wystąpił błąd i należy
rozumieć w następujący sposób:

• operacja, którą próbowałeś zrobić i tak mogła nastąpić, nawet jeśli na

to nie wygląda (w tym przypadku nie usunięto przedmiotów z koszyka)

• nie próbuj ponownie (bo np. kupisz jakieś rzeczy podwójnie)

Dziękuję za odpowiedź,
Piotr Gabryjeluk

Zauważyłem, że się pomyliłem w poprzedniej wiadomości, a zatem wysłałem sprostowanie:

Przepraszam, do mojej wiadomości wkradł się błąd. Poniżej zredagowane
pytanie:

Czy zatem na allegro komunikat mówiący o tym, że wystąpił błąd i należy
spróbować ponownie, należy rozumieć w następujący sposób:

• operacja, którą próbowałeś zrobić i tak mogła nastąpić, nawet jeśli na

to nie wygląda (w tym przypadku nie usunięto przedmiotów z koszyka)

• nie próbuj ponownie (bo np. kupisz jakieś rzeczy podwójnie)

Dziękuję,
Piotr Gabryjeluk

Brak odpowiedzi ze strony allegro, a zatem prośba o odpowiedź:

Dzień dobry,

czy zamierzają Państwo odpowiedzieć na moje pytanie?

Dziękuję,
Piotr Gabryjeluk

(W końcu!) odpowiedź:

Witam.

Jeśli ma Pan zastrzeżenia, co do treści komunikatów i chciałby Pan przesłać sugestię bądź zaproponować nowe rozwiązanie, zachęcam do podzielenia się nią na naszym forum, na stronie:

http://cafe.allegro.pl/forumdisplay.php?67-Sugestie-i-pomys%C5%82y

Tam będą mieli możliwość zapoznania się z nią specjaliści od optymalizacji wprowadzanych rozwiązań.

Pozdrawiam,

Niezadowolony z tej odpowiedzi, odpisałem:

Rozumiem, że nie zamierzają Państwo odpowiedzieć na moje pytanie.

Jeżeli nie dostanę odpowiedzi na moje pytanie:

Czy zatem na allegro komunikat mówiący o tym, że wystąpił błąd i należy spróbować ponownie, należy rozumieć w następujący sposób:

• operacja, którą próbowałeś zrobić i tak mogła nastąpić, nawet jeśli na to nie wygląda (w tym przypadku nie usunięto przedmiotów z koszyka)
• nie próbuj ponownie (bo np. kupisz jakieś rzeczy podwójnie)

uznam, że:

1. Z powodu błędnego działa koszyka oraz błędnego komunikatu w allegro,
zostałem wprowadzony w błąd przez co dwukrotnie zamówiłem towar

2. Z powodu dwukrotnego zamówienia towaru, nie miałem możliwości
zapłacenia przez PayU (a zatem ograniczyliście mi możliwość sprawnego
zakupu) a moja przesyłka z powodu potrzeby dodatkowej komunikacji nie
przyjdzie na czas

3. Zamiast uczciwie zająć się sprawą: przeprosić sprzedawcę i mnie, i
zaproponować rozwiązanie, zrzucają Państwo odpowiedzialność za własny
błąd na kupującego i sprzedającego wymagając dodatkowej komunikacji poza
allegro, proszenia o zwrot prowizji, a sprzedającego tłumaczenia się z
błędu, który wyniknął z winy allegro.

Proszę zatem o odpowiedź na moje pytanie i na przyszłość o nieunikanie
odpowiedzialności za błędne działanie serwisu. Wszyscy rozumieją, że
czasami pojawi się jakiś błąd i nikt nie ma za to pretensji, ale
ignorując ten fakt i zrzucając odpowiedzialność ze błędy na innych
pokazujecie totalny brak klasy (a zdaje się, że allegro nie chce być już
postrzegane jako e-bazarek z tanimi produktami i fatalną obsługą).

Dziękuję i liczę na odpowiedź,
Piotr Gabryjeluk.

Allegro odpowiada:

Witam.

Nie mogę odnieść się do Pana prośby. Nie widziałam komunikatu, który Pan widział. Nie przesłał Pan zrzutu ekranu, nie zacytował Pan również dokładnej jego treści.

Komunikat, który Pan zobaczył nie jest tutaj jednak najważniejszy. Nie informował on, że nie doszło do zakupu. Potwierdzenie opcji Kup teraz oznacza zakup. Z tego, co Pan napisał wynika, że potwierdził Pan zakup jeden raz, a później kolejny raz, dlatego doszło do podwójnego zakupu.

Poprosiłam Pana o kontakt z nami, jeśli w przyszłości problem pojawi się ponownie, gdyż na tę chwilę nie mamy możliwości weryfikacji tego, co stało się, kiedy pierwszy raz dokonał Pan zakupu.

Pozdrawiam,

Moja odpowiedź:

Dzień dobry,

proszę zrozumieć, że z mojej perspektywy błąd pojawił się przy drugim
"potwierdzeniu" koszyka. Przyzna Pani, że robienie wtedy screenshota nie
miałoby żadnego sensu.

Jeśli zależy Pani na zidentyfikowaniu błędu i ustrzeżenie przed nim
przyszłym użytkowników (żeby im nie musiała Pani wmawiać, że to ich
wina), niech Pani poprosi zespół developerski o logi koszyka.

Co do braku możliwości weryfikacji, śmiem w to wątpić. W takiej
aplikacji jak allegro, na pewno jest zapisywane powiązanie transakcji z
konkretnym koszykiem. Jeśli po transakcji koszyk jest czyszczony, nigdy
nie powinno się zdarzyć, że z jednego koszyka są dwie transakcje. Mogę
dla Pani sprawdzić, czy jest to teoretycznie możliwe do zweryfikowania z
kolegami, którzy pracują w allegro. Również łatwo znaleźć listę
wszystkich komunikatów przewidzianych dla błędów w czasie klikania na
konkretny przycisk w czasie finalizacji zamówienia.

Proszę powiedzieć, czy podtrzymuje Pani opinię o braku możliwości
weryfikacji mojej sytuacji. Jeśli tak jest, proszę o informację, czy i
kiedy planujecie Państwo logować ID koszyka, z którego powstało
zamówienie, żeby w przyszłości nie zasłaniać się brakiem danych.

Czy ma Pani jakiekolwiek informacje świadczące o tym, że faktycznie
potwierdziłem dwa razy zamówienie wiedząc o tym, że za pierwszym razem
się ono powiodło?

Co do rad na przyszłość, też mam kilka dla Państwa:

1. Proszę się skupiać najpierw na rozwiązaniu sytuacji która już się
wydarzyła a nie na radzeniu waszym użytkownikom co zrobić jak następny
raz spotkają się z błędem w waszym serwisie.

2. Jeśli oczekujecie, że użytkownicy nie będą ponownie próbować klikać w
przycisk nie piszcie, żeby próbowali ponownie.

3. Jeśli oczekujecie, żeby użytkownicy kontaktowali się z Wami w
przypadku wystąpienia konkretnego błędu, to napiszcie, żeby się
skontaktowali.

Czekam na wyjaśnienie i naprawienie mojej sytuacji.

Dziękuję,
Piotr Gabryjeluk

Allegro w końcu się poddało (powiedzmy):

Witam.

Sprawa została zgłoszona do Działu Technicznego.

Dodam tylko, że bez względu na efekt działań Działu Technicznego, nie będziemy mogli usunąć zakupu z Pana konta i w tej sprawie tak czy inaczej musi się Pan skontaktować z Kontrahentem.

Pozdrawiam,

by Gabrys

I quickly set this up using Apache. Here's the virtual host file:

<VirtualHost *:8371> ServerName localhost ProxyPreserveHost Off SSLProxyEngine On Header edit Set-Cookie secure;.HttpOnly HttpOnly RewriteEngine On RewriteRule ^/(.*) https://remote-server.com/$1 [P,L] ProxyPassReverse / https://remote-server.com/ </VirtualHost>

You need to enable the following modules for that: proxy, proxy_http, rewrite, headers

Note, above I also mangle the Set-Cookie response headers in a way, that every http-only secure cookie (this means a cookie is transmitted to the server only over a secure transport and is not available on the client side) is converted to a http-only but non-secure.

The rule I produced (convert regexp "secure;.HttpOnly" to just "HttpOnly") may not work for you because I targeted one particular service and the construction of such cookies may be different for the one you want to proxy.

The second note is that, the service you're proxying might actually check the protocol on the client side as well, which we cannot mock on the server-level. I was lucky my service didn't have such checks.

by Gabrys