Soru En iyi sistem yöneticisi kazası [kapalı]


Sahip olduğunuz sistem yöneticisi kazalarının eğlenceli hikayelerini arıyorum. CEO'nun e-postasını silme, yanlış sabit sürücüyü biçimlendirme, vb.

Kendi hikayemi cevap olarak ekleyeceğim.


87
2018-05-13 21:00


Menşei


Ayrıca bakınız serverfault.com/questions/5066 - Zoredache
Bu gerçekten bir anket daha sonra bir soru. Bu muhtemelen topluluk vikisine ayarlanmalıdır. - Zoredache
Evet, bu kesinlikle bir topluluk vikisi olmalı. Sorunun amacı doğrultusunda, en sevdiğim hikaye 500 mil e-posta adresidir - ibiblio.org/harris/500milemail.html - Açıkçası, bu ben değilim. - Mihai Limbăşan
500 mil sadece harika - Hubert Kario
Buna "daha kötü sistem yöneticisi kazası" denilmeli. - Rilindo


Cevaplar:


Linux "killall" komutu arasındaki farkı keşfettim (belirtilen isimle eşleşen tüm süreçleri öldürür, zombileri durdurmak için yararlıdır) ve solaris "killall" komutu (tüm süreçleri ve sistemi durdurur, üretim sunucusunu durdurmak için yararlıdır) en yoğun saatlerin ortası ve tüm iş arkadaşlarınızın bir hafta boyunca size gülmesini sağlayın).


133
2018-05-13 23:20



Orada, bunu yaptım. Sonra killall-komutunu solaris-box'lara taktık: alias killall = 'echo ORLLY?' =) - Commander Keen
Ayrıca, 'ifconfig -a4' (tüm arabirimlerin IPv4 bilgilerini göster) ve 'ifconfig-a 4' (tüm arabirimleri 0.0.0.4 olarak ayarlayın) arasında Solaris üzerinde de önemli bir fark vardır. - Zanchey
+1 "oops, bu rüzgar solaris'e girer mi?" - Mark Harrison
@Commander, yorumunuzu yazacaktım, ama var kesinlikle Bu andaki 42 oyu ... Sadece could. - Massimo
Ayrıca, hostname -f Linux'ta Linux'ta tam etki alanı adını yazdırır. Solaris'te, ana makine adını -f. - 200_success


Netscape'in ürünü olan kurumsal web proxy'mden sorumluydum. Yönetici formları etrafında oynarken (bu bir web tabanlı bir arayüz oldu) büyük bir vardı (ve yemin ederim kırmızı) düğmesi Kullanıcı veritabanını sil. Sorun değil, düşündüm. Bana verdiğim seçeneklerin bana ne zaman vurduğunu görelim. Herhangi bir seçenek yoksa mutlaka bir onay istemi olacaktır.

Evet, onay yok. Seçenek yok. Daha fazla kullanıcı yok.

Bu yüzden, Bay Solaris Sysadmin'e gittim ve çaresiz bir şekilde, "Bu kutuyu desteklemedim" cevabını veren kasetten bir geri dönüşe ihtiyacım olduğunu söyledi.

"Uh, tekrar gel," Ben tekrarladım.

"Bu kutuyu desteklemiyorum. Yedekleme rotasyonuna ekleyeceğim şeyler listemde var ama henüz oraya gitmedim."

"Bu sunucu yaklaşık 8 aydır üretildi!" Çığlık attım.

omuz silkme, o cevapladı. "Afedersiniz."


73
2018-05-14 12:26



Bu kesinlikle bu sinir bozucu hakkında şikayet eden tüm insanlar için bir hikaye 'Emin misin?' iletişim kutuları;) - MikeyB
Ona çığlık atan biri olmanız gerektiğinden emin değilim ... - Mikeage
Bu gerçekten bir kaza değil - amaç için Kullanıcı Veritabanı Sil düğmesine bastınız, dostum ... - Wayne Koorts
Evet, haklısın. Düğmeye basmak bir kaza değildi. Aslında veritabanını silmek kaza parçasıydı. Her neyse... - squillman
Bu düğmeye iki veya üç onay istemi gelmelidir. Kullanıcı veritabanını silmek nasıl yararlı bir özelliktir? Düğmeyi buraya koyan programcıyı tamamen suçluyorum. Ve db yedeklenmiş değildi gerçeği. "Dahinin sınırlamaları olabilir, ama aptallık bu yüzden engellenmez." (Elbert Hubbard'a git). İnsanların meraklı olmadıkları varsayımıyla, dikkatsiz maymunlar sadece bir felaket kuruyor. - Jared Updike


Yıllar önce çalıştığım şirket, NT 4.0 Sunucusunun bir gecelik yedeğini çalıştıran bir müşteriye sahipti. Jaz sürücüsü (yüksek kapasiteli bir zip disk gibi).

Bir gecede planlı bir iş olarak çalışan bir toplu iş dosyası kurduk. Her sabah geçen gece diskten diski toplarlardı ve akşam bırakmadan önce sıradaki bir sonraki diski yerleştirirlerdi.

Her neyse, toplu iş dosyası böyle bir şeye benziyordu (Jaz sürücü F:).

@echo off
F:
deltree /y *.*
xcopy <important files> F:

Her neyse, bir gece diski içeri almayı unuttular. F: sürücüsünü değiştirmek için yapılan değişiklik başarısız oldu (sürücüde disk yok) ve toplu iş dosyası çalışmaya devam etti. Toplu iş dosyasının varsayılan çalışma dizini? C :. İlk defa bir yedekleme rutini gördüm yıkmak Yedeklediği sunucu.

O gün sysadminning (ve istisna işleme) hakkında bir şeyler öğrendim.

Jim.

Not: Düzeltme mi? "deltree / y F: \ *. *".


66
2018-05-13 20:00



... Jaz sürücülerinin ne olduğunu açıklamak zorundayız? Gerçekten bu yaşlı mıyım? - Spencer Ruport
Bu IOMEGA bir şeydi (Zip Sürücüleri hatırlıyor musun?) Zip Sürücülerin büyük kardeşi idi ve başları olmayan bir sabit disk gibiydi, sadece plastik bir kasanın içine giren plaketler, ve küçük bir pencere sürücü, sürücü üstbilgileri üzerine yerleştirdi. Nerede 1 veya 2GB, pahalı ve aşırı ısınma eğilimi, okuyucunun içinde kartuşları bırakmak için tavsiye edilmedi (bu eski IOMEGA patronu tarafından söylenen) - Andor
Hehe, jaz sürücüsünün, ölü-ve-alakasız zip sürücüye kıyasla nasıl açıklandığını seviyorum. - Luke
Eğer daha yaşlı hissettiriyorsa, daha önce hiç deltree görmemiş olan sysadmin'ler vardır. - Joseph
Çok fazla programcıya şunu açıklamak zorunda kaldım ki, bir devleti değiştiren bir operasyona girdiğinizde, ancak başarısız olabilir ve sizi bir önceki eyalette bırakabilirseniz, tehlikeli bir şey yapacaksanız bunun başarılı olup olmadığını kontrol etmeniz gerekir. önceki durumda olmalısın. Bunu neden açıklamalıyım? - carlito


root @ dbhost # find / -name çekirdeği -exec rm -f {} \;

Me: "İçeri giremez misin? Tamam. DB adı nedir?"

Cu: "Çekirdek."

Ben: "Ah."


61
2018-05-13 18:31



ve bundan sonra, 'file' komutunun kullanımı temizlik crontab'ına eklendi ... :) - MikeyB
Oh sevgili Tanrım ... - squillman
Aman tanrım ... vay canına. Bunun için bir akıl notu yapacağım, o yüzden asla yapmam. - Glenn Willen


Herkesin hikayelerini “genç / yeşilken” bir daha asla yapmayacakları gibi nitelendirmesini seviyorum. Kazalar en deneyimli profesyoneller için bile olabilir.

Benim en kötü anım o kadar kötüydü ki hala bu konuda düşünmeye başladım ...

Üzerinde üretim verileri olan bir SAN vardı. Şirket için kritik. "Akıl hocam", bazı disk alanlarını boşaltmak için bir bölüm uzatmaya karar verdi. Bunun nereye gittiğini görebiliyor musun? SAN yazılımının bunu üretim saatlerinde canlı olarak yapabileceğini ve hiç kimsenin fark etmeyeceğini söyledi. Alarm zilleri çalmaya başlamış olmalı, ancak dikkat çekecek derecede sessizlerdi. Hiç sorun yaşamadan "daha önce defalarca" yaptığını söyledi. Ama burada bir şey var - "Emin misin?" Şirkete yeniyken, bu adamın ne hakkında konuştuğunu bildiğine inandım. Büyük hata. İyi haber, LUN’un genişletilmiş olmasıydı. Kötü haber ise ... Windows kutusunda disk yazma hataları görmeye başladığımda kötü haberlerin olduğunu biliyordum.

Kahverengi pantolon giydiğime sevindim.

Öğle saatlerinde neden 1TB'nin neden kaybolduğunu açıklamak zorunda kaldık. Bu gerçekten çok kötü bir gündü.

Bu gerçekten iyi bir prensiptir - şüpheleriniz olduğu bir şeyi yapmadan önce, bir şeyler ters giderse yönetime açıklamayı hayal edin. Eylemlerinizi açıklamak için iyi bir cevap düşünemiyorsanız, o zaman yapmayın.


60
2018-05-13 18:22



Son paragraf için +1 - "ellerinize oturun" tekniği, yansıma için çok önemli bir dakika - Andy
Bir süredir canlı sistemlerle çalıştıktan sonra aldığınız belirli bir beceri var: Tehlikeli olan ve olmayanlar için bir örümcek hissi. Kök isteminde geri dönme tuşuna basmadan önce ek bir saniye beklemeyi veya SQL güncelleştirme deyiminin uygun bir yere sahip olduğundan emin olun (bu zaten bir seçme sayısında (*) çalıştırılmıştır). - jplindstrom
"Devam etmeden önce özgeçmişinizi yazdırmak ister misiniz?" Gibi bir şey söyleyen bir pop-up istiyorum. .. ve sadece bir seçeneğiniz var: "Evet" - warren
Son paragrafta tavsiye için +1 - Jeroen Huinink
+1, ditto. Bir sysadmin arkadaşından aldığım kötü performans hızı ile ilgili yıllık performans değerlendirmesinde sorunlar olduğunu hatırlıyorum, ki o da ("hızlıca" yazmamak için ödemem "diyerek aşağılayıcı bir şekilde (ve doğru bir şekilde) reddedildi. yavaş yavaş ve düşünceli. " - MadHatter


Nagios, iş saatlerinin kritik olmayan bir sunucuya bağlanamadığını söylediğinde bir sabah bize ping yaptı. Tamam, sunucu odasına git. Eski bir sunucu, '02'de satın alınmış bir Dell 1650 ve 1650'lerin donanım sorunları yaşadığını biliyorduk. PFY güç düğmesini tutar. Hiçbir şey değil. Tekrar vurun ve BMC'nin hata korumasını geçersiz kılan 'gücü açmayı' beş saniye kadar tutun, çünkü DRAC olmadan BMC kayıtlarını şasiye açmadan incelemenizin bir yolu yoktur.

Makine POST'u başlatır ve sonra tekrar ölür. Üstünde duruyorum ve "Duman kokusu alıyorum." Sunucuyu rayların üzerinden çekiyoruz ve güç kaynaklarından biri ısınıyor, bu yüzden PFY bunu çekiyor ve kutuyu kapatmak üzere. Ben "Hayır, bu güç kaynağı dumanı değil, anakart dumanı" diyorum.

Davayı tekrar açıyoruz ve yanan kokunun kaynağını aradık. Bir indüktör bobini ve bir kapasitör anakart üzerindeki voltaj regülatöründen bir şey patlatır ve her şeye erimiş bakır ve kapasitör goop püskürtülür, bir şeyler kısaltılır ve temelde büyük bir karmaşa yaratır.

Benim için en kötü yanı yanmış bir anakartın kokusu ile yanmış bir güç kaynağının arasındaki farkı tanımak için yeterli donanıma sahip olduğumu farketmekti.


54
2018-05-14 14:49



Bu işin seçim kriterleri şunları içerir: iyi koku duyusu. Parlak. - mlp
Benim dostum, bir dizi disk rayını bir diske batırdı, şu ana kadar devre panosuna gittiler ve kısa devre yaptılar. Çok pembe dumanlı. Çok ayırt edici. - squillman


Üç gün önce (ciddi olarak) bir Windows Server 2008 dosya sunucusuna Service Pack 2'yi yükleyerek bir okul sunucusuna uzaktan giriş yaptım.

Öğretmenlerin, yıl sonu rapor kartlarını bitirmek için oturum açmayacakları gece geç saatlerde yeniden başlatmayı planladım. Ben şöyle bir şey yazdım:

 23:59 de "kapatma -r -t 0" 

... iyi çalıştırabilirdi.

Ama sonra kendimi tahmin ettim. 'Kapatma' sözdizimi doğru muydu? Kullanım yardımı yazarak görüntülemeye çalıştım.

 kapatma / saat 

... ve hemen RDP bağlantımı kaybettim. Panikleme, sözdizimi için Google'a ulaştım. Hızlı bir arama, Server 2008'in kapatma programının, (tahmin edebileceğiniz gibi) makineyi hazırda bekleten bir / h anahtarını içerdiğini ortaya çıkardı.

Öğretmenler, üzerinde çalıştıkları rapor kartlarını artık açamayacakları veya kaydedemeyeceklerini bildirmek için dakikalar içinde beni aramaya başladılar. Tesis dışında ve sunucu odası kilitlendiğinden, okul müdürünü doğrudan aramalı ve makineyi tekrar açma işleminden geçmeliydim.

Bugün ev yapımı kurabiyeleri özür dilemek için herkese getirdim.


47
2018-05-13 23:53



Komut satırında kusurlu kullanıcı arayüzü tasarımına mükemmel bir örnek: "En Az Sürpriz İlkesi" ne oldu? - Mei
DOS / Windows üzerinde / değil mi? - Jared Updike
Genellikle /? Win'de, UNIX'ten taşınan veya UNIX kullanıcıları tarafından yazılan çok sayıda yardımcı program var (MS gibi birkaç tane de dahil). - Richard Gadsden
.. ama sen hala HER ZAMAN deneyin /? ilk! - warren
Bu yüzden Linux'u severim. man shutdown. Biliyorum sorunlara neden olmayacağım man! - Josh


Daha önceki bir işte, şirkete giren, kalan ya da içinde kalan her bir posta parçasını günlüğe kaydeden ve arşivleyen harika bir homegrown sistemi vardı.

Tüm posta kutunuzu uçurdu mu? Sorun değil! Birinin size bir hafta / ay / yıl önce gönderdiği bir posta parçasını mı arıyorsunuz, ancak kimin gönderdiğini veya konunun ne olduğunu hatırlayamıyor musunuz? Sorun değil! Sizden Şubat ayına kadar her şeyi özel bir klasöre göndereceğiz.

Bir noktada, şirketin CEO'su için bir rakip ile iç satış görevlisi arasında gidip gelen postaları şüphe altında izlemek için ihtiyaç duyuldu. Bu yüzden her gece koştuktan sonra bir betik kuruyoruz ve önceki günden CEO’ya ilgili postaları gönderiyoruz. Sorun değil!

Yaklaşık bir ay sonra, çifte artı acil bir sorunun sözcüğü yüksek seviyeden çıktı. CEO'nun $ OTHERCOMPANY'ye gönderilen postalar listesi aracılığıyla okuduğunu görünce, bunun karşısına çıktı:

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

Doğal olarak, CEO önemli bir kişi ve hepsi, o Outlook'ta tüm "Gönderme Makbuzu Gönder" iletişim kutuları üzerine tıklamak için çok meşgul ve müşterisini sadece hepsini göndermek için yapılandırmıştı. İzleme filtresinin yakaladığı mesajlardan biri, bir okuma-makbuz talebi setine sahipti. Outlook'un ne yaptığını tahmin et? Kesinlikle 'gizli' izlemeyi durdurdu.

Bir sonraki görevimiz: CEO'nun o şirkete giden okundu bilgilerini okumak için posta filtresine kurallar eklemek. Evet, en kolay yoldu. :)


37
2018-05-13 18:35



Bu benim ülkemde yasal değil. Hiç de. - mafu
Ah, bu iyi sizin ülke. :) Kanada'da, sadece iyi. - MikeyB
Kendi şirketinizin sunucularına giren veya çıkan e-postaları izlemek yasal değil mi? hangi ülkede yaşıyorsun? - Andrew Ensley
Gazete için +1 - Fahad Sadah


Ahhh, benim yaklaşık 10 yıl önce ayaklarımı ıslattığım zaman oldu. Tüm programcıların bilgisayarlarına pil yedeklemelerini takmanın mutluluğunu yaşadım. Ayrıca, yazılımın elektrik kesintisi konusunda uyarmak ve düzgün bir şekilde kapatılmasını istemişlerdir.

Bu yüzden, önce her şeyi test etmek için bilgisayarımda kurdum ve hepsinin çalıştığından emin oldum. Bu yüzden güç kablosunu çıkardım ve mesaj ekranımdan geliyor. msgstr "harici güç kaybedildi, sistem kapanışı başladı".

Ben de düşündüm, Hey hey, işe yaradı. Ancak bazı garip nedenlerden dolayı, hatırlamıyorum bile, bu mesajı bir ağ mesajı olarak göndermişti, böylece şirketteki tüm 200+ bilgisayar bu mesajı aldı, 100+ kullanıcı programcıların nerede olduğu.

Evet, kitle ucube hakkında konuş!

Bir süredir kafamı oralarda düşük tuttum!


36
2018-05-13 19:00



Haha, "net send" ve yaklaşık 1300 alıcı ile bir arkadaşımın başına gelenlere benziyor :) - squillman
Ugh. Ben de üniversitede "net gönderme" şeyini yaptım. "Bunu engellemiş olmalılar" diye düşündüm! ba-ding! Laboratuarın her tarafında, bilgisayarların mesajı vardı. Net yöneticiden özür dilemeye karar verdim ve yoluma geçtiğim her bilgisayar mesaj attı. /iç çekmek - Matt Simmons
Evet, utanç yürüyüşü tam orada! Arkadaşım sandalyesinden çıkmadı. Telefonuna da cevap vermedi. - squillman
Benim bir arkadaşım Haha okuldaki herkese "YARDIM! Oda 114'te tuzağa düştüm" mesajını gönderdi ve elbette 60 saniye sonra küçük bir ordu ordusu kimin mesajı yolladığını bulmak için ortaya çıktı. - Mark Henderson♦
Aslında bu özelliği, genç kolejimde sys yöneticisini sersemletmek için kullandık. Tüm bilgisayar laboratuarlarını sahte AV mesajları ve onlardan geldikleri gibi görünen sistem kapatma mesajlarıyla temizlediler. Bizim suçlu olduğumuzdan şüpheliydik ama ben ve arkadaşımın her birinin bir mazereti vardı (sınıfta ilkini gönderdim ve sınıftayken ikinciyi gönderdim) ve bilgisayarların genel laboratuar oturumları vardı. - Shial


Makine İsim servisini, I.P.'yi sıfırlamak için genellikle Solaris makinelerinde "sys-unconfig" komutunu kullanırdım. adres ve kök şifresi. Bir kullanıcı sistemi üzerindeydim ve bina kurulum sunucusuna giriş yaptım ve bir şeyi (root olarak) aradım, sonra başka bir makineye (tanımlayıcı olmayan "#" istemine girdiğimi unutmak) "sys-unconfig" komutunu çalıştırdım.

# sys-unconfig     
        WARNING

This program will unconfigure your system.  It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.

This program will also halt the system.

Do you want to continue (y/n) ? y

Connection closed

#

Bu "bağlantı kapatıldı" mesajı yavaşça paniğe dönüştü. Bu komutu çalıştırdığım sırada hangi makineye giriş yaptım.

Bunun en kötüsü, iş arkadaşlarımın bana verdiği zor zaman değildi, aynı şeyi bir ay sonra yaptım.


35
2018-05-13 23:46



Ah, klasik, "hangi makineyim?" panik anı. Ben orada oldum. Acını hissediyorum. - sysadmin1138♦
Ben de. Deneyimleyen herkes, "buz gibi soğuk kan" ifadesinin ne anlama geldiğini tam olarak bilir. - Matt Simmons
Kabuk istemimin her zaman kullanıcı adı ve ana bilgisayar adını içermesinin bir nedeni var ... - derobert
Bir keresinde, farklı makinelere giriş yapmak için farklı makinelere giriş yapmak için takma adlar oluşturdum ve daha önce hangi makinede olduğumu daha net bir şekilde tanımlayabileceğim. - Zitrax
Linux'u hem sunucularda hem de yerel makinemde kullandigimda, genellikle sunucularda ve bilgisayarimda açilan kök komutlarim vardir, sunucularin farkli kisileri var - Hubert Kario